JP2017143387A - 画像処理制御方法、画像処理制御プログラムおよび画像処理制御装置 - Google Patents

Abstract

【課題】電力消費を抑制できる画像処理制御方法、画像処理制御プログラムおよび画像処理制御装置を提供する。【解決手段】撮像画像を順次取得し、取得した複数の撮像画像のうち、送信対象の撮像画像について基準物の検出処理を実行し、送信対象の撮像画像と、検出処理により検出した基準物に対応する画像とを重畳させる処理を施して重畳画像を生成し、生成した前記重畳画像を送信する。【選択図】図６

Description

本発明は、画像処理制御方法、画像処理制御プログラムおよび画像処理制御装置に関する。

ＡＲ（Augmented Reality：拡張現実）技術が知られている。例えば、ＡＲ技術では、カメラにより撮影される撮像画像に仮想的なＡＲコンテンツを重畳する画像処理を行う。このようにＡＲコンテンツを重畳した重畳画像を表示させることにより、画像に様々な情報を付加して表示できる。例えば、スマートフォンとヘッドマウントディスプレイを用いて、スマートフォンが、カメラにより順次撮影された各撮像画像にＡＲコンテンツをそれぞれ重畳する画像処理を行い、重畳画像をヘッドマウントディスプレイに順次送信する。ヘッドマウントディスプレイは、重畳画像を表示する。これにより、ヘッドマウントディスプレイを装着したユーザに対して、撮像画像に様々な情報を付加して提供できる。このように他の装置で画像を表示させる技術として、例えば、Miracastなどの画像共有技術がある。

国際公開第２０１５／０９８２９２号 特開２０１４−９６０７４号公報

しかしながら、カメラにより撮影された各撮像画像に対してＡＲコンテンツを重畳する画像処理を行った場合、電力消費を抑制できない場合がある。

一つの側面では、電力消費を抑制できる画像処理制御方法、画像処理制御プログラムおよび画像処理制御装置を提供することを目的とする。

第１の案では、画像処理制御方法は、コンピュータが、撮像画像を順次取得する処理を実行する。画像処理制御方法は、コンピュータが、取得した複数の撮像画像のうち、送信対象の撮像画像について基準物の検出処理を実行する。画像処理制御方法は、コンピュータが、送信対象の撮像画像と、検出処理により検出した基準物に対応する画像とを重畳させる処理を施して重畳画像を生成する処理を実行する。画像処理制御方法は、コンピュータが、生成した重畳画像を送信する処理を実行する。

本発明の一の実施態様によれば、電力消費を抑制できるという効果を奏する。

図１は、システム構成の一例を説明する図である。 図２は、ヘッドマウントディスプレイの機能的な構成を概略的に示した図である。 図３は、実施例１に係る画像処理制御装置の機能的な構成を概略的に示した図である。 図４は、撮影タイミングおよび画面更新タイミングの一例を示す図である。 図５は、送信対象の撮像画像が送信されるタイミングの求め方の一例を示す図である。 図６は、撮影タイミングおよび画面更新タイミングの一例を示す図である。 図７は、制御処理の手順の一例を示すフローチャートである。 図８は、実施例２に係る画像処理制御装置の機能的な構成を概略的に示した図である。 図９は、撮影タイミングの求め方の一例を示す図である。 図１０は、画像処理制御プログラムを実行するコンピュータの一例を示す図である。

以下に、本発明にかかる画像処理制御方法、画像処理制御プログラムおよび画像処理制御装置の実施例を図面に基づいて詳細に説明する。なお、この実施例によりこの発明が限定されるものではない。そして、各実施例は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。

［システム構成］
最初に、仮想現実を提供するシステムの一例を説明する。図１は、システム構成の一例を説明する図である。システム１０は、仮想現実を提供するＡＲシステムである。システム１０は、画像処理制御装置１１と、ヘッドマウントディスプレイ１２とを有する。

画像処理制御装置１１は、仮想現実を提供する装置である。例えば、画像処理制御装置１１は、提供される仮想現実を利用するユーザが所持するスマートフォンやタブレット端末などの携帯型の情報処理装置などである。

ヘッドマウントディスプレイ１２は、ユーザが頭に装着し、各種の情報をユーザに視認可能に表示するデバイスである。本実施例では、ヘッドマウントディスプレイ１２は、片眼のみに対応したものとするが、両眼に対応したものであってもよい。ヘッドマウントディスプレイ１２は、ユーザが装着したままでも、外部の現実環境を視認可能なように、レンズ部分に透過性の表示部を有するものとしてもよい。また、ヘッドマウントディスプレイ１２は、ユーザが頭に装着した際にユーザの視界の一部に非透過型の表示部が位置するものであってもよい。本実施例では、ヘッドマウントディスプレイ１２は、ユーザの一方の目（例えば、右目）に対向するように１つの非透過型の表示部が設けられている。ヘッドマウントディスプレイ１２と画像処理制御装置１１は、ブルートゥース（Bluetooth（登録商標））や無線ＬＡＮなどの無線通信により、通信可能に接続されている。ヘッドマウントディスプレイ１２は、カメラが設けられており、当該カメラにより、装着したユーザの視線方向の画像の撮影が可能とされている。ヘッドマウントディスプレイ１２は、カメラにより撮影された撮像画像を画像処理制御装置１１へ送信する。また、ヘッドマウントディスプレイ１２は、画像処理制御装置１１から受信した画像を表示部に表示する。

本実施例に係るシステム１０では、画像処理制御装置１１には、各種のＡＲコンテンツのオブジェクトデータが予め記憶される。ＡＲコンテンツのオブジェクトデータは、サーバからダウンロードしてもよく、記憶媒体等を介して格納してもよい。画像処理制御装置１１は、ヘッドマウントディスプレイ１２を介して仮想現実をユーザに提供する。例えば、ユーザは、ヘッドマウントディスプレイ１２を装着し、ＡＲコンテンツを記憶した画像処理制御装置１１を所持して、ヘッドマウントディスプレイ１２のカメラで撮影を行う。ヘッドマウントディスプレイ１２は、カメラにより撮影された撮像画像を画像処理制御装置１１へ送信する。画像処理制御装置１１は、撮影された撮像画像から基準物の検出を行う。画像処理制御装置１１は、撮像画像に基準物が含まれることの検出に基づき、基準物に応じたＡＲコンテンツを、該基準物のサイズに応じたサイズで撮像画像に重畳（合成）する。画像処理制御装置１１は、撮像画像にＡＲコンテンツを重畳した重畳画像をヘッドマウントディスプレイ１２へ送信する。ここで、本実施例では、画像処理制御装置１１にＡＲコンテンツを重畳した重畳画像を表示させ、画像共有技術を用いて重畳画像をヘッドマウントディスプレイ１２へ送信する。ヘッドマウントディスプレイ１２は、画像処理制御装置１１から受信した重畳画像を表示する。基準物は、例えば、ＡＲマーカやＱＲ（Quick Response）コード（登録商標）など、仮想現実を表示する位置を指定するための基準となる標識であってもよい。また、基準物は、例えば、特定の形状の物体や特定パターンなど撮像画像内での物体であってもよい。

本実施例では、システム１０により工場の点検業務を支援する場合を例に説明する。例えば、工場において、点検を要する対象物または対象物の周辺にＡＲマーカを配置する。ＡＲマーカには、それぞれ一意の画像が記録されている。例えば、ＡＲマーカには、それぞれ識別情報として一意のマーカＩＤをコード化したパターン画像が記録されている。一方、画像処理制御装置１１には、ＡＲコンテンツのオブジェクトデータが記憶されている。例えば、画像処理制御装置１１には、点検すべき内容や注意点、前回の点検結果、点検手順など、点検の際に注意すべき事項を示したＡＲコンテンツが記憶されている。ＡＲコンテンツには、それぞれ識別情報として一意のコンテンツＩＤが定められている。画像処理制御装置１１には、ＡＲマーカのマーカＩＤに対応付けて、当該ＡＲマーカが配置された点検の対象物に仮想現実として重畳して表示させるＡＲコンテンツのコンテンツＩＤが記憶されている。点検を行う作業者は、ヘッドマウントディスプレイ１２を装着し、画像処理制御装置１１を所持して点検の対象物のところへ行く。そして、点検を行う作業者は、ヘッドマウントディスプレイ１２に設けられたカメラで対象物または対象物の周辺に配置されたＡＲマーカを撮影する。ヘッドマウントディスプレイ１２は、カメラにより撮影された撮像画像を画像処理制御装置１１へ送信する。画像処理制御装置１１は、撮像画像からＡＲマーカのマーカＩＤを認識し、ＡＲマーカのマーカＩＤに対応付けられたコンテンツＩＤのＡＲコンテンツを読み出す。そして、画像処理制御装置１１は、読み出したＡＲコンテンツを撮影された画像に重畳した重畳画像を生成し、重畳画像をヘッドマウントディスプレイ１２へ送信する。ヘッドマウントディスプレイ１２は、画像処理制御装置１１から受信した重畳画像を表示する。これにより、例えば、ヘッドマウントディスプレイ１２には、点検の対象物に、点検すべき内容や注意点、前回の点検結果、点検手順など点検の際に注意すべき事項を示したコンテンツが重畳された重畳画像が表示される。この結果、点検を行う作業者は、表示されたコンテンツから点検の際に注意すべき事項を把握できるため、点検を効率的に行うことができる。

［ヘッドマウントディスプレイの構成］
次に、各機器の構成について説明する。最初にヘッドマウントディスプレイ１２の構成について説明する。図２は、ヘッドマウントディスプレイの機能的な構成を概略的に示した図である。ヘッドマウントディスプレイ１２は、通信Ｉ／Ｆ（インタフェース）部２０と、表示部２１と、カメラ２２と、記憶部２３と、制御部２４とを有する。なお、ヘッドマウントディスプレイ１２は、上記の機器以外の他の機器を有してもよい。

通信Ｉ／Ｆ部２０は、他の装置との間で通信制御を行うインタフェースである。通信Ｉ／Ｆ部２０は、無線通信により他の装置と各種情報を送受信する。例えば、通信Ｉ／Ｆ部２０は、カメラ２２により撮影された撮像画像の画像データを画像処理制御装置１１に送信する。また、通信Ｉ／Ｆ部２０は、表示用の画像データを画像処理制御装置１１から受信する。

表示部２１は、各種情報を表示するデバイスである。表示部２１は、ユーザがヘッドマウントディスプレイ１２を装着した際に、一方の目に対向するようにヘッドマウントディスプレイ１２に設けられている。表示部２１は、制御部２４からの制御により、各種情報を表示する。例えば、表示部２１は、画像処理制御装置１１から画像共有技術により送信された重畳画像を表示する。

カメラ２２は、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの撮像素子を用いて、画像を撮影するデバイスである。カメラ２２は、ヘッドマウントディスプレイ１２をユーザが装着した際に、装着したユーザの正面方向を向くようにヘッドマウントディスプレイ１２に設けられ、正面を向いたユーザの視線方向の画像の撮影が可能とされている。カメラ２２は、制御部２４からの制御により、画像を撮影し、撮影された撮像画像の画像データを出力する。

記憶部２３は、各種の情報を記憶する記憶デバイスである。例えば、記憶部２３は、ＲＡＭ（Random Access Memory）、フラッシュメモリ、ＮＶＳＲＡＭ（Non Volatile Static Random Access Memory）などのデータを書き換え可能な半導体メモリである。なお、記憶部２３は、ハードディスク、ＳＳＤ（Solid State Drive）、光ディスクなどの記憶装置であってもよい。

記憶部２３は、制御部２４で実行される制御プログラムや各種プログラムを記憶する。さらに、記憶部２３は、制御部２４で実行されるプログラムで用いられる各種データを記憶する。

制御部２４は、ヘッドマウントディスプレイ１２を制御するデバイスである。制御部２４としては、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）等の電子回路や、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field Programmable Gate Array）等の集積回路を採用できる。制御部２４は、各種の処理手順を規定したプログラムや制御データを格納するための内部メモリを有し、これらによって種々の処理を実行する。

制御部２４は、各種のプログラムが動作することにより各種の処理部として機能する。例えば、制御部２４は、撮影制御部３０と、通信制御部３１と、表示制御部３２とを有する。

撮影制御部３０は、カメラ２２を制御して画像の撮影を行う。例えば、撮影制御部３０は、カメラ２２により所定のフレームレートで動画の撮影を行う。

通信制御部３１は、各種の情報の送受信を制御する。例えば、通信制御部３１は、カメラ２２により撮影される撮像画像の画像データを画像処理制御装置１１へ送信する。また、通信制御部３１は、画像処理制御装置１１から表示用の画像データを受信する。

表示制御部３２は、表示部２１への各種の情報の表示を制御する。例えば、表示制御部３２は、画像処理制御装置１１から受信した画像データの画像を表示部２１に表示する制御を行う。

［画像処理制御装置の構成］
次に、画像処理制御装置１１の構成について説明する。図３は、実施例１に係る画像処理制御装置の機能的な構成を概略的に示した図である。図３に示すように、画像処理制御装置１１は、通信Ｉ／Ｆ部５０と、表示部５１と、入力部５２と、電源部５３と、記憶部５４と、制御部５５とを有する。なお、画像処理制御装置１１は、上記の機器以外に携帯型の情報処理装置やコンピュータが有する他の機器を有してもよい。

通信Ｉ／Ｆ部５０は、他の装置との間で通信制御を行うインタフェースである。例えば、通信Ｉ／Ｆ部５０は、無線通信によりヘッドマウントディスプレイ１２と各種情報を送受信する。例えば、通信Ｉ／Ｆ部５０は、ヘッドマウントディスプレイ１２からカメラ２２により撮影された撮像画像の画像データを受信する。また、通信Ｉ／Ｆ部５０は、表示用の画像データをヘッドマウントディスプレイ１２へ送信する。

表示部５１は、各種情報を表示する表示デバイスである。表示部５１としては、ＬＣＤ（Liquid Crystal Display）などの表示デバイスが挙げられる。表示部５１は、各種情報を表示する。例えば、表示部５１は、各種の操作画面やＡＲコンテンツを重畳した重畳画像を表示する。

入力部５２は、各種の情報を入力する入力デバイスである。例えば、入力部５２としては、ヘッドマウントディスプレイ１２に設けられた各種のボタンや、表示部５１上に設けられた透過型のタッチセンサなどの入力デバイスが挙げられる。なお、図３の例では、機能的な構成を示したため、表示部５１と入力部５２を別に分けているが、例えば、タッチパネルなど表示部５１と入力部５２を一体的に設けたデバイスで構成してもよい。

電源部５３は、バッテリや電池などの電力源を含み、画像処理制御装置１１の各電子部品に電力を供給する。

記憶部５４は、ハードディスク、ＳＳＤ、光ディスクなどの記憶装置である。なお、記憶部５４は、ＲＡＭ、フラッシュメモリ、ＮＶＳＲＡＭなどのデータを書き換え可能な半導体メモリであってもよい。

記憶部５４は、制御部５５で実行されるＯＳ（Operating System）や各種プログラムを記憶する。例えば、記憶部５４は、後述する情報処理を含む各種の処理を実行するプログラムを記憶する。さらに、記憶部５４は、制御部５５で実行されるプログラムで用いられる各種データを記憶する。例えば、記憶部５４は、コンテンツデータ６０を記憶する。

コンテンツデータ６０は、ＡＲコンテンツのオブジェクトデータを記憶したデータである。例えば、コンテンツデータ６０には、点検すべき内容や注意点、前回の点検結果、点検手順など、点検の際に注意すべき事項を示したオブジェクトデータが記憶されている。なお、ＡＲコンテンツは、３次元の立体的な形状のオブジェクトデータであってもよい。コンテンツデータ６０のＡＲコンテンツには、それぞれ識別情報として一意のコンテンツＩＤが定められている。

制御部５５は、画像処理制御装置１１を制御するデバイスである。制御部５５としては、ＣＰＵ、ＭＰＵ等の電子回路や、ＡＳＩＣ、ＦＰＧＡ等の集積回路を採用できる。制御部５５は、各種の処理手順を規定したプログラムや制御データを格納するための内部メモリを有し、これらによって種々の処理を実行する。制御部５５は、各種のプログラムが動作することにより各種の処理部として機能する。例えば、制御部５５は、取得部７０と、検出部７１と、生成部７２と、送信部７３とを有する。

取得部７０は、各種の取得を行う。例えば、取得部７０は、ヘッドマウントディスプレイ１２から送信され、通信Ｉ／Ｆ部５０で受信された撮像画像の画像データを順次取得する。

検出部７１は、各種の検出を行う。例えば、検出部７１は、取得部７０により順次取得される画像データが示す撮像画像から基準物の検出処理を実行する。例えば、検出部７１は、画像データが示す撮像画像に対して、ＡＲマーカの検出を行う。検出部７１は、ＡＲマーカが検出された場合、撮像画像内での検出されたＡＲマーカのサイズを特定する。

生成部７２は、各種の生成を行う。例えば、生成部７２は、検出部７１によりＡＲマーカが検出された場合、ＡＲマーカが検出された撮像画像に、ＡＲマーカに対応する画像を重畳させる処理を施して重畳画像を生成する。例えば、生成部７２は、ＡＲマーカが検出された場合、ＡＲマーカのパターン画像をデコードしてマーカＩＤを特定する。生成部７２は、特定したコンテンツＩＤのオブジェクトデータをコンテンツデータ６０から読み出す。そして、生成部７２は、読み出したオブジェクトデータのＡＲコンテンツをＡＲマーカのサイズに応じた大きさで撮像画像に重畳する。

ここで、本実施例に係るシステム１０では、画像処理制御装置１１が、画像共有技術により、画面をヘッドマウントディスプレイ１２へ転送して表示させている。しかし、画像処理制御装置１１の画面更新周期とヘッドマウントディスプレイ１２の画面更新周期は、同一ではなく、一般的に画像処理制御装置１１の画面更新周期［fps］＞ヘッドマウントディスプレイ１２の画面更新周期［fps］となる。

図４は、撮影タイミングおよび画面更新タイミングの一例を示す図である。本実施例では、説明を簡略化するため、ヘッドマウントディスプレイ１２による撮影周期および画像処理制御装置１１の画像更新周期が共に同じ周期（例えば、６０［fps］）であるものとする。なお、ヘッドマウントディスプレイ１２による撮影周期と画像処理制御装置１１の画像更新周期は、異なってもよい。図４の例では、画像共有技術としてMiracastを用いた場合を例に説明するが、画像共有技術は、Miracastに限定されるものではない。

図４の例では、ヘッドマウントディスプレイ１２は、撮影周期ごとの撮影タイミングで撮影された撮像画像の画像データを画像処理制御装置１１へ送信している。画像処理制御装置１１は、順次取得された撮像画像に対してＡＲマーカに対応する画像を重畳し、重畳画像を画像処理制御装置１１の画像更新周期に応じた画面更新タイミングで画面に表示する。一方、画像処理制御装置１１は、Miracastによる更新タイミングとなると、更新タイミングの直後の画面の画像の画像データをヘッドマウントディスプレイ１２へ送信する。ヘッドマウントディスプレイ１２は、受信した画像データが示す画面の画像を表示する。ヘッドマウントディスプレイ１２に画面の画像が表示されるには、画像データの転送時間などを含んだタイムラグがある。

ところで、本実施例に係るシステム１０では、ヘッドマウントディスプレイ１２をユーザが装着した際に、ユーザは、基本的に画像処理制御装置１１の画面しか見ない。このため、画像処理制御装置１１では、カメラにより撮影された各撮像画像に対してＡＲコンテンツを重畳する画像処理を行った場合、ヘッドマウントディスプレイ１２に送信されない撮像画像に対しても画像を重畳する処理が行われる。このように、ヘッドマウントディスプレイ１２に送信されない撮像画像に対する画像の重畳処理は、無駄な電力消費が発生する。画像処理制御装置１１は、バッテリや電池などから電力が供給されるため、無駄な電力消費が発生すると、画像処理制御装置１１の動作時間が短くなる。

そこで、検出部７１は、取得した複数の撮像画像のうち、送信対象の撮像画像について基準物の検出処理を実行する。例えば、検出部７１は、通信Ｉ／Ｆ部５０で撮像画像の画像データが取得される時間間隔Ｔｓを求める。例えば、検出部７１は、撮影のフレームレートなど撮影の周期情報が記憶されている場合、周期情報から撮像画像の画像データが取得される時間間隔Ｔｓを求めてもよい。また、検出部７１は、画像データが取得される時間間隔を複数計測し、時間間隔の平均を時間間隔Ｔｓとして求めてもよい。また、検出部７１は、Miracastによる画像の更新タイミングの時間間隔Ｔｍを求める。例えば、検出部７１は、Miracastによる画像の更新タイミングの時間間隔Ｔｍの設定情報が記憶されている場合、設定情報を読み出すことにより更新タイミングの時間間隔Ｔｍを求めてもよい。また、検出部７１は、Miracastによる画像の更新タイミングの時間間隔を複数計測し、時間間隔の平均を時間間隔Ｔｍとして求めてもよい。また、検出部７１は、ＡＲに関する処理時間を求める。例えば、検出部７１は、撮像画像に対してＡＲマーカの検出を開始してから、撮像画像に対してＡＲマーカに対応する画像を重畳する画像処理を行って画面に表示されるまでのＡＲに関する処理時間を求める。例えば、検出部７１は、ＡＲに関する処理時間が、ＡＲマーカの検出にかかる検出時間Ｔｉｄと、撮像画像に対してＡＲマーカに対応するＡＲコンテンツを重畳して表示するＡＲコンテンツ表示処理時間Ｔａｒが主な時間である場合、検出時間ＴｉｄとＡＲコンテンツ表示処理時間Ｔａｒを求める。例えば、検出部７１は、検出時間ＴｉｄとＡＲコンテンツ表示処理時間Ｔａｒの時間情報が記憶されている場合、時間情報から検出時間ＴｉｄとＡＲコンテンツ表示処理時間Ｔａｒを求めてもよい。また、検出部７１は、ＡＲマーカの検出にかかる検出時間と撮像画像に対してＡＲマーカに対応するＡＲコンテンツを重畳して表示する時間をそれぞれ複数計測し、それぞれの平均を検出時間ＴｉｄとＡＲコンテンツ表示処理時間Ｔａｒとして求めてもよい。検出部７１は、撮像画像に対してＡＲマーカに対応する画像を重畳する画像処理を行った場合の時刻が次のMiracastによる画像の更新タイミングの直前となる送信対象の撮像画像が送信されるタイミングを求める。

図５は、送信対象の撮像画像が送信されるタイミングの求め方の一例を示す図である。例えば、検出部７１は、Miracastによる直近の更新タイミングＴ１から時間間隔Ｔｍ後の時刻Ｔ２を求める。検出部７１は、時刻Ｔ２から、検出時間Ｔｉｄ＋ＡＲコンテンツ表示処理時間Ｔａｒ前の時刻Ｔ３を求める。検出部７１は、直近の撮像画像の画像データが取得された時刻Ｔ４から時間間隔Ｔｓずつ経過した時刻Ｔｎ１、Ｔｎ２、Ｔｎ３・・・を求める。検出部７１は、時刻Ｔｎ１、Ｔｎ２、Ｔｎ３・・・のうち、時刻Ｔ３の直前となる時刻を求める。図５の例では、時刻Ｔｎ２は、時刻Ｔ３より前であり、時刻Ｔｎ３は、時刻Ｔ３の後である。このため、検出部７１は、時刻Ｔｎ２が時刻Ｔ３の直前となる時刻と求まる。

検出部７１は、時刻Ｔｎ２を基準として所定の許容時間以内に取得される撮像画像を送信対象の撮像画像としてＡＲマーカの検出処理を実行する。一方、検出部７１は、送信対象とされなかった時刻Ｔｎ１、Ｔｎ３の撮像画像についてＡＲマーカの検出処理をスキップする。すなわち、検出部７１は、送信対象とされなかった撮像画像についてＡＲマーカの検出処理を実行しない。なお、検出部７１は、撮像画像が取得された数をカウントして送信対象の撮像画像を判別してもよい。例えば、図５の例では、時刻Ｔｎ２の撮像画像は、時刻Ｔ４の撮像画像から２つ目の撮像画像である。検出部７１は、時刻Ｔ４の撮像画像から２つ目に得られた撮像画像を送信対象の撮像画像としてＡＲマーカの検出処理を実行してもよい。

生成部７２は、送信対象の撮像画像にＡＲマーカが検出された場合、ＡＲマーカが検出された撮像画像に、ＡＲマーカに対応する画像を重畳させる処理を施して重畳画像を生成する。図５の例では、生成部７２は、時刻Ｔｎ２に取得される撮像画像にＡＲマーカが検出された場合、時刻Ｔｎ２の撮像画像にＡＲマーカに対応する画像を重畳して重畳画像を生成する。

送信部７３は、Miracastによる更新タイミングとなると、更新タイミングで表示される画面の画像の画像データをヘッドマウントディスプレイ１２へ送信する。図５の例では、送信部７３は、Miracastによる直近の更新タイミング時刻Ｔ２となると、時刻Ｔｎ２に取得された撮像画像にＡＲマーカに対応する画像を重畳した重畳画像の画像データをヘッドマウントディスプレイ１２へ送信する。

ヘッドマウントディスプレイ１２は、画像処理制御装置１１から受信した画像データの重畳画像を表示部２１に表示する。

図６は、撮影タイミングおよび画面更新タイミングの一例を示す図である。画像処理制御装置１１は、ヘッドマウントディスプレイ１２への送信対象となるＴｘ１、Ｔｘ４、Ｔｘ７、Ｔｘ１０の撮像画像にＡＲマーカが検出された場合、撮像画像にＡＲマーカに対応する画像を重畳し、重畳画像の画像データをヘッドマウントディスプレイ１２へ送信する。一方、画像処理制御装置１１は、ヘッドマウントディスプレイ１２への送信対象とならないＴｘ２、Ｔｘ３、Ｔｘ５、Ｔｘ６、Ｔｘ８、Ｔｘ９、Ｔｘ１１、Ｔｘ１２の撮像画像に対してはＡＲコンテンツを重畳する処理をスキップする。これにより、画像処理制御装置１１では、ヘッドマウントディスプレイ１２に送信されない撮像画像に対する画像の重畳処理が行われなくなるため、電力消費を抑制できる。

次に、本実施例に係る画像処理制御装置１１が撮像画像にＡＲコンテンツを重畳する画像処理を制御する制御処理の流れを説明する。図７は、制御処理の手順の一例を示すフローチャートである。この制御処理は、所定のタイミング、例えば、画像処理制御装置１１でＡＲの処理開始を指示する所定操作が行われたタイミングで実行される。なお、ヘッドマウントディスプレイ１２から撮像画像の画像データを受信したタイミングで実行されてもよい。

図７に示すように、検出部７１は、制御に用いる各種のパラメータを取得する前処理を実行する（Ｓ１０）。例えば、検出部７１は、取得部７０で画像データが取得される時間間隔を複数計測し、時間間隔の平均を時間間隔Ｔｓとして求める。また、検出部７１は、Miracastによる画像の更新タイミングの時間間隔を複数計測し、時間間隔の平均を時間間隔Ｔｍとして求めてもよい。また、検出部７１は、ＡＲマーカの検出にかかる検出時間と撮像画像に対してＡＲマーカに対応するＡＲコンテンツを重畳して表示する時間をそれぞれ複数計測し、それぞれの平均を検出時間ＴｉｄとＡＲコンテンツ表示処理時間Ｔａｒとして求める。

検出部７１は、送信対象の撮像画像が送信されるタイミングを特定する（Ｓ１１）。検出部７１は、取得部７０でヘッドマウントディスプレイ１２から撮像画像を取得すると、送信対象の撮像画像であるか判定する（Ｓ１２）。例えば、取得部７０は、送信対象の撮像画像が送信されるタイミングを基準として所定の許容時間以内に受信された撮像画像を送信対象の撮像画像と判定する。送信対象の撮像画像ではない場合（Ｓ１２否定）、再度Ｓ１２へ移行する。

一方、送信対象の撮像画像である場合（Ｓ１２肯定）、検出部７１は、撮像画像に対してＡＲマーカの検出処理を実行する（Ｓ１３）。

生成部７２は、撮像画像にＡＲマーカが検出されたか否かを判定する（Ｓ１４）。撮像画像にＡＲマーカが検出されない場合（Ｓ１４否定）、上述のＳ１２へ移行する。

撮像画像にＡＲマーカが検出された場合（Ｓ１４肯定）、生成部７２は、撮像画像にＡＲマーカに対応する画像を重畳させる処理を施して重畳画像を生成する（Ｓ１５）。送信部７３は、Miracastによる更新タイミングとなると、生成した重畳画像の画像データをヘッドマウントディスプレイ１２へ送信する（Ｓ１６）。

検出部７１は、処理を終了するか否かを判定する（Ｓ１７）。例えば、検出部７１は、処理終了の所定の指示操作を受け付けた場合、処理を終了すると判定する。処理を終了すると判定された場合（Ｓ１７肯定）、処理を終了する。

一方、処理を終了しない場合（Ｓ１７否定）、上述のＳ１２へ移行する。

このように、本実施例に係る画像処理制御装置１１は、撮像画像を順次取得する。画像処理制御装置１１は、取得した複数の撮像画像のうち、送信対象の撮像画像について基準物の検出処理を実行する。画像処理制御装置１１は、送信対象の撮像画像と、検出処理により検出した基準物に対応する画像とを重畳させる処理を施して重畳画像を生成する。画像処理制御装置１１は、生成した重畳画像を送信する。これにより、画像処理制御装置１１は、電力消費を抑制できる。

また、本実施例に係る画像処理制御装置１１は、複数の撮像画像のうち、送信対象とされなかった撮像画像について検出処理を実行しない。これにより、画像処理制御装置１１は、送信対象とされなかった撮像画像についての不要な検出処理をスキップできるため、処理負荷を軽減でき、電力消費を抑制できる。

また、本実施例に係る画像処理制御装置１１は、ヘッドマウントディスプレイ１２に対して所定の周期で重畳画像を送信する。これにより、画像処理制御装置１１は、ヘッドマウントディスプレイ１２に対して重畳画像を表示させることができる。

次に、実施例２について説明する。実施例２に係るシステム１０、ヘッドマウントディスプレイ１２の構成は、図１、図２に示した実施例１と同様であるため、説明を省略する。

図８は、実施例２に係る画像処理制御装置の機能的な構成を概略的に示した図である。実施例２に係る画像処理制御装置１１の構成は、図３に示した実施例１と略同様であるため、同一の部分については同一の符号を付し、主に異なる部分について説明する。

図８に示すように、画像処理制御装置１１の制御部５５は、調整部７４をさらに有する。

調整部７４は、各種の調整を行う。調整部７４は、重畳画像の送信周期に応じて撮像画像の撮影周期を調整する。例えば、調整部７４は、ヘッドマウントディスプレイ１２から画像処理制御装置１１へ撮像画像の画像データを送信する送信時間Ｔｒを求める。例えば、調整部７４は、画像データまたは所定のデータ量のテストデータをヘッドマウントディスプレイ１２から画像処理制御装置１１へ送信させてデータにかかる送信時間を測定する。調整部７４は、画像データまたはテストデータのデータ量を送信時間で除算してデータの転送速度を求める。また、調整部７４は、複数の撮像画像の画像データのデータ量を平均して、撮像画像の標準的なデータ量を求める。そして、調整部７４は、撮像画像の標準的なデータ量を転送速度で除算して撮像画像の画像データを送信する送信時間Ｔｒを求める。調整部７４は、重畳画像の送信周期に基づき、ヘッドマウントディスプレイ１２から送信された撮像画像に対してＡＲマーカに対応する画像を重畳する画像処理を行った場合の時刻が次のMiracastによる画像の更新タイミングの直前となる撮影タイミングを求める。

図９は、撮影タイミングの求め方の一例を示す図である。図９には、図５と同様に、Miracastによる直近の更新タイミングＴ１と、更新タイミングＴ１から時間間隔Ｔｍ後の時刻Ｔ２が示されている。また、図９には、時刻Ｔ２から、検出時間Ｔｉｄ＋ＡＲコンテンツ表示処理時間Ｔａｒ前の時刻Ｔ３が示されている。調整部７４は、時刻Ｔ３から、送信時間Ｔｒ前の時刻Ｔ５を求める。調整部７４は、時刻Ｔ５を撮影タイミングとしてヘッドマウントディスプレイ１２へ通知する。なお、各処理時間にタイムラグが発生した場合、Miracastによる画像の更新タイミングまでに重畳画像の生成が完了しない場合が考えられるため、調整部７４は、一定の余裕時間を予め設けた時刻をヘッドマウントディスプレイ１２へ通知してもよい。すなわち、調整部７４は、時刻Ｔ５から一定の余裕時間前の時刻をヘッドマウントディスプレイ１２へ通知してもよい。

ヘッドマウントディスプレイ１２は、時刻Ｔ５に画像の撮影を行い、撮像画像の画像データを画像処理制御装置１１へ送信する。検出部７１は、ヘッドマウントディスプレイ１２から取得された撮像画像を送信対象の撮像画像として基準物の検出処理を実行する。生成部７２は、撮像画像にＡＲマーカが検出された場合、ＡＲマーカが検出された撮像画像に、ＡＲマーカに対応する画像を重畳させる処理を施して重畳画像を生成する。送信部７３は、Miracastによる更新タイミングとなると、更新タイミングで表示される画面の画像の画像データをヘッドマウントディスプレイ１２へ送信する。これにより、ヘッドマウントディスプレイ１２では、ＡＲコンテンツを重畳して表示する撮像画像のみ撮影が行われるため、電力消費を抑制できる。また、画像処理制御装置１１では、ヘッドマウントディスプレイ１２に送信されない撮像画像に対する画像の重畳処理が行われなくなるため、電力消費を抑制できる。

このように、本実施例に係る画像処理制御装置１１は、重畳画像の送信周期に応じて撮像画像の撮影周期を調整する。これにより、画像処理制御装置１１は、不要な撮像画像の撮影を抑制できる。

さて、これまで開示の装置に関する実施例について説明したが、開示の技術は上述した実施例以外にも、種々の異なる形態にて実施されてよい。そこで、以下では、本発明に含まれる他の実施例を説明する。

例えば、上記の実施例では、画像処理制御装置１１をスマートフォンやタブレット端末などの携帯型の情報処理装置とした場合を例に説明した。しかし、開示の装置はこれに限定されない。例えば、画像処理制御装置１１は、パーソナルコンピュータやサーバコンピュータなどのコンピュータとしてもよい。そして、画像処理制御装置１１は、有線又は無線を問わず、移動体通信、インターネット（Internet）、ＬＡＮ（Local Area Network）などの任意の種類の通信網を介してヘッドマウントディスプレイ１２と通信可能としてもよい。

また、上記の実施例では、送信対象の撮像画像に対してのみＡＲコンテンツを重畳する画像処理を行う場合を例に説明した。しかし、開示の装置はこれに限定されない。例えば、画像処理制御装置１１は、入力部５２に対する操作入力が検出された場合、所定期間の間、取得部７０により順次取得される各撮像画像に対してのみＡＲコンテンツを重畳する画像処理を行ってもよい。これにより、例えば、ユーザが画像処理制御装置１１の入力部５２に対して操作入力を行った場合、表示部５１には、ＡＲコンテンツを重畳された各撮像画像が表示される。

また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的状態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。例えば、取得部７０、検出部７１、生成部７２、送信部７３および調整部７４の各処理部が適宜統合されてもよい。さらに、各処理部にて行なわれる各処理機能は、その全部または任意の一部が、ＣＰＵおよび当該ＣＰＵにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。

［画像処理制御プログラム］
また、上記の実施例で説明した各種の処理は、あらかじめ用意されたプログラムをパーソナルコンピュータやワークステーションなどのコンピュータシステムで実行することによって実現することもできる。そこで、以下では、上記の実施例と同様の機能を有するプログラムを実行するコンピュータシステムの一例を説明する。図１０は、画像処理制御プログラムを実行するコンピュータの一例を示す図である。

図１０に示すように、コンピュータ３００は、ＣＰＵ（Central Processing Unit）３１０、ＨＤＤ（Hard Disk Drive）３２０、ＲＡＭ（Random Access Memory）３４０を有する。これら３００〜３４０の各部は、バス４００を介して接続される。

ＨＤＤ３２０には上記の取得部７０、検出部７１、生成部７２、送信部７３および調整部７４と同様の機能を発揮する画像処理制御プログラム３２０Ａが予め記憶される。なお、画像処理制御プログラム３２０Ａについては、適宜分離してもよい。

また、ＨＤＤ３２０は、各種情報を記憶する。例えば、ＨＤＤ３２０は、ＯＳや各種の処理に用いる各種データを記憶する。

そして、ＣＰＵ３１０が、画像処理制御プログラム３２０ＡをＨＤＤ３２０から読み出して実行することで、実施例の各処理部と同様の動作を実行する。すなわち、画像処理制御プログラム３２０Ａは、取得部７０、検出部７１、生成部７２、送信部７３および調整部７４と同様の動作を実行する。

なお、上記した画像処理制御プログラム３２０Ａは、必ずしも最初からＨＤＤ３２０に記憶させることを要しない。

また、例えば、画像処理制御プログラム３２０Ａは、コンピュータ３００に挿入されるＣＤ−ＲＯＭ、ＤＶＤディスク、光磁気ディスク、ＩＣカードなどの「可搬用の物理媒体」にプログラムを記憶させてもよい。そして、コンピュータ３００がこれらからプログラムを読み出して実行するようにしてもよい。

さらには、公衆回線、インターネット、ＬＡＮ、ＷＡＮなどを介してコンピュータ３００に接続される「他のコンピュータ（またはサーバ）」などにプログラムを記憶させておく。そして、コンピュータ３００がこれらからプログラムを読み出して実行するようにしてもよい。

１０ システム
１１ 画像処理制御装置
１２ ヘッドマウントディスプレイ
２１ 表示部
２２ カメラ
５１ 表示部
５２ 入力部
５５ 制御部
７０ 取得部
７１ 検出部
７２ 生成部
７３ 送信部
７４ 調整部

Claims (7)

1. 撮像画像を順次取得し、
   取得した複数の撮像画像のうち、送信対象の撮像画像について基準物の検出処理を実行し、
   前記送信対象の撮像画像と、前記検出処理により検出した基準物に対応する画像とを重畳させる処理を施して重畳画像を生成し、
   生成した前記重畳画像を送信する、
   処理をコンピュータが実行することを特徴とする画像処理制御方法。
2. 前記検出処理は、前記複数の撮像画像のうち、送信対象とされなかった撮像画像について実行されない
   ことを特徴とする請求項１に記載の画像処理制御方法。
3. 前記送信する処理は、所定の周期で前記重畳画像を送信する
   ことを特徴とする請求項１または２に記載の画像処理制御方法。
4. 前記送信する処理は、ヘッドマウントディスプレイに対して前記重畳画像を送信する
   ことを特徴とする請求項１〜３の何れか１つに記載の画像処理制御方法。
5. 前記重畳画像の送信周期に応じて撮像画像の撮影周期を調整する処理をコンピュータがさらに実行する
   ことを特徴とする請求項１〜４の何れか１つに記載の画像処理制御方法。
6. 撮像画像を順次取得し、
   取得した複数の撮像画像のうち、送信対象の撮像画像について基準物の検出処理を実行し、
   前記送信対象の撮像画像と、前記検出処理により検出した基準物に対応する画像とを重畳させる処理を施して重畳画像を生成し、
   生成した前記重畳画像を送信する、
   処理をコンピュータに実行させることを特徴とする画像処理制御プログラム。
7. 撮像画像を順次取得する取得部と、
   前記取得部により取得した複数の撮像画像のうち、送信対象の撮像画像について基準物の検出処理を実行する検出部と、
   前記送信対象の撮像画像と、前記検出処理により検出した基準物に対応する画像とを重畳させる処理を施して重畳画像を生成する生成部と、
   前記生成部により生成した前記重畳画像を送信する送信部と、
   を有することを特徴とする画像処理制御装置。

Images