JP2015219546A - 機器制御システム、機器制御プログラムおよび機器制御装置 - Google Patents

Abstract

【課題】未来感のある実用性の高い機器制御の仕組を提供する。【解決手段】所定のリアル空間を撮影するカメラと、前記カメラの撮影画像を処理する情報処理装置とを備え、前記情報処理装置は、前記カメラの撮影画像上のデバイスの領域を管理するデバイス領域管理手段と、前記カメラの撮影画像からレーザポインタによる照射点を検出する照射点検出手段と、前記照射点の前記デバイスの領域での振る舞いから所定の操作を検出する操作検出手段と、検出した操作に応じて該当する前記デバイスの制御を行うデバイス制御手段とを備える。【選択図】図１

Description

本発明は、機器を制御する技術に関する。

深度カメラによるモーションセンサを用いた、ジェスチャによるユーザインタフェース（ＵＩ）が知られており（例えば、特許文献１等を参照。）、これらのジェスチャによるユーザインタフェースを実際の機器等のデバイスの制御に応用する研究も種々行われている。

上述したジェスチャによるユーザインタフェースは、手や体の動きだけで操作を行うことができる点で有利である。しかし、テレビや照明機器等の実際のデバイスのユーザインタフェースとして用いようとすると、手や体の動きに起因して、細かい精度が出せなかったり、誤認識が多かったりして、実用性のあるユーザインタフェースとしては課題が多い。

また、ジェスチャによるユーザインタフェースは、デバイスに向かってジェスチャを行うユーザの姿態を撮影する必要から、デバイス側にセンサを設けるものであるため、デバイス側にセンサを設置することが困難な場合には適用が困難であった。更に、複数のデバイスの制御を行う場合、デバイスのそれぞれにセンサが必要となり、コスト的にも適用が困難であった。

本発明は上記の従来の問題点に鑑み提案されたものであり、その目的とするところは、未来感のある実用性の高い機器制御の仕組を提供することにある。

上記の課題を解決するため、本発明にあっては、所定のリアル空間を撮影するカメラと、前記カメラの撮影画像を処理する情報処理装置とを備え、前記情報処理装置は、前記カメラの撮影画像上のデバイスの領域を管理するデバイス領域管理手段と、前記カメラの撮影画像からレーザポインタによる照射点を検出する照射点検出手段と、前記照射点の前記デバイスの領域での振る舞いから所定の操作を検出する操作検出手段と、検出した操作に応じて該当する前記デバイスの制御を行うデバイス制御手段とを備える。

本発明にあっては、未来感のある実用性の高い機器制御の仕組を提供することができる。

本発明の一実施形態にかかるシステムの構成例を示す図である。 各装置の内部構成例を示す図である。 処理に用いる情報の例を示す図である。 実施形態の処理例を示すシーケンス図である。 レーザポインタによるデバイスの操作の例を示す図（その１）である。 レーザポインタによるデバイスの操作の例を示す図（その２）である。 実施形態のより詳細な処理例を示すフローチャートである。 変換用パターンの例を示す図である。

以下、本発明の好適な実施形態につき説明する。

＜構成＞
図１は本発明の一実施形態にかかるシステムの構成例を示す図である。図１において、テレビや家具等が配置された室内等のリアル空間１には、ＰＣ（Personal Computer）等の情報処理装置２と、映像の投影を行うプロジェクタ３と、撮影を行うカメラ４とが設けられ、プロジェクタ３とカメラ４は情報処理装置２に接続されている。プロジェクタ３はリアル空間１の所定範囲に映像の投影を行うように配置され、カメラ４はプロジェクタ３の投影範囲を撮影するように配置される。また、情報処理装置２はネットワーク６を介してサーバ７に接続されている。更に、情報処理装置２は、直接に、またはネットワーク６を介して、テレビ等のデバイス１１に接続されている。なお、情報処理装置２とデバイス１１との接続形態は有線・無線を問わない。そして、利用者はレーザポインタ５によりリアル空間１に光線を照射してポインティング操作を行うことで、リアル空間１に配置されたデバイス１１の制御を行うことができる。

図２は各装置の内部構成例を示す図である。図２において、情報処理装置２は、統括制御部２０１と撮影制御部２０２と変換用パターン出力部２０３と映像信号伝送部２０４と映像信号入力部２０５と変換係数演算部２０６と照射点検出部２０７と変換処理部２０８とデバイス設定部２０９と通信部２１０と操作判定部２１１とＵＩ画像生成部２１２とデバイス制御部２１３とを備えている。各部は主にコンピュータのハードウェアとその上で実行されるコンピュータプログラムにより実現される。

プロジェクタ３は、映像信号入力部３０１と映像処理部３０２と駆動制御部３０３とランプ電源３０４とランプ３０５とモータ３０６とカラーホイール３０７と画像形成部３０８と同期信号出力部３０９とを備えている。ランプ電源３０４、ランプ３０５、モータ３０６およびカラーホイール３０７を除いた各部は主にコンピュータのハードウェアとその上で実行されるコンピュータプログラムにより実現される。なお、レンズやミラー等の光学系については図示を省略している。

情報処理装置２の統括制御部２０１は、情報処理装置２における処理の全体的な制御を行う機能を有している。

撮影制御部２０２は、プロジェクタ３の同期信号出力部３０９から同期信号を入力し、カメラ４に対して撮影期間の制御を行う機能を有している。ここで、同期信号は、レーザポインタ５（図１）の発光色がプロジェクタ３から投影される光色と被らないようにし、レーザポインタ５の照射点の検出ができなくなるのを防止するためのものである。より具体的には、プロジェクタ３の画像形成部３０８が１つのＤＭＤ（Digital Micromirror Device）素子で構成され、カラー映像の投影にカラーホイール３０７が用いられる場合には、レーザポインタ５の発光色と、カラーホイール３０７の回転位置の色とが被らない期間を同期信号は示す。プロジェクタ３の画像形成部３０８がＬＣＤ（Liquid Crystal Display）素子で構成される場合には、フレーム単位等に映像を投影しない期間を同期信号は示す。

変換用パターン出力部２０３は、初期設定モードにおいて、プロジェクタ３から投影する変換用パターンを出力する機能を有している。変換用パターンは、プロジェクタ３により投影する映像の画素位置と、カメラ４により撮影されたリアル空間１の映像の画素位置とを、射影変換により一致させるための変換係数（行列値）を算出するために用いられる。

映像信号伝送部２０４は、プロジェクタ３に対して映像信号を出力する機能を有している。より具体的には、初期設定モードにおいては変換用パターン出力部２０３からの変換用パターンを出力し、通常モードにおいては全面黒画像の映像信号（ＵＩ画像を投影する場合にはＵＩ画像生成部２１２の出力するＵＩ画像を含む映像信号）を出力する。

映像信号入力部２０５は、カメラ４で撮影された映像信号を入力する機能を有している。

変換係数演算部２０６は、初期設定モードにおいて、変換用パターンの撮影画像の画素位置を元の変換用パターン（投影画像）の画素位置に一致させる射影変換の変換係数を算出し、算出した変換係数を保持する機能を有している。すなわち、変換係数演算部２０６は、変換用パターン出力部２０３の出力する変換用パターンと映像信号入力部２０５の出力する映像信号の撮影画像に基づいて変換係数を算出し、算出した変換係数を保持する。

照射点検出部２０７は、通常モードにおいて、映像信号入力部２０５の出力する映像信号の撮影画像から、レーザポインタ５による照射点を検出（撮影画像における照射点の座標値を検出）する機能を有している。

変換処理部２０８は、変換処理部２０８の検出した照射点の撮影画像における座標値を、変換係数演算部２０６の保持する変換係数に基づいて、投影画像における座標値に座標変換（射影変換）する機能を有している。

デバイス設定部２０９は、デバイス設定モードにおいて、レーザポインタ５による照射点の座標範囲と制御対象となる機器等のデバイス１１のＵＩ情報との関係を設定する機能を有している。すなわち、デバイス設定部２０９は、映像信号入力部２０５の出力する映像信号の画像からデバイス１１の可能性のある物体の輪郭を抽出し、情報処理装置２のモニタやリアル空間１に表示し、更にデバイスの候補を表示して、利用者にデバイス１１ひいてはＵＩ情報との対応付けを行わせる。なお、利用者に撮影画像上でデバイスの輪郭座標を指定させた上でデバイス１１ひいてはＵＩ情報との対応付けを行わせるようにしてもよい。

通信部２１０は、外部とデータ通信を行う機能を有している。より具体的には、デバイス設定部２０９において該当するデバイス１１のＵＩ情報を保持していない場合に、ネットワーク６を介してサーバ７からＵＩ情報を取得する。また、デバイス制御部２１３がネットワーク経由でデバイス１１の制御を行う場合、デバイス１１との通信を媒介する。

操作判定部２１１は、レーザポインタ５による照射点がいずれかのデバイス１１の座標範囲（領域）に入ったか否か、および、座標範囲に入ることで表示されるＵＩに所定の操作を行ったか否かを判定する機能を有している。所定の操作として判定されるためには、単に照射点が通過した場合に誤判定しないよう、領域内で照射点が所定の時間にわたって滞留する等の、所定の振る舞いが条件として与えられる。

ＵＩ画像生成部２１２は、操作判定部２１１により判定された操作内容に応じ、対応するＵＩ画像を生成する機能を有している。なお、デバイス１１に制御を行った結果のレスポンスについても表示する場合には、ＵＩ画像の一環としてレスポンス画像を生成する。

デバイス制御部２１３は、操作判定部２１１により判定された操作内容に応じ、デバイス１１に対し、直接または通信部２１０を介し、制御を行う機能を有している。

一方、プロジェクタ３の映像信号入力部３０１は、情報処理装置２の映像信号伝送部２０４から投影のための映像信号を入力する機能を有している。

映像処理部３０２は、映像信号入力部３０１の入力した映像信号に対して各種の画像処理を行う機能を有している。具体的には、コントラスト、明るさ、彩度、色相、ＲＧＢゲイン、シャープネス、拡大縮小等の画像処理を行う。

駆動制御部３０３は、投影する映像信号に応じ、ランプ電源３０４、モータ３０６および画像形成部３０８の制御を行う機能を有している。

ランプ電源３０４は、光源となるランプ３０５に電源を供給する機能を有している。

モータ３０６は、画像形成部３０８が１つのＤＭＤ素子で構成される場合にカラー映像の投影を行うためのカラーホイール３０７の同期回転を行う機能を有している。

画像形成部３０８は、映像処理部３０２の出力である映像信号を再生する機能を有しており、ＤＭＤ素子またはＬＣＤ素子から構成される。

同期信号出力部３０９は、駆動制御部３０３の制御タイミングに基づき、情報処理装置２に対して撮影のための同期信号を出力する機能を有している。

図３は情報処理装置２における処理に用いる情報の例を示す図であり、主にデバイス設定部２０９によって設定が行われ、操作判定部２１１において参照される情報である。図３において、ＵＩ存在テーブルは、座標変換後の画像の有効座標範囲とＵＩ情報ＩＤとを対応付けて保持している。ＵＩ情報ＩＤはＵＩ情報を識別する情報である。例えば、第１のデバイスが「テレビ」であり、その筐体の輪郭の左上座標が（100,100）、右下座標が（200,200）であった場合、有効座標範囲は「（100,100）⇒（200,200）」となり、ＵＩ情報ＩＤは例えば「UI0001」となる。

各ＵＩ情報ＩＤにはＵＩ情報が対応付けられており、ＵＩ情報にはＵＩ要素ＩＤ、要素パターン、グラフィックＩＤ、アクションＩＤが含まれている。ＵＩ要素ＩＤは、ＵＩ要素を識別する情報である。要素パターンは、ＵＩ要素の種類を示す情報である。グラフィックＩＤは、ＵＩ要素に画像が対応する場合に、グラフィックファイルを識別する情報である。アクションＩＤは、ＵＩ要素に対する操作が有効となる操作条件およびデバイスに対する制御内容を示すアクション定義ファイルを識別する情報である。操作条件としては、例えば、ＵＩ要素の所定領域上に所定時間の照射点の検出がある等である。制御内容としては、例えば、電源のＯＮ／ＯＦＦや音量の上げ／下げ、チャンネルの次／前等がある。

＜動作＞
図４は上記の実施形態の処理例を示すシーケンス図である。なお、通常モードでの処理の概要を説明する。初期設定モードとデバイス設定モードを含め、処理の詳細は後述する。

図４において、利用者がレーザポインタ５を用いてリアル空間１に対してポインティングを行うと（ステップＳ１０１）、情報処理装置２は、照射点の検出、および、座標変換を行う（ステップＳ１０２）。

次いで、情報処理装置２は、照射点の変換後の座標値がＵＩ存在テーブル（図３）のいずれかのデバイス１１の有効座標範囲内か否か判断する（ステップＳ１０３）。

次いで、有効座標範囲内である場合、対応するＵＩ情報に基づいてＵＩ画像をプロジェクタ３により投影し、ＵＩ操作待機モードに入る（ステップＳ１０４）。ＵＩ画像の生成の際に、制御対象のデバイス１１の状態（チャンネル、音量等）を必要とする場合、デバイス１１と通信して情報を取得する。なお、ＵＩ画像を表示することなく、有効座標範囲内に照射点が所定時間滞留等することで、デバイス１１のオン・オフ等を制御する場合もある。

図５はレーザポインタ５の照射点がデバイス１１の１つである「テレビ」の有効座標範囲内で所定時間にわたって検出されたことにより、その上部にＵＩ画像として「− Channel 4ch ＋」と「− Volume 21 ＋」が投影された状態を示している。

図４に戻り、ＵＩ操作待機モードにおいて利用者がレーザポインタ５を用いてリアル空間１に対してポインティングを行うと（ステップＳ１０５）、情報処理装置２は、照射点の検出、および、座標変換を行う（ステップＳ１０６）。なお、この場合のポインティング（ステップＳ１０５）は、最初のポインティング（ステップＳ１０１）から光を照射したまま連続して行ってもよい。

次いで、情報処理装置２は、表示（投影）されたＵＩ要素の画像について定義されたＵＩ操作であるか否か判定する（ステップＳ１０７）。

定義されたＵＩ操作であると判定した場合、当該ＵＩ要素に定義された制御を、該当するデバイス１１に対して行う（ステップＳ１０８）。図６はＵＩ画像「− Channel 4ch ＋」の「＋」部分にレーザポインタ５によりポインティングが行われた状態を示しており、その結果、テレビのチャンネルがアップする。

図４に戻り、デバイス１１から制御の結果のレスポンス（例えば、チャンネルを変更する制御であれば変更後のチャンネル番号、音量を変更する制御であれば変更後の音量レベル等）が返される場合（ステップＳ１０９）、情報処理装置２はレスポンス画像（変更後のチャンネル番号や音量レベル等）を投影することができる（ステップＳ１１０）。その後、情報処理装置２はＵＩ操作待機モードを解除する（ステップＳ１１１）。

図７は上記の実施形態のより詳細な処理例を示すフローチャートである。図７において、情報処理装置２は、処理を開始すると、現時点のモードにより処理を分岐する（ステップＳ１２１）。

初期設定モードである場合（ステップＳ１２１の初期設定）、変換用パターン出力部２０３から変換用パターンの画像を出力し、映像信号伝送部２０４からプロジェクタ３に出力する（ステップＳ１２２）。図８は変換用パターンの例を示す図であり、（ａ）はチェックパターン（市松模様）の例、（ｂ）は格子パターンの例、（ｃ）はドットパターンの例である。

図７に戻り、プロジェクタ３は映像信号入力部３０１から投影用の映像信号を入力し、映像処理部３０２で所定の画像処理を施した後、駆動制御部３０３により画像形成部３０８に画像形成を行う。それをランプ３０５の光源によりリアル空間１に対して投影する。

カメラ４は撮影制御部２０２の制御により、同期信号に同期してリアル空間１を撮影し、情報処理装置２は、カメラ４の撮影した映像信号を映像信号入力部２０５により入力する（ステップＳ１２３）。

変換係数演算部２０６は、変換用パターン出力部２０３の出力する変換用パターンと映像信号入力部２０５により入力した映像信号の画像とから、両者を一致させる変換係数を算出して保持する（ステップＳ１２４）。そして、モードの判断（ステップＳ１２１）に戻る。

一方、デバイス設定モードである場合（ステップＳ１２１のデバイス設定）、デバイス設定部２０９は、映像信号入力部２０５からカメラ４で撮影した映像信号を入力し（ステップＳ１２５）、その画像中から輪郭を抽出して強調表示を行う（ステップＳ１２６）。

そして、利用者から輪郭およびデバイスの選択を受け付け（ステップＳ１２７）、輪郭の座標変換を行い（ステップＳ１２８）、ＵＩ存在テーブルの設定を行う（ステップＳ１２９）。すなわち、利用者により選択された輪郭の座標範囲をＵＩ存在テーブルの有効座標範囲に設定し、選択されたデバイスに対応するＵＩ情報ＩＤを対応付ける。なお、デバイス設定モードにおいては、利用者の選択により、既に設定済のデバイスの情報（有効座標範囲、ＵＩ情報ＩＤ等）を削除することもできる。

一方、通常モードである場合（ステップＳ１２１の通常）、ＵＩ操作待機中である場合を除き、映像信号伝送部２０４から全面黒画像の投影用の映像信号をプロジェクタ３に出力する（ステップＳ１３０）。プロジェクタ３は映像信号入力部３０１から映像信号を入力し、映像処理部３０２で所定の画像処理を施した後、駆動制御部３０３により画像形成部３０８に画像形成を行う。それをランプ３０５の光源によりリアル空間１に対して投影する。

カメラ４は撮影制御部２０２の制御により、同期信号に同期してリアル空間１を撮影し、情報処理装置２は、カメラ４の撮影した映像信号を映像信号入力部２０５により入力する（ステップＳ１３１）。

照射点検出部２０７は、映像信号入力部２０５により入力した映像信号の画像からレーザポインタ５の照射点を検出する（ステップＳ１３２）。

変換処理部２０８は変換係数演算部２０６の保持する変換係数に基づいて照射点の座標変換を行う（ステップＳ１３３）。

次いで、ＵＩ操作待機モードでない場合（ステップＳ１３４のＮｏ）であって、操作判定部２１１により照射点の座標変換後の座標値がＵＩ存在テーブルのいずれの有効座標範囲にも入っていないと判定した場合（ステップＳ１３５のＮｏ）、モードの判断（ステップＳ１２１）に戻る。

照射点の座標変換後の座標値がＵＩ存在テーブルのいずれかの有効座標範囲に入っていると判定した場合（ステップＳ１３５のＹｅｓ）、ＵＩ画像生成部２１２はＵＩ情報に基づいて該当するＵＩ画像を生成し、映像信号伝送部２０４は映像信号に追加する（ステップＳ１３６）。そして、ＵＩ操作待機モードに入り（ステップＳ１３７）、モードの判断（ステップＳ１２１）に戻る。

一方、ＵＩ操作待機モードである場合（ステップＳ１３４のＹｅｓ）であって、操作判定部２１１により照射点の座標変換後の座標値が起動しているＵＩ要素についての所定のＵＩ操作であると判定した場合（ステップＳ１３８のＹｅｓ）、デバイス制御部２１３は対応するデバイス１１に制御信号を送信し、レスポンスが返される場合には受信する（ステップＳ１３９）。

レスポンスが受信された場合、ＵＩ画像生成部２１２は該当するレスポンス画像を生成し、映像信号伝送部２０４は映像信号に追加する（ステップＳ１４０）。そして、ＵＩ操作待機モードを解除し（ステップＳ１４１）、モードの判断（ステップＳ１２１）に戻る。なお、ＵＩ操作待機モードが所定時間継続した場合は、強制的に解除する。

＜総括＞
以上説明したように、本実施形態によれば、未来感のある実用性の高い機器制御の仕組を提供することができる。

以上、本発明の好適な実施の形態により本発明を説明した。ここでは特定の具体例を示して本発明を説明したが、特許請求の範囲に定義された本発明の広範な趣旨および範囲から逸脱することなく、これら具体例に様々な修正および変更を加えることができることは明らかである。すなわち、具体例の詳細および添付の図面により本発明が限定されるものと解釈してはならない。

１ リアル空間
１１ デバイス
２ 情報処理装置
２０１ 統括制御部
２０２ 撮影制御部
２０３ 変換用パターン出力部
２０４ 映像信号伝送部
２０５ 映像信号入力部
２０６ 変換係数演算部
２０７ 照射点検出部
２０８ 変換処理部
２０９ デバイス設定部
２１０ 通信部
２１１ 操作判定部
２１２ ＵＩ画像生成部
２１３ デバイス制御部
３ プロジェクタ
３０１ 映像信号入力部
３０２ 映像処理部
３０３ 駆動制御部
３０４ ランプ電源
３０５ ランプ
３０６ モータ
３０７ カラーホイール
３０８ 画像形成部
３０９ 同期信号出力部
４ カメラ
５ レーザポインタ
６ ネットワーク
７ サーバ

特表２０１３−５１７０５１号公報

Claims (5)

1. 所定のリアル空間を撮影するカメラと、
   前記カメラの撮影画像を処理する情報処理装置と
   を備え、
   前記情報処理装置は、
   前記カメラの撮影画像上のデバイスの領域を管理するデバイス領域管理手段と、
   前記カメラの撮影画像からレーザポインタによる照射点を検出する照射点検出手段と、
   前記照射点の前記デバイスの領域での振る舞いから所定の操作を検出する操作検出手段と、
   検出した操作に応じて該当する前記デバイスの制御を行うデバイス制御手段と
   を備えたことを特徴とする機器制御システム。
2. 請求項１に記載の機器制御システムにおいて、
   前記リアル空間に所定の映像の投影を行うプロジェクタを備え、
   前記情報処理装置は、
   前記プロジェクタの映像上の座標値と前記カメラの撮影画像上の座標値との対応を管理する座標値管理手段と、
   前記照射点の前記デバイスの領域での振る舞いから所定の操作を検出した場合に、前記プロジェクタに投影画像として所定のユーザインタフェース画像を出力するユーザインタフェース画像出力手段と
   を備え、
   前記操作検出手段は、前記照射点の前記ユーザインタフェース画像の表示領域での振る舞いから所定の操作を検出する
   ことを特徴とする機器制御システム。
3. 請求項２に記載の機器制御システムにおいて、
   前記操作検出手段は、前記ユーザインタフェース画像の投影によりＵＩ操作待機モードに入り、所定の操作の検出によりＵＩ操作待機モードを解除する
   ことを特徴とする機器制御システム。
4. コンピュータを、
   所定のリアル空間を撮影するカメラから撮影画像を取得する撮影画像取得手段、
   前記カメラの撮影画像上のデバイスの領域を管理するデバイス領域管理手段、
   前記カメラの撮影画像からレーザポインタによる照射点を検出する照射点検出手段、
   前記照射点の前記デバイスの領域での振る舞いから所定の操作を検出する操作検出手段、
   検出した操作に応じて該当する前記デバイスの制御を行うデバイス制御手段
   として機能させることを特徴とする機器制御プログラム。
5. 所定のリアル空間を撮影するカメラから撮影画像を取得する撮影画像取得手段と、
   前記カメラの撮影画像上のデバイスの領域を管理するデバイス領域管理手段と、
   前記カメラの撮影画像からレーザポインタによる照射点を検出する照射点検出手段と、
   前記照射点の前記デバイスの領域での振る舞いから所定の操作を検出する操作検出手段と、
   検出した操作に応じて該当する前記デバイスの制御を行うデバイス制御手段と
   を備えたことを特徴とする機器制御装置。