JP2015105999A - 電子制御装置、及び電子制御プログラム - Google Patents

Abstract

【課題】ユーザの所望の画像を提供する。【解決手段】電子制御装置は、画像を撮像する撮像部を備える。また、この電子制御装置は、上述した撮像部が撮像した画像に照射禁止領域を示す画像が含まれる場合に、撮像された照射禁止領域を示す画像に基づいて、照射禁止領域の形状を検出する検出部を備える。また、この電子制御装置は、上述した検出部が検出した照射禁止領域の形状に基づく照射状態によって光を照射する照射部を備える。【選択図】図１

Description

本発明は、電子制御装置、及び電子制御プログラムに関する。

近年、様々な電子制御装置が知られている。例えば特許文献１には、光を３次元空間内の物体に照射して、当該物体上に画像を表示することが記載されている。

特開２００７−１２２９０５号公報

しかしながら、特許文献１記載の技術では、ユーザの所望の画像を提供することまではできない場合がある。本発明は上記の点に鑑みてなされたものであり、ユーザの所望の画像を提供できる電子制御装置、及び電子制御プログラムを提供する。

本発明の一態様は、画像を撮像する撮像部と、前記撮像部が撮像した画像に照射禁止領域を示す画像が含まれる場合に、前記撮像された前記照射禁止領域を示す画像に基づいて、前記照射禁止領域の形状を検出する検出部と、前記検出部が検出した前記照射禁止領域の形状に基づく照射状態によって光を照射する照射部と、を備える電子制御装置である。

また、本発明の一態様は、コンピュータに、画像を撮像する撮像ステップと、前記撮像ステップにおいて撮像された画像に、照射禁止領域を示す画像が含まれる場合に、前記照射禁止領域の形状を検出する検出ステップと、前記検出ステップにおいて検出された前記照射禁止領域の形状に基づく照射状態によって光を照射する照射ステップと、を実行させるための電子制御プログラムである。

本発明によれば、ユーザの所望の画像を提供できる。

本発明の実施形態に係る電子制御装置の一例を表す概略図である。 本実施形態の電子制御装置の構成を示す概略ブロック図である。 本実施形態の制御部の構成を示す概略ブロック図である。 本実施形態の記憶部が記憶するパターン画像の一例を示す模式図である。 本実施形態の表示領域に物体が置かれている状態の一例を示す模式図である。 本実施形態の表示領域と物体との位置関係の一例を示す模式図である。 本実施形態の表示領域に照射されたパターン画像の変形の一例を示す模式図である。 本実施形態の記憶部に記憶されている画像テーブルの一例を示す表である。 本実施形態の記憶部に記憶されている画像ファイルの一例を示す表である。 本実施形態の電子制御装置の動作の一例を示すフローチャートである。 本実施形態の変形例に係る撮像照射装置の構成の一例を示す構成図である。

［実施形態］
以下、図面を参照しながら本発明の実施形態について詳しく説明する。
図１は、本発明の実施形態に係る電子制御装置１の一例を表す概略図である。電子制御装置１は、同図に示すように、部屋Ｒの天井ＳＬに設置されている。この電子制御装置１は、照射部１４を備えている。照射部１４は、光を照射することにより画像を生成する投射装置（プロジェクタ）として機能する。具体的には、照射部１４は、部屋Ｒ内の面の表示領域ＤＡに光を照射することにより、この表示領域ＤＡに画像を表示する。表示領域ＤＡの一例として、部屋Ｒの壁面ＷＬ１に設定される表示領域ＤＡ１と、壁面ＷＬ２に設定される表示領域ＤＡ２と、部屋Ｒに置かれている机ＴＢＬの上面に設定される表示領域ＤＡ３とがある。この例において、照射部１４は、これら表示領域ＤＡ１〜ＤＡ３に光を照射することにより画像を表示する。このように、電子制御装置１は、照射部１４によって、部屋Ｒの壁面ＷＬや机ＴＢＬの上面に光を照射することによって、部屋Ｒの内部に画像を表示する。また、電子制御装置１は、表示する画像を変化させることにより、部屋Ｒを模様替えするように、部屋Ｒの内部の様子を変化させることもできる。

以下、各図の説明においてはＸＹＺ直交座標系を設定し、このＸＹＺ直交座標系を参照しつつ各部の位置関係について説明する。部屋Ｒの床から天井に向かう鉛直方向をＺ軸の正の方向とし、当該Ｚ軸方向に垂直な平面上の直交方向をそれぞれＸ軸方向及びＹ軸方向とする。ここでＸ軸方向は、部屋Ｒの横方向とし、Ｙ軸方向は部屋Ｒの奥行き方向とする。

ここで、電子制御装置１が、部屋Ｒの机ＴＢＬの上面などに表示する画像の具体例について説明する。この電子制御装置１が設置される部屋Ｒの一例としては、家庭の居室や、会社の執務室（オフィス）、学校の教室、店舗（例えば、カラオケ店）の個室などがある。ここでは、部屋ＲがユーザＵ１の自宅の居室である場合を一例に説明する。

このユーザＵ１が会社員である場合、電子制御装置１は、会社の執務室（オフィス）の画像を表示領域ＤＡに表示する。一例として、ユーザＵ１が会社員であって、あるプロジェクト（例えば、プロジェクトＰ１）に携わっている場合、電子制御装置１は、プロジェクトＰ１の資料が収納されている本棚の画像を表示領域ＤＡ１に、プロジェクトＰ１に関連する文章や図形が描かれたホワイトボードの画像を表示領域ＤＡ２にそれぞれ表示する。またこの場合、電子制御装置１は、プロジェクトＰ１に関連する資料の画像を表示領域ＤＡ３に表示する。これにより、ユーザＵ１は、あたかも会社の執務室の中に居るように感じることができ、また、机ＴＢＬの上に表示されている資料を読むことができる。

この電子制御装置１は、図１に示すように、撮像部１０を備える。この撮像部１０とは、例えば、CCD（Charge Coupled Device）やCMOS（Complementary Metal Oxide Semiconductor）等の固体撮像素子を利用したカメラである。この撮像部１０は、部屋Ｒ内の面の撮像領域ＩＡを撮像して、撮像領域ＩＡ内の画像を生成する。撮像領域ＩＡの一例として、図１に示すように、部屋Ｒの壁面ＷＬ１に設定される撮像領域ＩＡ１と、壁面ＷＬ２に設定される撮像領域ＩＡ２と、部屋Ｒに置かれている机ＴＢＬの上面に設定される撮像領域ＩＡ３とがある。また、撮像領域ＩＡの一例として、床面ＦＬに設定される撮像領域ＩＡ４がある。この例において、撮像部１０は、これら撮像領域ＩＡ１〜ＩＡ４の画像を撮像する。

この電子制御装置１は、表示領域ＤＡに表示する画像の内容に基づく機能をユーザに対して提供する。この電子制御装置１が提供する機能の一例であるオブジェクト選択機能について、表示領域ＤＡ１にプロジェクトＰ１の資料が収納されている本棚の画像が表示されている場合を例にして説明する。ユーザＵ１が本棚の資料の画像に触れるように手を動かすと、電子制御装置１は、このユーザＵ１の動作を検出して、資料の画像を机ＴＢＬ上に表示する。これにより、電子制御装置１は、ユーザＵ１が資料を選択する動作をした場合に、あたかもユーザＵ１が資料を本棚から取り出して机の上に置いたかのようにして、選択された資料の画像を表示することができる。このように、電子制御装置１は、資料の画像などのオブジェクトを選択して、選択したオブジェクトの画像を表示するオブジェクト選択機能を提供する。ここでいう本棚の画像、および資料の画像とは、インタフェイス画像の一例である。

また、この電子制御装置１が提供する機能の一例である文字入力機能について、表示領域ＤＡ２にプロジェクトＰ１に関連する文章や図形が描かれたホワイトボードの画像が表示されている場合を例にして説明する。ユーザＵ１がホワイトボードの画像を、例えば指でなぞって文字を書き込む動作をすると、電子制御装置１は、このユーザＵ１の動作を検出して、書き込まれた文字の画像をホワイトボードの画像に重ねて表示する。具体的には、電子制御装置１は、文字コードと、文字の形状情報（例えば、文字の外形を示すベクターデータ）と、表示用のフォントデータとを関連付けて記憶している不図示の記憶部を備えている。電子制御装置１は、ユーザＵ１を撮像した画像に基づいてユーザＵ１の指の軌跡を画像解析する。電子制御装置１は、この解析結果と予め記憶している文字の形状情報とをパターンマッチングすることにより、ユーザＵ１が書く文字の文字コードを判定する。次に、電子制御装置１は、判定した文字コードに関連付けられている表示用のフォントデータを取得し、このフォントデータに基づく画像をホワイトボードの画像に重ねて表示する。これにより、電子制御装置１は、ホワイトボードの画像を指でなぞって文字を書き込む動作をした場合に、あたかもユーザＵ１がホワイトボードに文字を書き込んだかのようにして、書き込まれた文字の画像をホワイトボードの画像に重ねて表示することができる。このように、電子制御装置１は、指などの軌跡に基づいて、文字を認識する文字入力機能を提供する。ここでいう文字の画像、およびホワイトボードの画像とは、インタフェイス画像の一例である。

上述したように、電子制御装置１は、表示領域ＤＡにインタフェイス画像を表示する。ところで、表示領域ＤＡのなかに物体ＯＢＪが存在する場合がある。この物体ＯＢＪとは、机ＴＢＬの上であれば、例えば、本、コップ、電話機などである。また、この物体ＯＢＪとは、壁面ＷＬ１であれば、例えば、カレンダー、壁掛け時計などである。このように表示領域ＤＡに物体ＯＢＪが存在する場合に、電子制御装置１が表示領域ＤＡにインタフェイス画像を表示すると、ユーザＵ１によるインタフェイス画像の視認性が低下することがある。具体的には、机ＴＢＬの上の表示領域ＤＡ３のなかに電話機がある場合に、この電話機の上にインタフェイス画像が表示される場合について説明する。この場合、電話機の上に表示されたインタフェイス画像は、平面である机ＴＢＬの上に表示されたインタフェイス画像に比べて、ユーザＵ１の視認性が低下することがある。また、この場合、電子制御装置１は、ユーザＵ１が行った操作が、電話機に対する操作なのか、インタフェイス画像に対する操作なのかを判別することが困難になることがある。したがって、表示領域ＤＡのなかに物体ＯＢＪが存在する場合には、この物体ＯＢＪの位置にはインタフェイス画像を表示しないようにすることが望ましい。本実施形態の電子制御装置１は、表示領域ＤＡのなかに物体ＯＢＪが存在する場合には、この物体ＯＢＪの位置にはインタフェイス画像を表示しないようにすることができる。以下、この電子制御装置１の構成について説明する。

＜電子制御装置１について＞
図２は、本実施形態の電子制御装置１の構成を示す概略ブロック図である。同図に示すように、電子制御装置１は、撮像部１０、音入力部１１、通信部１３、照射部１４、音出力部１５、電力供給部１６、制御部１００、および記憶部２００を備えている。

撮像部１０は、例えばカメラを備えており、実空間を撮像して、撮像した画像を制御部１００へ出力する。すなわち、撮像部１０は、実空間の画像を撮像する。ここで、実空間とは、ある広さの面を有する空間であり、仮想空間に対する現実の空間である。この実空間には、屋外広場などの開空間や、屋内施設などの閉空間が含まれる。また、ある広さの面とは、画像が表示可能な表示面である。この面には、２次元の平面や、３次元の曲面が含まれる。ここでは、実空間とは、部屋Ｒの内部である。

また、この撮像部１０は、可視光による撮像に加えて、可視光以外の周波数領域による撮像が可能である。例えば、この撮像部１０は、赤外線領域や紫外線領域の波長による撮像が可能である。この撮像部１０は、可視光に加えて赤外線による撮像が可能である場合について、以下説明する。

記憶部２００は、ＨＤＤ（Hard Disk Drive；ハードディスクドライブ）や、フラッシュメモリなどの不揮発性の記憶デバイスと、ＳＲＡＭ（Static RAM）やＤＲＡＭ（Dynamic RAM）などの揮発性の記憶デバイスとを備えている。この記憶部２００には、制御部１００による演算結果が一時的に記憶される。また、記憶部２００には、照射部１４が照射する光による画像を示す画像情報が記憶されている。この記憶部２００に記憶されている画像情報の詳細については、後述する。

音入力部１１は、例えばマイクを備えており、周囲の音を収音してデータに変換し、変換したデータを制御部１００へ出力する。
通信部１３は、有線又は無線によって、他の装置と通信を行う。

音出力部１５は、例えばスピーカを備えており、制御部１００による制御に基づいて、音を出力する。なお、音出力部１５は、指向性スピーカを備えていてもよい。この場合には、音出力部１５は、所定の指向特性を有する音を出力する。

電力供給部１６は、内部又は外部の電源から電力を取得し、取得した電力を電子制御装置１の各部に供給する。電力供給部１６は、例えば部屋Ｒの壁面ＷＬに設置されているコンセントや、天井ＳＬに設置されている照明器具取り付け用ソケットを介して、電力を取得する。

照射部１４は、例えばプロジェクタを備えており、制御部１００による制御に基づいて、光を照射する。後述するように、制御部１００は、記憶部２００に記憶されている各種の画像情報を取得し、取得した画像情報を照射部１４に供給する。照射部１４は、制御部１００から供給された画像情報に基づく光を、実空間に照射して画像を表示させる。このとき照射部１４は、制御部１００の検出部１０３が検出した照射禁止領域ＩＨの形状に基づく照射状態によって光を照射する。この照射部１４が、検出部１０３が検出した照射禁止領域ＩＨの形状に基づく照射状態によって光を照射する仕組みの詳細については、後述する。
なお、上述した撮像部１０と照射部１４とは、一体に構成されてもよい（図１１を参照。）。

また、この照射部１４は、可視光による照射に加えて、可視光以外の周波数領域による照射が可能である。例えば、この照射部１４は、赤外線領域や紫外線領域の波長による照射が可能である。以下、この照射部１４が、可視光に加えて赤外線による照射が可能である場合について説明する。

＜制御部１００の構成＞
制御部１００は、例えば、ＣＰＵ（Central Processing Unit：中央演算処理装置）を備えている。制御部１００は、撮像部１０及び音入力部１１から入力されたデータに基づいて情報処理を行う。例えば、制御部１００は、撮像部１０が撮像した画像に含まれる文字を認識する文字認識処理や、撮像部１０が撮像した画像に含まれるユーザを認識するパターンマッチング処理を行う。また、制御部１００は、通信部１３を介して他の装置と通信を行い、通信で取得した情報に基づいて情報処理を行う。制御部１００は、これらの情報処理の結果に基づいて、照射部１４及び音出力部１５を制御する。また、制御部１００は、撮像部１０が撮像した画像に基づいて、照射禁止領域ＩＨを検出し、検出した照射禁止領域ＩＨに基づいて、照射部１４が光を照射する範囲を設定する。この制御部１００の詳細な構成の詳細について、図３を参照して説明する。

図３は、本実施形態の制御部１００の構成を示す概略ブロック図である。同図に示すように、制御部１００は、パターン画像読出部１０１と、パターン画像出力部１０２と、検出部１０３と、画像取得部１０４と、インタフェイス画像読出部１０５と、照射領域設定部１０６と、インタフェイス画像出力部１０７とを備える。

パターン画像読出部１０１は、記憶部２００に記憶されているパターン画像の画像情報を読み出して、読み出したパターン画像の画像情報をパターン画像出力部１０２に供給する。ここで、パターン画像とは、照射禁止領域ＩＨを示す画像の一例であって、所定の模様を有する画像である。このパターン画像の一例について、図４を参照して説明する。

図４は、本実施形態の記憶部２００が記憶するパターン画像の一例を示す模式図である。このパターン画像とは、ＸＹ方向の正方格子状のパターンを有する画像である。
なお、以下の説明においては、パターン画像が、正方格子である例について説明するが、これに限られない。パターン画像は、照射される面に物体ＯＢＪが存在するか否かを判別できる画像であればよく、例えば、長方形、三角形、およびひし形状の格子画像であってもよく、格子の頂点座標を示す点の画像であってもよい。

図３に戻り、パターン画像出力部１０２は、パターン画像読出部１０１が読み出したパターン画像の画像情報を照射部１４に出力する。このパターン画像とは、上述した図４に示す正方格子の画像である。これにより、照射部１４からは、パターン画像の光が表示領域ＤＡ（例えば、表示領域ＤＡ３）に向けて照射される。

また、照射部１４は、上述したように、可視光に加えて赤外線による照射が可能である。照射部１４は、パターン画像を赤外光によって照射することにより、ユーザＵ１にパターン画像を知覚されないようにして、かつ、赤外光を撮像可能な撮像部１０にパターン画像が撮像されるようにして、パターン画像を照射することができる。これにより、電子制御装置１によれば、照射したパターン画像を知覚されないようにしてインタフェイス画像を照射することができるため、ユーザの所望の画像を提供できる。

この照射部１４から鉛直方向（例えば、−Ｚ方向）にある平面に向けて、このパターン画像の光が照射されることにより、この平面に正方格子の画像が表示される。この平面とは、例えば、部屋Ｒの机ＴＢＬの上面である。すなわち、照射部１４が机ＴＢＬの上面の表示領域ＤＡ３にパターン画像の光を照射すると、表示領域ＤＡ３には、歪みのない正方格子の画像が表示される。仮に、照射部１４がパターン画像の光を平面以外の面に照射すると、正方格子の画像に歪み（変形）が生じる。具体的には、机ＴＢＬの上に電話機などの物体ＯＢＪが置かれている場合には、正方格子の画像に、物体ＯＢＪの大きさに応じた変形が生じる。このように正方格子の画像に変形が生じると、照射部１４が照射した正方格子の画像と、撮像部１０が撮像した正方格子の画像との間に不一致が生じる。このパターン画像の不一致が生じる場合の具体例について、図５から図７を参照して説明する。

図５は、本実施形態の表示領域ＤＡ３に物体ＯＢＪが置かれている状態の一例を示す模式図である。同図に示すように、机ＴＢＬの上面のＸ方向の位置ｘ_０（エックス・ゼロ）、Ｙ方向の位置ｙ_０（ワイ・ゼロ）に物体ＯＢＪが置かれている。この物体ＯＢＪとは、高さｈの直方体である。この物体ＯＢＪ、机ＴＢＬおよび電子制御装置１をＸＺ平面視した状態を図６に示す。

図６は、本実施形態の表示領域ＤＡ３と物体ＯＢＪとの位置関係の一例を示す模式図である。同図に示すように、机ＴＢＬの上面に物体ＯＢＪが置かれている場合、照射部１４が照射した光が、物体ＯＢＪによって遮られて、机ＴＢＬの上面には届かない影ＳＤの部分が生じる。照射部１４が照射した光のうち影ＳＤの部分の光は、物体ＯＢＪの表面に照射される。すなわち、照射部１４が照射した光によるインタフェイス画像のうち、影ＳＤの部分のインタフェイス画像は、物体ＯＢＪの表面に表示される。次に、表示領域ＤＡ３に物体ＯＢＪが置かれている場合に、表示領域ＤＡ３に照射されたパターン画像に生じる変形の一例について、図７を参照して説明する。

図７は、本実施形態の表示領域ＤＡ３に照射されたパターン画像の変形の一例を示す模式図である。物体ＯＢＪが表示領域ＤＡ３に置かれている場合、その物体ＯＢＪの高さおよび位置に応じて、パターン画像が変形する。具体的には、高さｈの物体ＯＢＪが、表示領域ＤＡ３のＸ方向の位置ｘ_０、Ｙ方向の位置ｙ_０に置かれている場合、図７に示すように物体ＯＢＪの周囲の正方格子が表示領域ＤＡ３の中心部分にずれるように、パターン画像が変形する。この場合には、照射部１４が照射したパターン画像と、撮像部１０が撮像したパターン画像との間に不一致が生じる。この２つのパターン画像の間に不一致が生じている場合に、その変形の方向や大きさを検出することにより、表示領域ＤＡ３に物体ＯＢＪが置かれていること、および置かれた物体ＯＢＪの位置や大きさを判定することができる。

このパターン画像に変形が生じている領域を照射禁止領域ＩＨとして設定することにより、電子制御装置１は、物体ＯＢＪを避けてインタフェイス画像を表示することができる。上述したように、物体ＯＢＪの表面にインタフェイス画像が照射されると、平面である机ＴＢＬの上に表示されたインタフェイス画像に比べて、ユーザＵ１の視認性が低下することがある。そこで、この電子制御装置１は、表示領域ＤＡ３にある物体ＯＢＪの位置を検出して、検出した物体ＯＢＪの位置の周囲の領域を照射禁止領域ＩＨとして設定する。

図３に戻り、画像取得部１０４は、撮像部１０が撮像した撮像領域ＩＡの画像を取得する。この撮像領域ＩＡには、表示領域ＤＡ３に対応する撮像領域ＩＡ３が含まれている。上述したように、表示領域ＤＡ３には、照射部１４からパターン画像の光が照射されている。したがって、撮像部１０は、表示領域ＤＡ３に照射されたパターン画像を含む画像を撮像する。すなわち、画像取得部１０４が取得した画像には、表示領域ＤＡ３に照射されたパターン画像が含まれている。

検出部１０３は、撮像部１０が撮像した画像に照射禁止領域ＩＨを示す画像が含まれる場合に、撮像された照射禁止領域ＩＨを示す画像に基づいて、照射禁止領域ＩＨの形状を検出する。具体的には、検出部１０３は、撮像部１０が撮像し、画像取得部１０４を介して取得した画像のなかから、照射部１４が照射したパターン画像を抽出する。また、検出部１０３は、パターン画像読出部１０１が記憶部２００から読み出したパターン画像を取得する。次に、検出部１０３は、撮像部１０が撮像したパターン画像の変形の有無を判定する。具体的には、検出部１０３は、撮像部１０が撮像したパターン画像と、記憶部２００から読み出したパターン画像とを比較して、これら２つのパターン画像が一致するか否かを判定する。検出部１０３は、パターン画像が不一致であると判定した場合には、パターン画像の変形の方向および大きさを検出する。また、検出部１０３は、検出した変形の方向および大きさに基づいて、物体ＯＢＪの位置および大きさを推定（検出）する。上述した照射禁止領域ＩＨの形状は、この物体ＯＢＪの位置および大きさに基づいて設定される。すなわち、検出部１０３は、撮像された照射禁止領域ＩＨを示す画像に基づいて、照射禁止領域ＩＨの形状を検出する。

なおここでは、検出部１０３は、撮像部１０が撮像したパターン画像と、記憶部２００から読み出したパターン画像とを比較して、これら２つのパターン画像が一致するか否かを判定するとして説明したが、これに限られない。検出部１０３は、撮像部１０が撮像したパターン画像から直接、パターン画像の変形の有無を判定してもよい。

インタフェイス画像読出部１０５は、記憶部２００に記憶されているインタフェイス画像の画像情報を読み出して、読み出したインタフェイス画像の画像情報を照射領域設定部１０６に供給する。この記憶部２００は、実空間（例えば、部屋Ｒ）内の各面に投映されるインタフェイス画像の画像情報を画像テーブルとして記憶している。この記憶部２００が記憶している画像テーブルの一例を図８に示す。

図８は、本実施形態の記憶部２００に記憶されている画像テーブルの一例を示す表である。同図に示すように、記憶部２００に記憶されている画像テーブルは、ユーザＩＤ、属性、表示領域ＩＤ、画像ファイル名、位置・大きさ、機能の各項目の列を有している。

この画像テーブルの各項目のうち、ユーザＩＤとは、部屋Ｒを利用するユーザを識別する識別情報であって、ユーザごとに割り当てられる固有のＩＤである。すなわち、ユーザＩＤとは、ユーザを識別する識別情報の一例である。例えば、ユーザＵ１には、ユーザＩＤ「Ｕ１」が割り当てられている。ユーザの属性とは、ユーザの性質や特徴を示す情報である。このユーザの属性には、例えば、ユーザの性別や年齢、ユーザが所属する組織、ユーザの所持品、ユーザの動作などが含まれる。ここで属性「プロジェクトＰ１」とは、ユーザの属性がプロジェクトＰ１であることを示している。

また、画像ファイル名とは、電子制御装置１の照射部１４が照射するインタフェイス画像の画像ファイルの名称である。例えば、プロジェクトＰ１に関連する資料が収納されている本棚の画像を表示するための画像ファイルには、画像ファイル名「プロジェクトＰ１本棚」が割り当てられている。位置・大きさとは、電子制御装置１の照射部１４が画像を表示する位置および大きさを示す情報である。例えば、表示される画像が矩形の場合には、位置・大きさは、この矩形の対角線上にある２頂点の座標によって示される。機能とは、電子制御装置１がユーザに提供する機能の種類を示す情報である。

この記憶部２００に記憶されている画像テーブルの具体例について説明する。この記憶部２００は、ユーザＩＤ「Ｕ１」と、属性「プロジェクトＰ１」と、表示領域ＩＤ「ＤＡ１」と、画像ファイル名「プロジェクトＰ１本棚」と、位置・大きさ「（ｘ１１、ｙ１１）―（ｘ１２、ｙ１２）」と、機能「オブジェクト選択」とを関連付けて記憶している。また、記憶部２００は、ユーザＩＤ「Ｕ１」と、属性「プロジェクトＰ２」と、表示領域ＩＤ「ＤＡ１」と、画像ファイル名「プロジェクトＰ２本棚」と、位置・大きさ「（ｘ１１、ｙ１１）―（ｘ１２、ｙ１２）」と、機能「オブジェクト選択」とを関連付けて記憶している。

インタフェイス画像読出部１０５は、記憶部２００からインタフェイス画像の画像情報を取得する。ここでは一例として、ユーザＵ１のユーザＩＤが、ユーザＩＤ「Ｕ１」であり、ユーザＵ１の属性が「プロジェクトＰ１」である場合について説明する。

インタフェイス画像読出部１０５は、ユーザＩＤ「Ｕ１」と、ユーザＵ１の属性「プロジェクトＰ１」とを検索キーにして、記憶部２００に記憶されている情報を検索する。具体的には、インタフェイス画像読出部１０５は、ユーザＩＤ「Ｕ１」と、ユーザＵ１の属性「プロジェクトＰ１」とに関連付けられている情報が記憶部２００に記憶されているか否かを判定する。次に、インタフェイス画像読出部１０５は、ユーザＩＤ「Ｕ１」と、ユーザＵ１の属性「プロジェクトＰ１」とに関連付けられている情報が記憶部２００に記憶されている場合には、その情報の各項目（例えば、表示領域ＩＤ、画像ファイル名、位置・大きさ、機能）を読み出す。このようにして、インタフェイス画像読出部１０５は、ユーザＵ１の属性に基づいて、記憶部２００に記憶されている画像情報を取得する。

また、インタフェイス画像読出部１０５は、読み出した画像ファイル名に関連付けられているインタフェイス画像の画像ファイルを記憶部２００から読み出す。この記憶部２００に記憶されている画像ファイルの一例について、図９を参照して説明する。

図９は、本実施形態の記憶部２００に記憶されている画像ファイルの一例を示す表である。同図に示すように、記憶部２００には、画像ファイル名と、画像ファイルとが関連付けられて記憶されている。ここで、画像ファイルとは、所定の形式によってデジタル化された画像情報である。この画像ファイルの形式には、ビットマップ形式やＪＰＥＧ（Joint Photographic Experts Group）形式などの様々な形式が適用可能である。インタフェイス画像読出部１０５は、記憶部２００から読み出したインタフェイス画像の画像情報を照射領域設定部１０６に供給する。

図３に戻り、照射領域設定部１０６は、検出部１０３が検出した照射禁止領域ＩＨの形状に基づいて、照射部１４が照射する光の照射領域を設定する。ここで、照射領域設定部１０６は、様々な照射状態によって照射領域を設定することができる。例えば、照射領域設定部１０６は、照射禁止領域ＩＨに光が照射されないようにして、照射領域を設定してもよい。この場合には、照射部１４は、検出部１０３が検出した照射禁止領域ＩＨに光が照射されないようにして、光を照射する。

また、照射領域設定部１０６は、インタフェイス画像のうち重要でない部分が照射禁止領域ＩＨに照射されるように、照射領域を設定してもよい。ここで、インタフェイス画像のうち重要でない部分には、背景画像の部分や、ユーザによる操作を要しない画像を表示する部分が含まれる。また、照射領域設定部１０６は、インタフェイス画像のうち重要な部分が照射禁止領域ＩＨに含まれる場合には、この重要な部分を表示領域ＤＡ内の他の領域に表示するようにして、照射領域を設定してもよい。ここで、インタフェイス画像のうち重要な部分には、資料の画像の部分や、ユーザによる操作を要する画像を表示する部分が含まれる。

インタフェイス画像出力部１０７は、照射領域設定部１０６が照射領域を設定したインタフェイス画像の画像情報を、照射部１４に出力する。照射部１４は、照射領域設定部１０６が設定した照射領域にインタフェイス画像の光を照射する。これにより、電子制御装置１は、表示領域ＤＡのなかに物体ＯＢＪが存在する場合には、この物体ＯＢＪの位置を避けてインタフェイス画像を表示することができる。

＜電子制御装置の動作＞
次に、電子制御装置１の動作について、図１０を参照して説明する。
図１０は、本実施形態の電子制御装置１の動作の一例を示すフローチャートである。

（ステップＳ１０１）パターン画像読出部１０１は、記憶部２００に記憶されているパターン画像の画像情報を読み出して、読み出したパターン画像の画像情報をパターン画像出力部１０２に供給する。

（ステップＳ１０２）パターン画像出力部１０２は、パターン画像読出部１０１が読み出したパターン画像の画像情報を照射部１４に出力する。照射部１４は、パターン画像出力部１０２が出力したパターン画像の光を表示領域ＤＡ（例えば、表示領域ＤＡ３）に向けて照射する。

（ステップＳ１０３）撮像部１０は、表示領域ＤＡに対応する撮像領域ＩＡの画像を撮像する。この画像には、ステップＳ１０２において照射されたパターン画像が含まれている。画像取得部１０４は、撮像部１０が撮像した撮像領域ＩＡの画像情報を取得し、取得した画像情報を検出部１０３に供給する。

（ステップＳ１０４）検出部１０３は、ステップＳ１０１において読み出されたパターン画像と、ステップＳ１０３において撮像されたパターン画像とを比較して、これら２つのパターン画像が一致するか否かを判定する。すなわち、検出部１０３は、ステップＳ１０３において撮像されたパターン画像が、元のパターン画像から変形しているか否かを判定する。検出部１０３は、これら２つのパターン画像が一致すると判定した場合（ステップＳ１０４：ＹＥＳ）には、処理をステップＳ１０７に進める。検出部１０３は、これら２つのパターン画像が一致しないと判定した場合（ステップＳ１０４：ＮＯ）には、処理をステップＳ１０５に進める。

（ステップＳ１０５）検出部１０３は、ステップＳ１０４において比較した２つのパターン画像の不一致部分について、パターンの変形の種類と、変形の方向および大きさを判定する。より具体的には、この変形の種類には、パターンにずれが生じている場合、パターンに歪みが生じている場合、パターンが影に隠されている場合が含まれる。すなわち、検出部１０３は、２つのパターン画像の不一致部分について、パターンのずれが生じているのか、パターンが歪んでいるのか、パターンに影が生じているのかを判定する。また、検出部１０３は、判定した変形の種類に基づいて、その変形の方向や大きさを判定する。検出部１０３は、判定したパターンの変形の状態、変形の方向および大きさに基づいて、表示領域ＤＡ上の物体ＯＢＪの位置および大きさを推定する。検出部１０３は、推定した物体ＯＢＪの位置および大きさに基づいて、照射禁止領域ＩＨの形状を設定（検出）する。

（ステップＳ１０６）照射領域設定部１０６は、ステップＳ１０５において検出部１０３が設定（検出）した照射禁止領域ＩＨの形状に基づいて、照射部１４が照射する光の照射領域を設定する。

（ステップＳ１０７）照射部１４は、インタフェイス画像の光を表示領域ＤＡに照射して処理を終了する。

以上説明したように、本実施形態では、電子制御装置１は、撮像部１０と、検出部１０３と、照射部１４とを備えている。この検出部１０３によって照射禁止領域ＩＨの形状が検出されるため、電子制御装置１によれば、表示領域ＤＡに何らかの物体ＯＢＪがある場合には、その物体ＯＢＪを避けてインタフェイス画像を表示することができる。これにより、物体ＯＢＪの表面にインタフェイス画像が表示されることによってインタフェイス画像の視認性が低下する程度を低減することができる。すなわち、電子制御装置１によれば、ユーザの所望の画像を提供できる。

［変形例］
制御部１００は、撮像部１０の光学系と照射部１４の光学系を共通にして一体に構成してもよい（一体に構成された装置を撮像照射装置Ｃ１と称する）。例えば、制御部１００は、撮像部１０の光軸と照射部１４の光軸を同じにしてもよい。

図１１は、本実施形態の変形例に係る撮像照射装置Ｃ１の構成の一例を示す構成図である。この図において、撮像照射装置Ｃ１は、照射光生成部Ｃ１１２、入出光分離部Ｃ１３１、光学部Ｃ１３２、及び固体撮像部Ｃ１４１を備える。

照射光生成部Ｃ１１２は、制御部１００からの制御に基づいて、照射する画像を表す光を生成し、生成した光を出力する。
入出光分離部Ｃ１３１は、光学部Ｃ１３２と照射光生成部Ｃ１１２の間の光路上であって、光学部Ｃ１３２と固体撮像部Ｃ１４１の間の光路上、に設けられている。入出光分離部Ｃ１３１は、撮像照射装置Ｃ１が外部へ出射する出射光と、外部から撮像照射装置Ｃ１へ入射する入射光の光路を分離する。例えば、入出光分離部Ｃ１３１は、照射光生成部Ｃ１１２から入射された光の少なくも一部を透過し、光学部Ｃ１３２から入射された光の少なくも一部を反射する。入出光分離部Ｃ１３１は、例えばハーフミラーであり、入射した光の一部を反射し、一部を透過する。これにより、撮像照射装置Ｃ１は、照射と撮像で光学部Ｃ１３２を共通にできる。また、撮像照射装置Ｃ１は、照射と撮像の光軸を同じにできる。
光学部Ｃ１３２は、例えば複数枚のレンズで構成される。固体撮像部Ｃ１４１は、例えば、ＣＭＯＳ（相補性金属酸化膜半導体）イメージセンサである。

照射光生成部Ｃ１１２から出力された光は、入出光分離部Ｃ１３１を透過し、光学部Ｃ１３２を介して照射される。一方、撮像照射装置Ｃ１の外部から光学部Ｃ１３２へ入射された光は、入出光分離部Ｃ１３１で反射された後、反射部Ｃ１４０で反射される。反射部Ｃ１４０で反射された光は、固体撮像部Ｃ１４１へ入射し、光電変換によって画像を示すデータに変換される。

以上のように、撮像照射装置Ｃ１は、照射と撮像で光軸を同じできる。これにより、制御部１００は、照射したスポットを同じ光軸の撮像画像でそのまま認識できるので、スポットの調整を容易にできる。また、撮像照射装置Ｃ１は、光学系を共通にするので、光学系を共通にしない場合と比較して、スペースを省くことができ、また、コストを下げることができる。また、ユーザは、光学系から光が照射されているので、撮像されていることに気づき難い場合がある。これにより、ユーザは、カメラで撮影されていることを意識することなく、電子制御装置１を利用できる。

なお、撮像照射装置Ｃ１において、照射と撮像で、独立して焦点を合わせる機能を有してもよい。例えば、撮像照射装置Ｃ１は、光学部Ｃ１３２と照射光生成部Ｃ１１２の間の光路上に可動レンズが設けられてもよい。また、撮像照射装置Ｃ１は、光学部Ｃ１３２と固体撮像部Ｃ１４１の間の光路上に可動レンズが設けられてもよいし、固体撮像部Ｃ１４１が可動である構成であってもよい。これにより、撮像照射装置Ｃ１は、照射と撮像各々で、焦点を合わせることができる。

なお、光学部Ｃ１３２は、例えば魚眼レンズであってもよい。これにより、電子制御装置１は、広範囲に照射でき、広範囲で撮像できる。

なお、上述において、照射部１４が照射禁止領域ＩＨを示すパターン画像の光を照射するとして説明した。すなわち、照射部１４は、照射禁止領域ＩＨを示す画像を撮像部１０が撮像する領域に照射するとして説明したが、これに限られない。具体的には、電子制御装置１は、インタフェイス画像の光を照射する照射部１４と、照射禁止領域ＩＨを示すパターン画像の光を照射する不図示の照射部（第２照射部）とを備えていてもよい。検出部１０３がパターン画像の変形に基づいて、表示領域ＤＡ内の物体ＯＢＪの形状（すなわち、照射禁止領域ＩＨの形状）を検出できればよく、照射部１４に加えて、第２照射部を備える構成であっても、物体ＯＢＪ上にインタフェイス画像を表示しないようにすることができる。

また、照射部１４は、照射禁止領域ＩＨの大きさが所定の大きさを超える場合には、照射禁止領域ＩＨの大きさが大きいことを示す情報を含む光を照射する構成であってもよい。ここで、所定の大きさとは、例えば、表示領域ＤＡの面積の半分の面積である。また、所定の大きさとは、例えば、インタフェイス画像のうち、重要な画像の部分の面積である。このように照射禁止領域ＩＨの面積が大きい場合には、インタフェイス画像を表示するための面積が相対的に小さくなるため、ユーザＵ１による視認性や操作性が低下してしまうことがある。この場合に、電子制御装置１は、照射禁止領域ＩＨの大きさが大きいことを示す画像や文字を表示することにより、ユーザＵ１に表示領域ＤＡ内の物体ＯＢＪを表示領域ＤＡ内から取り除くことを促すことができる。これにより、電子制御装置１は、ユーザの所望の画像を提供できる。

なお、具体例として、電子制御装置１が部屋Ｒの天井ＳＬに設置されている場合について説明したが、これに限られない。例えば、電子制御装置１は、部屋Ｒの壁面ＷＬ（例えば、壁面ＷＬ３）や、机ＴＢＬの上面などに設置されていてもよい。
また、撮像領域ＩＡの例として、撮像領域ＩＡ１〜ＩＡ４について説明したが、これに限られない。天井ＳＬや、部屋Ｒ内の不図示の他の壁面ＷＬ、または部屋Ｒ内の不図示の物体が撮像領域ＩＡであってもよい。
また、表示領域ＤＡの例として、表示領域ＤＡ１〜ＤＡ３について説明したが、これに限られない。天井ＳＬや、部屋Ｒ内の不図示の他の壁面ＷＬ、または部屋Ｒ内の不図示の物体が表示領域ＤＡであってもよい。

なお、上述した実施形態における電子制御装置１の一部をコンピュータで実現するようにしてもよい。その場合、この制御機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、電子制御装置１に内蔵されたコンピュータシステムであって、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。また、上述した実施形態における電子制御装置１の一部、または全部を、ＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）等の集積回路として実現してもよい。電子制御装置１の各機能ブロックは個別にプロセッサ化してもよいし、一部、または全部を集積してプロセッサ化してもよい。また、集積回路化の手法はＬＳＩに限らず専用回路、または汎用プロセッサで実現してもよい。また、半導体技術の進歩によりＬＳＩに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いてもよい。

以上、図面を参照してこの発明の一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。

１…電子制御装置、１０…撮像部、１１…音入力部、１３…通信部、１４…照射部、１５…音出力部、１６…電力供給部、１００…制御部、１０１…パターン画像読出部、１０２…パターン画像出力部、１０３…検出部、１０４…画像取得部、１０５…インタフェイス画像読出部、１０６…照射領域設定部、１０７…インタフェイス画像出力部、２００…記憶部、Ｃ１…撮像照射装置、Ｃ１１２…照射光生成部、Ｃ１３１…入出光分離部、Ｃ１３２…光学部、Ｃ１４１…固体撮像部

Claims (8)

1. 画像を撮像する撮像部と、
   前記撮像部が撮像した画像に照射禁止領域を示す画像が含まれる場合に、前記撮像された前記照射禁止領域を示す画像に基づいて、前記照射禁止領域の形状を検出する検出部と、
   前記検出部が検出した前記照射禁止領域の形状に基づく照射状態によって光を照射する照射部と、
   を備える電子制御装置。
2. 前記照射状態とは、前記検出部が検出した前記照射禁止領域に光が照射されないようにして、光を照射する照射状態であって、
   前記照射部は、
   前記検出部が検出した前記照射禁止領域に光が照射されないようにして、光を照射する
   請求項１に記載の電子制御装置。
3. 前記照射部は、
   前記照射禁止領域を示す画像を前記撮像部が撮像する領域に照射する
   請求項１または請求項２に記載の電子制御装置。
4. 前記照射禁止領域を示す画像を前記撮像部が撮像する領域に照射する第２照射部
   を備える請求項１または請求項２に記載の電子制御装置。
5. 前記照射禁止領域を示す画像とは、可視光以外の波長を含む波長によって照射される画像であり、
   前記撮像部は、
   前記可視光以外の波長の画像を撮像可能であり、
   前記検出部は、
   前記撮像部が撮像した画像に含まれる、前記照射禁止領域を示す画像としての前記可視光以外の波長を含む波長によって照射される画像の形状に基づいて、前記照射禁止領域の形状を検出する
   請求項１から請求項４のいずれか一項に記載の電子制御装置。
6. 前記照射禁止領域を示す画像とは、所定の模様を有する画像であり、
   前記検出部は、
   前記撮像部が撮像した画像に含まれる、前記照射禁止領域を示す画像としての前記所定の模様を有する画像の形状に基づいて、前記照射禁止領域の形状を検出する
   請求項１から請求項５のいずれか一項に記載の電子制御装置。
7. 前記照射部は、
   前記照射禁止領域の大きさが所定の大きさを超える場合には、前記照射禁止領域の大きさが大きいことを示す情報を含む光を照射する
   請求項１から請求項６のいずれか一項に記載の電子制御装置。
8. コンピュータに、
   画像を撮像する撮像ステップと、
   前記撮像ステップにおいて撮像された画像に、照射禁止領域を示す画像が含まれる場合に、前記照射禁止領域の形状を検出する検出ステップと、
   前記検出ステップにおいて検出された前記照射禁止領域の形状に基づく照射状態によって光を照射する照射ステップと、
   を実行させるための電子制御プログラム。

Images