JP2015072602A - 電子制御装置、電子制御方法、及び電子制御プログラム - Google Patents

電子制御装置、電子制御方法、及び電子制御プログラム Download PDF

Info

Publication number
JP2015072602A
JP2015072602A JP2013208076A JP2013208076A JP2015072602A JP 2015072602 A JP2015072602 A JP 2015072602A JP 2013208076 A JP2013208076 A JP 2013208076A JP 2013208076 A JP2013208076 A JP 2013208076A JP 2015072602 A JP2015072602 A JP 2015072602A
Authority
JP
Japan
Prior art keywords
image
unit
user
information
electronic control
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2013208076A
Other languages
English (en)
Inventor
武昭 杉村
Takeaki Sugimura
武昭 杉村
淳史 田中
Junji Tanaka
淳史 田中
聡一郎 坪井
Soichiro Tsuboi
聡一郎 坪井
玄史 吉岡
Genshi Yoshioka
玄史 吉岡
大輔 結城
Daisuke Yuki
大輔 結城
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Priority to JP2013208076A priority Critical patent/JP2015072602A/ja
Publication of JP2015072602A publication Critical patent/JP2015072602A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Projection Apparatus (AREA)
  • Digital Computer Display Output (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

【課題】ユーザの所望の画像を提供できること。
【解決手段】電子制御装置は、実空間を撮像する撮像部と、撮像部が撮像した画像に基づいてユーザを識別する識別部と、実空間に照射される光による画像によって表示される仮想空間を表示するための画像情報と、ユーザのうち仮想空間の表示が許可される特定ユーザを示す特定ユーザ情報とを関連付けて記憶する記憶部と、識別部が識別した前記ユーザのうち特定ユーザを示す特定ユーザ情報に関連付けて記憶部が記憶する画像情報を取得する取得部と、実空間を構成する物体に光を照射して、取得部が取得した画像情報に基づく画像を表示させる照射部とを備える。
【選択図】図1

Description

本発明は、電子制御装置、電子制御方法、及び電子制御プログラムに関する。
近年、様々な電子制御装置が知られている。例えば特許文献1には、光を3次元空間内の物体に照射して、当該物体上に画像を表示することが記載されている。
特開2007−122905号公報
しかしながら、特許文献1記載の技術では、ユーザの所望の画像を提供することまではできない場合がある。本発明は上記の点に鑑みてなされたものであり、ユーザの所望の画像を提供できる電子制御装置、電子制御方法、及び電子制御プログラムを提供する。
本発明の一態様は、実空間を撮像する撮像部と、前記撮像部が撮像した画像に基づいてユーザを識別する識別部と、前記実空間に照射される光による画像によって表示される仮想空間を表示するための画像情報と、ユーザのうち前記仮想空間の表示が許可される特定ユーザを示す特定ユーザ情報とを関連付けて記憶する記憶部と、前記識別部が識別した前記ユーザのうち前記特定ユーザを示す前記特定ユーザ情報に関連付けて前記記憶部が記憶する前記画像情報を取得する取得部と、前記実空間を構成する物体に光を照射して、前記取得部が取得した前記画像情報に基づく画像を表示させる照射部とを備える電子制御装置である。
また、本発明の一態様は、実空間に照射される光による画像によって表示される仮想空間を表示するための画像情報と、ユーザのうち前記仮想空間の表示が許可される特定ユーザを示す特定ユーザ情報とを関連付けて記憶する記憶部を備える装置を制御する電子制御方法であって、前記実空間を撮像する撮像手順と、前記撮像手順において撮像された画像に基づいてユーザを識別する識別手順と、前記識別手順において識別された前記ユーザのうち前記特定ユーザを示す前記特定ユーザ情報に関連付けて前記記憶部が記憶する前記画像情報を取得する取得手順と、前記実空間を構成する物体に光を照射して、前記取得手順において取得された前記画像情報に基づく画像を表示させる照射手順とを有する電子制御方法である。
また、本発明の一態様は、実空間に照射される光による画像によって表示される仮想空間を表示するための画像情報と、ユーザのうち前記仮想空間の表示が許可される特定ユーザを示す特定ユーザ情報とを関連付けて記憶する記憶部を備える電子制御装置が備えるコンピュータに、前記実空間を撮像する撮像手順と、前記撮像手順において撮像された画像に基づいてユーザを識別する識別手順と、前記識別手順において識別された前記ユーザのうち前記特定ユーザを示す前記特定ユーザ情報に関連付けて前記記憶部が記憶する前記画像情報を取得する取得手順と、前記実空間を構成する物体に光を照射して、前記取得手順において取得された前記画像情報に基づく画像を表示させる照射手順とを実行させるための電子制御プログラムである。
本発明によれば、ユーザの所望の画像を提供できる。
本発明の実施形態に係る電子制御装置の一例を表す概略図である。 本実施形態に係る電子制御装置の構成を示す概略ブロック図である。 本実施形態に係る制御部の構成を示す概略ブロック図である。 本実施形態の記憶部が記憶しているマッピング情報の一例を示す表である。 本実施形態の記憶部が記憶しているユーザの特徴量を示す情報の一例を示す表である。 本実施形態に係る記憶部が記憶している画像テーブルの一例を示す表である。 本実施形態に係る記憶部が記憶している画像ファイルの一例を示す表である。 本実施形態に係る電子制御装置の動作の一例を示すフローチャートである。 本実施形態の変形例1における制御部の構成の一例を示す構成図である。 本実施形態の変形例2に係る撮像照射装置の構成の一例を示す構成図である。
以下、図面を参照しながら本発明の実施形態について詳しく説明する。
図1は、本発明の実施形態に係る電子制御装置1の一例を表す概略図である。電子制御装置1は、同図に示すように、部屋Rの天井SLに設置されている。この電子制御装置1は、照射部14を備えている。照射部14は、光を照射することにより画像を生成する投射装置(プロジェクタ)として機能する。具体的には、照射部14は、部屋R内の面の表示領域DAに光を照射することにより、この表示領域DAに画像を表示する。表示領域DAの一例として、部屋Rの壁面WL1に設定される表示領域DA1と、壁面WL2に設定される表示領域DA2と、部屋Rに置かれている机TBLの上面に設定される表示領域DA3とがある。この例において、照射部14は、これら表示領域DA1〜DA3に光を照射することにより画像を表示する。このように、電子制御装置1は、照射部14によって、部屋Rの壁面WLや机TBLの上面に光を照射することによって、部屋Rの内部に画像を表示する。また、電子制御装置1は、表示する画像を変化させることにより、部屋Rを模様替えするように、部屋Rの内部の様子を変化させることもできる。
この電子制御装置1は、部屋Rの中にいるユーザの属性に基づいた画像を表示領域DAに表示する。ここで、ユーザの属性とは、ユーザの性質や特徴を示す情報である。このユーザの属性には、例えば、ユーザの性別や年齢、ユーザが所属する組織、ユーザの所持品、ユーザの動作などが含まれる。以下、部屋Rの中にいるユーザが、ユーザU1である場合について説明する。
ここで、電子制御装置1が、部屋Rの壁面WLなどに表示する画像の具体例について説明する。この電子制御装置1が表示する画像とは、ユーザU1の属性に応じた画像である。また、この電子制御装置1が設置される部屋Rの一例としては、家庭の居室や、会社の執務室(オフィス)、学校の教室、店舗(例えば、カラオケ店)の個室などがある。ここでは、部屋RがユーザU1の自宅の居室である場合を一例に説明する。
例えば、部屋Rの中にいるユーザU1が子どもである場合には、電子制御装置1は、子ども部屋の画像を表示領域DAに表示する。一例として、ユーザU1が子どもである場合、電子制御装置1は、玩具が収納されている整理棚の画像を表示領域DA1に、子ども向けのキャラクターが描かれている壁紙やカーテンの画像を表示領域DA2にそれぞれ表示する。またこの場合、電子制御装置1は、子ども向けの絵本の画像を表示領域DA3に表示する。これにより、ユーザU1は、あたかも子ども部屋の中に居るように感じることができ、また、机TBLの上に表示されている絵本を読むことができる。
また、例えば、部屋Rの中にいるユーザU1が会社員である場合には、電子制御装置1は、会社の執務室(オフィス)の画像を表示領域DAに表示する。一例として、ユーザU1が会社員であって、あるプロジェクト(例えば、プロジェクトP1)に携わっている場合、電子制御装置1は、プロジェクトP1の資料が収納されている本棚の画像を表示領域DA1に、プロジェクトP1に関連する文章や図形が描かれたホワイトボードの画像を表示領域DA2にそれぞれ表示する。またこの場合、電子制御装置1は、プロジェクトP1に関連する資料の画像を表示領域DA3に表示する。これにより、ユーザU1は、あたかも会社の執務室の中に居るように感じることができ、また、机TBLの上に表示されている資料を読むことができる。
<ユーザの属性の検出について>
これまで、電子制御装置1が、ユーザU1の属性に基づいて画像を変化させる具体例について説明した。次に、電子制御装置1が、ユーザU1の属性を検出する仕組みの概要について説明する。この電子制御装置1は、ユーザU1の属性を検出することにより、ユーザU1の属性に基づいた画像を表示領域DAに表示する。この電子制御装置1は、様々な方法によってユーザU1の属性を判定することができる。電子制御装置1がユーザU1の属性を判定する方法の具体例について以下説明する。
例えば、電子制御装置1は、ユーザU1による操作によって、このユーザU1の属性を検出することができる。一例として、電子制御装置1は、ユーザによる操作を受け付けるキーボードなどの入力デバイスを備える。この場合には、電子制御装置1は、キーボードに入力された情報に基づいて、ユーザU1の属性を示す情報を検出する。具体的には、電子制御装置1は、壁面WL1や机TBLの上に、複数の押しボタンを有するキーボードを備えている。このキーボードが、例えば「子どもボタン」と「会社員ボタン」との2つ押しボタンを有する場合、電子制御装置1は、これらの押しボタンのうち、いずれのボタンが押し下げられたかを検出することにより、ユーザU1の属性が子どもであるか、会社員であるかを検出する。電子制御装置1は、ユーザU1の属性が会社員であると検出した場合に、上述したように、執務室(オフィス)の画像を表示領域DAに表示する。
また例えば、電子制御装置1は、部屋Rの中にいるユーザU1の画像に基づいて、ユーザU1の属性を検出してもよい。一例として、電子制御装置1は、図1に示すように、撮像部10を備える。この撮像部10とは、例えば、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)等の固体撮像素子を利用したカメラである。この撮像部10は、部屋R内の面の撮像領域IAを撮像して、撮像領域IA内の画像を生成する。撮像領域IAの一例として、図1に示すように、部屋Rの壁面WL1に設定される撮像領域IA1と、壁面WL2に設定される撮像領域IA2と、部屋Rに置かれている机TBLの上面に設定される撮像領域IA3とがある。また、撮像領域IAの一例として、床面FLに設定される撮像領域IA4がある。この例において、撮像部10は、これら撮像領域IA1〜IA4の画像を撮像する。撮像部10が撮像した画像の中に、ユーザU1の画像が含まれている場合には、この画像に基づいてユーザU1の属性を検出することができる。以下、撮像部10が撮像した画像の中に、ユーザU1の画像が含まれている場合について説明する。
電子制御装置1は、撮像部10が撮像したユーザU1の画像を、既知のパターンマッチング等によって画像処理することにより、ユーザU1の属性を検出する。例えば、予め子どもの画像と、会社員の画像とが電子制御装置1に登録されている場合について説明する。この場合、撮像部10が撮像した画像が、予め登録されている子どもの画像と一致する場合には、電子制御装置1は、ユーザU1の属性が子どもであると検出する。また、撮像部10が撮像した画像が、予め登録されている会社員の画像と一致する場合には、電子制御装置1は、ユーザU1の属性が会社員であると検出する。また、例えば、撮像部10が撮像した画像にユーザU1が所持する資料の画像が含まれており、この画像が、予め登録されているプロジェクトP1の資料の画像と一致する場合には、電子制御装置1は、ユーザU1がプロジェクトP1の資料を所持していると検出する。すなわち、この場合には、電子制御装置1は、ユーザU1の属性がプロジェクトP1であると検出する。より具体的な一例について、以下説明する。
この具体例において、ユーザU1は、会社においてプロジェクトP1に携わっており、このプロジェクトP1に関連する資料を自宅に持ち帰ってきている。すなわち、この場合、ユーザU1の属性とは、プロジェクトP1である。ユーザU1は、自宅の部屋Rの中に入り、プロジェクトP1の名称が記載された資料を机TBLの上に置く。電子制御装置1の撮像部10は、机TBLの上に置かれた資料の画像を撮像する。電子制御装置1は、この画像に含まれる文字を解析することによって、ユーザU1の属性がプロジェクトP1であると検出する。電子制御装置1は、ユーザU1の属性がプロジェクトP1であると検出した場合には、表示領域DAにプロジェクトP1に関連する画像を表示する。例えば、電子制御装置1は、プロジェクトP1の資料が収納されている本棚の画像を表示領域DA1に、プロジェクトP1に関連する文章や図形が描かれたホワイトボードの画像を表示領域DA2にそれぞれ表示する。また、電子制御装置1は、プロジェクトP1に関連する資料の画像を表示領域DA3に表示する。このように電子制御装置1は、ユーザU1の属性に基づく画像を、壁面WLや机TBLの上面に表示する。
<電子制御装置1が提供する機能について>
次に、電子制御装置1がユーザに対して提供する機能の一例について説明する。この電子制御装置1は、表示領域DAに表示する画像の内容に基づく機能をユーザに対して提供する。この電子制御装置1が提供する機能の一例であるオブジェクト選択機能について、表示領域DA1にプロジェクトP1の資料が収納されている本棚の画像が表示されている場合を例にして説明する。ユーザU1が本棚の資料の画像に触れるように手を動かすと、電子制御装置1は、このユーザU1の動作を検出して、資料の画像を机TBL上に表示する。これにより、電子制御装置1は、ユーザU1が資料を選択する動作をした場合に、あたかもユーザU1が資料を本棚から取り出して机の上に置いたかのようにして、選択された資料の画像を表示することができる。このように、電子制御装置1は、資料の画像などのオブジェクトを選択して、選択したオブジェクトの画像を表示するオブジェクト選択機能を提供する。
また、この電子制御装置1が提供する機能の一例である文字入力機能について、表示領域DA2にプロジェクトP1に関連する文章や図形が描かれたホワイトボードの画像が表示されている場合を例にして説明する。ユーザU1がホワイトボードの画像を、例えば指でなぞって文字を書き込む動作をすると、電子制御装置1は、このユーザU1の動作を検出して、書き込まれた文字の画像をホワイトボードの画像に重ねて表示する。具体的には、電子制御装置1は、文字コードと、文字の形状情報(例えば、文字の外形を示すベクターデータ)と、表示用のフォントデータとを関連付けて記憶している不図示の記憶部を備えている。電子制御装置1は、ユーザU1を撮像した画像に基づいてユーザU1の指の軌跡を画像解析する。電子制御装置1は、この解析結果と予め記憶している文字の形状情報とをパターンマッチングすることにより、ユーザU1が書く文字の文字コードを判定する。次に、電子制御装置1は、判定した文字コードに関連付けられている表示用のフォントデータを取得し、このフォントデータに基づく画像をホワイトボードの画像に重ねて表示する。これにより、電子制御装置1は、ホワイトボードの画像を指でなぞって文字を書き込む動作をした場合に、あたかもユーザU1がホワイトボードに文字を書き込んだかのようにして、書き込まれた文字の画像をホワイトボードの画像に重ねて表示することができる。このように、電子制御装置1は、指などの軌跡に基づいて、文字を認識する文字入力機能を提供する。ここまで、電子制御装置1の具体的な使用例について説明した。以下、この電子制御装置1の構成について説明する。
<電子制御装置1について>
図2は、本実施形態に係る電子制御装置1の構成を示す概略ブロック図である。同図に示すように、電子制御装置1は、撮像部10、音入力部11、制御部12、通信部13、照射部14、音出力部15、および電力供給部16を備えている。
撮像部10は、例えばカメラを備えており、実空間を撮像して、撮像した画像を制御部12へ出力する。ここで、実空間とは、ある広さの面を有する空間であり、仮想空間に対する現実の空間である。この実空間には、屋外広場などの開空間や、屋内施設などの閉空間が含まれる。また、ある広さの面とは、画像が表示可能な表示面である。この面には、2次元の平面や、3次元の曲面が含まれる。
音入力部11は、例えばマイクを備えており、周囲の音を収音してデータに変換し、変換したデータを制御部12へ出力する。
制御部12は、例えば、CPU(Central Processing Unit:中央演算処理装置)と、演算結果を一時的に記憶する記憶装置MEMとを備えている(図3を参照)。制御部12は、撮像部10及び音入力部11から入力されたデータに基づいて情報処理を行う。例えば、制御部12は、撮像部10が撮像した画像に含まれる文字を認識する文字認識処理や、撮像部10が撮像した画像に含まれるユーザを認識するパターンマッチング処理を行う。また、制御部12は、通信部13を介して他の装置と通信を行い、通信で取得した情報に基づいて情報処理を行う。制御部12は、これらの情報処理の結果に基づいて、照射部14及び音出力部15を制御する。この制御部12の詳細な構成の詳細については、図3を参照して後述する。
通信部13は、有線又は無線によって、他の装置と通信を行う。
照射部14は、例えばプロジェクタを備えており、制御部12による制御に基づいて、光を照射する。なお、上述した撮像部10と照射部14とは、一体に構成されてもよい(図10参照)。後述するように、制御部12は、取得部123を制御することにより画像情報を取得する。すなわち、照射部14は、実空間を構成する物体に光を照射して、取得部123が取得した画像情報に基づく画像を表示させる。これら制御部12、および取得部123の構成については、後述する。
音出力部15は、例えばスピーカを備えており、制御部12による制御に基づいて、音を出力する。なお、音出力部15は、指向性スピーカを備えていてもよい。この場合には、音出力部15は、所定の指向特性を有する音を出力する。
電力供給部16は、内部又は外部の電源から電力を取得し、取得した電力を電子制御装置1の各部に供給する。電力供給部16は、例えば部屋Rの壁面WLに設置されているコンセントや、天井SLに設置されている照明器具取り付け用ソケットを介して、電力を取得する。
<制御部12について>
図3は、本実施形態に係る制御部12の構成を示す概略ブロック図である。同図に示すように、制御部12は、画像変換部120と、識別部121と、属性検出部122と、取得部123と、記憶部124とを備える。
画像変換部120は、撮像部10が出力する画像を、マッピング情報に基づいて変換し、変換後の画像を識別部121及び属性検出部122に出力する。以下の説明において、この画像変換部120が、撮像部10が出力する画像から変換した画像を、撮像画像と称する。すなわち、画像変換部120は、撮像部10が出力する画像を、マッピング情報に基づいて撮像画像に変換する。また、画像変換部120は、後述する取得部123が出力する画像を、マッピング情報に基づいて変換し、変換後の画像を照射部14に出力する。以下の説明において、この画像変換部120が、取得部123が出力する画像から変換した画像を、照射画像と称する。すなわち、画像変換部120は、取得部123が出力する画像を、マッピング情報に基づいて照射画像に変換する。
ここで、マッピング情報とは、画像の座標変換を行うための情報である。例えば、マッピング情報とは、撮像した画像や照射された画像が歪む場合に、その歪みを補正するための情報である。このマッピング情報には、入力マッピング情報と、出力マッピング情報とが含まれる。入力マッピング情報とは、撮像部10が撮像した画像の座標と、撮像画像の座標とを、座標変換するためのマッピング情報である。また、出力マッピング情報とは、照射部14が照射する画像の座標と、情報処理に用いる画像(照射画像と称する)の座標とを、座標変換するためのマッピング情報である。この出力マッピング情報は、表示領域DAの形状と、表示領域DAおよび電子制御装置1の相対位置とに基づいて予め定められている。例えば、電子制御装置1が天井SLに設置されている場合に、壁面WL1の表示領域DA1に画像を表示するためのマッピング情報は、照射画像の座標を台形変換して照射部14が照射する画像の座標とするように定められている。また、出力マッピング情報とは、照射画像の色彩を補正するための色情報を含むマッピング情報である。
図4は、本実施形態の記憶部124が記憶しているマッピング情報の一例を示す表である。図4(a)に示すように、記憶部124は、撮像領域IDと、入力マッピング情報とを関連付けて記憶している。この撮像領域IDとは、電子制御装置1の照射部14が画像を表示する複数の撮像領域IA(例えば、撮像領域IA1〜IA4)をそれぞれ識別する情報である。例えば、撮像領域IA1には、撮像領域ID「IA1」が割り当てられている。また、例えば、撮像領域IA2〜4には、撮像領域ID「IA2」〜「IA4」がそれぞれ割り当てられている。また、図4(b)に示すように、記憶部124は、表示領域IDと、出力マッピング情報とを関連付けて記憶している。この表示領域IDとは、電子制御装置1の照射部14が画像を表示する複数の表示領域DA(例えば、表示領域DA1〜DA3)をそれぞれ識別する情報である。例えば、表示領域DA1には、表示領域ID「DA1」が割り当てられている。また、例えば、表示領域DA2には、表示領域ID「DA2」が、表示領域DA3には、表示領域ID「DA3」がそれぞれ割り当てられている。
<ユーザ認証処理について>
図3に戻り、識別部121は、画像変換部120から入力された撮像画像に基づいて、撮像画像中のユーザを識別する。すなわち、識別部121は、撮像部10が撮像した画像に基づいてユーザを識別する。以下、識別部121が行うユーザ識別処理の具体例について説明する。
識別部121は、撮像部10が撮像した画像にユーザの画像が含まれている場合に、そのユーザの画像と、記憶部124が記憶しているユーザの特徴量を示す情報とに基づいて、ユーザを識別する。
図5は、本実施形態の記憶部124が記憶しているユーザの特徴量を示す情報の一例を示す表である。同図に示すように、記憶部124は、ユーザを識別するユーザ識別情報(例えば、ユーザID)と当該ユーザの特徴量(例えば、ユーザの顔の特徴量や、ユーザの動作などの特徴量)を示す情報を関連付けて記憶している。同図に示す一例においては、特徴量Aがユーザの顔の特徴量である。また、特徴量Bがユーザの動作の特徴量である。上述したように、記憶部124が記憶している特徴量は、1つであってもよく複数であってもよい。画像変換部120から撮像画像が入力されると、識別部121は、この撮像画像からユーザの画像を抽出して、特徴量を算出する。次に、識別部121は、算出した特徴量と、記憶部124が記憶しているユーザの特徴量との一致度を判定する。この一致度が高いほど、撮像部10が撮像したユーザが、登録済みのユーザである確率が高い。識別部121は、この一致度が所定のしきい値よりも高いと判定した場合には、この特徴量を示す情報に関連付けられているユーザIDを取得部123に出力する。また、識別部121は、この一致度が所定のしきい値以下であると判定した場合には、ユーザIDを取得部123に出力しない。また、記憶部124が記憶している特徴量が、例えば、特徴量A、特徴量Bのように複数ある場合には、識別部121は、これらの特徴量毎に、算出した特徴量との一致度を判定する。このようにして、識別部121は、部屋Rを利用するユーザが、登録済みのユーザであること識別する。これにより、電子制御装置1は、部屋Rの中に登録済みのユーザがいない場合には、画像を表示しないようにすることができる。この識別部121によれば、上述した具体例において、部屋Rの机TBLにプロジェクトP1の資料が置いてある場合であっても、ユーザU1が部屋Rの中にいない場合には、プロジェクトP1に関連する画像を表示しないようにすることができる。このように識別部121を備えることによって、電子制御装置1は、識別されないユーザに対して画像を表示しないようにすることができる。
<属性検出処理について>
図3に戻り、属性検出部122による属性検出処理について説明する。属性検出部122は、撮像部10が撮像したユーザの画像に基づいて、ユーザの属性を検出する。具体的には、属性検出部122は、画像変換部120から撮像画像が入力されると、この撮像画像を画像処理することにより、撮像画像に含まれるユーザの属性を示す情報を検出する。上述した具体例、すなわち、ユーザU1が、部屋Rの中の机TBLの上に、プロジェクトP1の名称が記載された資料を置いた場合の属性検出処理について、以下説明する。
属性検出部122は、画像変換部120から撮像画像が入力されると、入力された撮像画像について画像解析する。この画像解析には、様々な手法を適用することができる。ここでは、複数の画像間を比較して、これら複数の画像の一致度を算出する画像解析手法(例えば、既知のパターンマッチングや、画像特徴点または画像特徴量を用いた画像解析手法)を適用する場合について説明する。具体的には、属性検出部122は、画像変換部120から入力される撮像画像と、記憶部124が記憶している画像を比較することにより、画像の一致度を算出する。この記憶部124は、「プロジェクトP1」の文字を示す画像を、ユーザU1の属性を示す画像として予め記憶している。属性検出部122は、画像変換部120から撮像画像が入力されると、記憶部124から「プロジェクトP1」の文字を示す画像を読み出す。次に、属性検出部122は、入力された撮像画像と、読み出した画像との比較を行う。属性検出部122は、これらの画像間の比較の結果、入力された撮像画像の中に、「プロジェクトP1」の文字を示す画像との一致度が高い部分が存在する場合には、撮像画像にプロジェクトP1の文字が含まれていると判定する。次に、属性検出部122は、撮像画像にプロジェクトP1の文字が含まれていると判定した場合には、ユーザU1の属性がプロジェクトP1であると判定する。すなわち、属性検出部122は、撮像画像に含まれる文字に基づいて、ユーザU1の属性を検出する。一方、属性検出部122は、画像間の比較の結果、入力された撮像画像の中に、「プロジェクトP1」の文字を示す画像との一致度が高い部分が存在しない場合には、撮像画像にプロジェクトP1の文字が含まれていないと判定する。次に、属性検出部122は、撮像画像にプロジェクトP1の文字が含まれていないと判定した場合には、プロジェクトP1以外の他の属性についての検出を行う。
プロジェクトP1以外の他の属性についての検出として、属性検出部122は、例えば、撮像画像にプロジェクトP2の文字が含まれているか否かを判定する。この例の場合には、記憶部124は、「プロジェクトP2」の文字を示す画像を、ユーザU1の属性を示す画像として予め記憶している。属性検出部122は、記憶部124から「プロジェクトP2」の文字を示す画像を読み出して、入力された撮像画像と、読み出した画像とについて、画像間の比較を行う。属性検出部122は、画像間の比較の結果、入力された撮像画像の中に、「プロジェクトP2」の文字を示す画像との一致度が高い部分が存在する場合には、撮像画像にプロジェクトP2の文字が含まれていると判定する。このようにして属性検出部122は、記憶部124が予め記憶している画像と、撮像画像とを順次比較して、撮像画像の中にユーザU1の属性を示す画像が含まれているか否かを判定することにより、ユーザU1の属性を検出する。また、属性検出部122は、検出したユーザU1の属性を取得部123に出力する。
取得部123は、属性検出部122から入力されたユーザU1の属性に基づいて、記憶部124が記憶している画像情報を取得する。図6を参照して後述するように、記憶部124は、ユーザの属性のうち仮想空間の表示が許可される特定の属性を示す特定属性情報と、画像情報と、特定ユーザ情報とを関連付けて記憶する。ここで、特定ユーザとは、識別部121が識別したユーザのうち、電子制御装置1が機能を提供可能なユーザである。例えば、複数のユーザのうちのユーザU1に対して、電子制御装置1が仮想空間の表示をおこなう場合には、ユーザU1が特定ユーザである。
すなわち、取得部123は、識別部121が識別したユーザのうち特定ユーザを示す特定ユーザ情報と、属性検出部122が検出したユーザの属性のうち特定の属性を示す特定属性情報とに関連付けて記憶部124が記憶する画像情報を取得する。換言すれば、取得部123は、識別部121が識別したユーザのうち特定ユーザを示す特定ユーザ情報に関連付けて記憶部124が記憶する画像情報を取得する。
ここで、記憶部124が記憶している画像テーブルについて説明する。記憶部124は、ユーザを識別する識別情報と、実空間(例えば、部屋R)内の各面に投映される画像の画像情報とを関連付けて記憶している。この記憶部124が記憶している画像テーブルの一例を図6に示す。
図6は、本実施形態に係る記憶部124が記憶している画像テーブルの一例を示す表である。同図に示すように、記憶部124が記憶している画像テーブルは、ユーザID、属性、表示領域ID、画像ファイル名、位置・大きさ、機能の各項目の列を有している。
この画像テーブルの各項目のうち、ユーザIDとは、部屋Rを利用するユーザを識別する識別情報であって、ユーザごとに割り当てられる固有のIDである。すなわち、ユーザIDとは、ユーザを識別する識別情報の一例である。例えば、ユーザU1には、ユーザID「U1」が割り当てられている。属性とは、上述したユーザの属性を示す情報である。例えば、属性「プロジェクトP1」とは、ユーザの属性がプロジェクトP1であることを示している。
また、画像ファイル名とは、電子制御装置1の照射部14が表示する画像ファイルの名称である。すなわち、画像ファイル名とは、所定の空間内の面に投映される画像の画像情報の一例である。例えば、プロジェクトP1に関連する資料が収納されている本棚の画像を表示するための画像ファイルには、画像ファイル名「プロジェクトP1本棚」が割り当てられている。位置・大きさとは、電子制御装置1の照射部14が画像を表示する位置および大きさを示す情報である。例えば、表示される画像が矩形の場合には、位置・大きさは、この矩形の対角線上にある2頂点の座標によって示される。機能とは、電子制御装置1がユーザに提供する機能の種類を示す情報である。
すなわち、記憶部124は、実空間に照射される光による画像によって表示される仮想空間を表示するための画像情報と、ユーザのうち仮想空間の表示が許可される特定ユーザを示す特定ユーザ情報とを関連付けて記憶する。
記憶部124が記憶している画像テーブルの具体例について説明する。この記憶部124は、ユーザID「U1」と、属性「プロジェクトP1」と、表示領域ID「DA1」と、画像ファイル名「プロジェクトP1本棚」と、位置・大きさ「(x11、y11)―(x12、y12)」と、機能「オブジェクト選択」とを関連付けて記憶している。また、記憶部124は、ユーザID「U1」と、属性「プロジェクトP2」と、表示領域ID「DA1」と、画像ファイル名「プロジェクトP2本棚」と、位置・大きさ「(x11、y11)―(x12、y12)」と、機能「オブジェクト選択」とを関連付けて記憶している。すなわち、記憶部124は、識別情報と、複数の画像情報とを関連付けて記憶している。次に、この記憶部124が記憶している画像テーブルを、取得部123が取得する仕組みについて、図3に戻り説明する。
取得部123は、識別部121からユーザU1のユーザIDを取得するとともに、属性検出部122からユーザU1の属性を取得し、取得した各情報に基づいて記憶部124から画像情報を取得する。すなわち、取得部123は、識別部121が識別したユーザを識別する識別情報に関連付けられている画像情報を取得する。ここでは一例として、ユーザU1のユーザ識別情報が、ユーザID「U1」であり、ユーザU1の属性が「プロジェクトP1」である場合について説明する。取得部123は、ユーザID「U1」と、ユーザU1の属性「プロジェクトP1」とを検索キーにして、記憶部124に記憶されている情報を検索する。具体的には、取得部123は、ユーザID「U1」と、ユーザU1の属性「プロジェクトP1」とに関連付けられている情報が記憶部124に記憶されているか否かを判定する。次に、取得部123は、ユーザID「U1」と、ユーザU1の属性「プロジェクトP1」とに関連付けられている情報が記憶部124に記憶されている場合には、その情報の各項目(例えば、表示領域ID、画像ファイル名、位置・大きさ、機能)を読み出す。このようにして、取得部123は、属性検出部122から入力されたユーザU1の属性に基づいて、記憶部124に記憶されている画像情報を取得する。すなわち、取得部123は、識別部121が識別したユーザの識別情報と関連付けて記憶部124が記憶している複数の画像情報のうちから、所定の選択条件に基づいて画像情報を選択することにより画像情報を取得する。また、取得部123は、記憶部124から読み出した画像テーブルの情報を画像変換部120に出力する。次に、画像変換部120が画像を変換する仕組みについて説明する。
図7は、本実施形態に係る記憶部124が記憶している画像ファイルの一例を示す表である。同図に示すように、記憶部124は、画像ファイル名と、画像ファイルとを関連付けて記憶している。ここで、画像ファイルとは、所定の形式によってデジタル化された画像情報である。この画像ファイルの形式には、ビットマップ形式やJPEG(Joint Photographic Experts Group)形式などの様々な形式が適用可能である。なお、ここでは記憶部124が単一の画像ファイルを記憶している例について説明するが、これに限られない。記憶部124は、複数の画像ファイルを関連付けて記憶していてもよい。また、記憶部124は、画像ファイルに関連する画像情報やオブジェクト情報などの付加情報を、画像ファイルと関連付けて記憶していてもよい。
図3に戻り、画像変換部120は、取得部123が取得した画像テーブルの情報から、表示領域IDと、画像ファイル名と、位置・大きさとの各項目を抽出する。次に、画像変換部120は、抽出した画像ファイル名に関連付けられている画像ファイルを、記憶部124から読み出す。画像変換部120は、読み出した画像ファイルを、図4に示すマッピング情報に基づいて照射画像に変換する。具体的には、画像変換部120は、抽出した表示領域IDに関連付けられているマッピング情報をマッピング情報記憶部125から読み出す。次に、画像変換部120は、取得部123が出力する情報から抽出した位置・大きさと、マッピング情報記憶部125から読み出したマッピング情報とに基づいて、画像ファイル名が示す画像の座標を変換する。ここで、記憶部124は、図7に示すように、画像ファイル名と、画像とを関連付けて記憶している。画像変換部120は、画像ファイル名と関連付けられている画像を記憶部124から読み出し、読み出した画像の座標を、位置・大きさと、マッピング情報とに基づいて変換する。画像変換部120は、この変換した画像を照射画像として、照射部14(図1を参照)に出力する。なお、上述したように記憶部124が複数の画像ファイルを関連付けて記憶している場合、および、記憶部124が画像ファイルと付加情報とを関連付けて記憶している場合がある。この場合には、画像変換部120は、これら相互に関連付けられている画像ファイルまたは付加情報に基づいて照射画像を合成し、合成した照射画像を照射部14に出力する。照射部14は、画像変換部120が出力した照射画像に基づく光を、表示領域DAに照射する。すなわち、照射部14は、取得部123が取得した画像情報に基づく光を、実空間内の面に照射する。このようにして電子制御装置1は、部屋Rなどの実空間を利用するユーザU1の属性に合致した画像を、実空間内の面にマッピングされたゆがみの少ない画像にして、表示することができる。
<動作について>
図8は、本実施形態に係る電子制御装置1の動作の一例を示すフローチャートである。
(ステップS101)識別部121は、ユーザの識別情報を取得する。具体的には、識別部121は、画像変換部120から取得した撮像画像にユーザの画像が含まれている場合、このユーザの画像を識別情報として取得して、処理をステップS102に進める。
(ステップS102)識別部121は、登録済みのユーザであるか否かを判定する。具体的には、識別部121は、画像変換部120から取得した画像のユーザの特徴量を算出し、算出した特徴量と、記憶部124が記憶しているユーザの特徴量との一致度に基づいて、このユーザが登録済みのユーザであるか否かを判定する。識別部121は、このユーザが登録済みのユーザであると判定した場合(ステップS102:YES)には、このユーザのユーザIDを取得部123に出力して、処理をステップS103に進める。一方、識別部121は、このユーザが登録済みのユーザでないと判定した場合(ステップS102:NO)には、処理を終了する。
(ステップS103)属性検出部122は、撮像部10が撮像した画像に基づいて、ユーザの属性を検出する。具体的には、属性検出部122は、ユーザの属性を示す複数の画像のうちから、画像変換部120から入力される撮像画像との一致度が高い画像を検索することによりユーザの属性を検出する。属性検出部122は、検出したユーザの属性を取得部123に出力して、処理をステップS104に進める。
(ステップS104)取得部123は、ステップS102において識別部121が出力したユーザIDと、ステップS103において属性検出部122が検出したユーザの属性とを検索キーにして、記憶部124が記憶する画像テーブルを検索する。取得部123は、画像テーブルの各レコードのうち、検索キーに合致するレコードに含まれる各項目の情報を取得し、取得した各項目の情報を画像変換部120に出力して、処理をステップS105に進める。
(ステップS105)画像変換部120は、ステップS104において取得部123が取得した画像テーブルの各項目の情報に基づいて照射画像を合成して、処理をステップS106に進める。具体的には、画像変換部120は、画像テーブルの項目のうち画像ファイル名に関連付けられている画像ファイルを記憶部124から読み出す。このとき、画像ファイル名に関連付けられている画像ファイルが複数ある場合には、画像変換部120は、これら複数の画像ファイルに基づいて照射画像を合成する。また、このとき、画像ファイル名に関連付けられている付加情報がある場合には、画像変換部120は、これら画像ファイルと付加情報とに基づいて、照射画像を合成する。
(ステップS106)画像変換部120は、ステップS104において取得部123が取得した画像テーブルの各項目の情報に基づいて、ステップS105において合成された照射画像を座標変換する。具体的には、画像変換部120は、画像テーブルの項目のうち画像ファイル名に関連付けられている画像ファイルを記憶部124から読み出す。また、画像変換部120は、画像テーブルの項目のうち表示領域IDに関連付けられている出力マッピング情報を記憶部124から読み出す。次に、画像変換部120は、画像テーブルの項目のうち位置・大きさと、読み出した出力マッピング情報とに基づいて、読み出した画像ファイルの座標変換を行う。次に、画像変換部120は、座標変換した画像を照射画像として照射部14に出力し、処理をステップS107に進める。
(ステップS107)照射部14は、ステップS106において画像変換部120が座標変換した照射画像を取得し、この照射画像に基づく光を表示領域DAに照射し、処理をステップS108に進める。
(ステップS107)識別部121は、識別したユーザが不在である時間が所定の時間を超えているか否かを判定する。具体的には、識別部121は、画像変換部120から取得した撮像画像に、ユーザの画像が含まれなくなった場合には、すなわち、撮像領域IA内にユーザが不在になった場合には、ユーザが不在になっている時間を計時する。また、識別部121は、計時した時間が所定のしきい値を超えた場合には、ユーザが不在であると判定し(ステップS108:YES)、処理を終了する。一方、識別部121は、計時した時間が所定のしきい値を超える前は、ユーザが存在すると判定し(ステップS108:NO)、処理をステップS103に戻して、処理を継続する。
以上のように、本実施形態では、電子制御装置1は、空間内の面に光を照射することによって画像を表示する照射部14を備えている。これにより、部屋Rなどの空間内の壁面、床面、天井面等の広範囲な面に対して、画像を表示することができる。例えば、この電子制御装置1が家庭の居室に設置されている場合において、会社の執務室の画像を表示すると、家庭の居室が会社の執務室に瞬時に模様替えされる。すなわち、この電子制御装置1によれば、空間内の模様替えを瞬時に行うことができるため、ユーザの所望の画像を提供することができる。
また、電子制御装置1は、部屋Rなどの空間を利用するユーザを識別する識別部121と、識別されたユーザに関連付けられている画像を取得する取得部123とを備えている。これにより、識別されたユーザに対してのみ画像を表示し、識別されていないユーザに対しては画像を表示しないようにすることができる。すなわち、電子制御装置1によれば、画像の秘匿性を向上することができる。
また、電子制御装置1において、記憶部124は、ユーザの識別情報と、複数の画像情報とを関連付けて記憶している。これにより、電子制御装置1は、1人のユーザに対して、再現する空間の種類を切換えて提供することができる。例えば、電子制御装置1によれば、ユーザが仕事を行う場合には、会社の執務室の様子を再現し、このユーザが食事をする場合には、レストランの様子を再現することができる。すなわち、電子制御装置1によれば、ユーザは、1つの空間を様々な用途に利用することができる。
また、電子制御装置1において、取得部123は、現在の日付、時刻、または曜日を示す日付情報に基づいて、再現する空間の種類を切換える。すなわち、取得部123は、識別部121が識別したユーザの識別情報と関連付けて記憶部124が記憶している複数の画像情報のうちから、日付情報に基づいて画像情報を選択することにより画像情報を取得する。換言すれば、取得部123は、記憶部124が記憶する複数の画像情報のうちから、属性検出部122が検出したユーザの属性と、仮想空間を表示する日付、時刻、または曜日を示す日付情報とのうち、少なくとも一方に基づいて画像情報選択することにより画像情報を取得する。ここで、日付情報とは、現在の日付、時刻、または曜日等、時計や暦に基づく情報である。これにより、電子制御装置1は、特定の日付や、特定の時間帯に合致する種類の空間を再現することができる。例えば、現在の日付がユーザの誕生日である場合には、電子制御装置1は、誕生会を行うパーティールームの様子を再現することができる。また、現在の時刻が学校の放課後の時間帯である場合には、電子制御装置1は、宿題を行うための勉強部屋の様子を再現することができる。すなわち、電子制御装置1によれば、ユーザの操作の手間を軽減しつつ、ユーザが所望する空間を再現することができる。
また、電子制御装置1は、ユーザの画像を撮像する撮像部10と、撮像部10が撮像したユーザの画像に基づいて、ユーザの属性を検出する属性検出部122とを備えている。また、取得部123は、識別部121が識別したユーザの識別情報と関連付けて記憶部124が記憶している複数の画像情報のうちから、属性検出部122が判定したユーザの属性に基づいて画像情報を選択することにより画像情報を取得する。これにより、電子制御装置1は、ユーザの属性に応じた空間を再現することができる。たとえば、電子制御装置1によれば、ユーザが会社員であれば、会社の執務室の様子が再現され、ユーザが子どもであれば、子ども部屋の様子が再現される。このように、電子制御装置1によれば、ユーザは、1つの空間をユーザの属性に応じた様々な用途に利用することができる。
また、電子制御装置1は、属性検出部122が、ユーザの操作を検出することにより、ユーザの属性を検出してもよい。例えば、属性検出部122は、ユーザによる操作を受け付けるキーボードによる操作信号に基づいて、ユーザの属性を検出してもよい。このキーボードが、例えば「子どもボタン」と「会社員ボタン」との2つ押しボタンを有する場合、電子制御装置1は、これらの押しボタンのうち、いずれのボタンが押し下げられたかを検出することにより、ユーザU1の属性が子どもであるか、会社員であるかを検出することができる。すなわち、電子制御装置1によれば、ユーザは、自らの操作によって空間内の模様替えを行うことができる。
また、電子制御装置1は、記憶部124が、仮想空間に対応するアプリケーションソフトに関する情報と、特定ユーザ情報とを関連付けて記憶していてもよい。この場合、取得部123は、識別部121が識別したユーザのうち特定ユーザを示す特定ユーザ情報に関連付けて記憶部124が記憶するアプリケーションソフトに関する情報をさらに取得する。また、照射部14は、実空間を構成する物体に光を照射して、取得部123が取得したアプリケーションソフトに関する情報に基づく画像をさらに表示させる。これにより、電子制御装置1は、ある仮想空間内において特定のアプリケーションソフトをユーザが利用することができる。すなわち、電子制御装置1によれば、特定のアプリケーションソフトと仮想空間とが関連付けられているため、この仮想空間に適したアプリケーションソフトを提供することができる。例えば、仮想空間が会社の執務室(オフィス)である場合には、文章作成や表計算などのアプリケーションソフトを提供することができる。これにより、電子制御装置1は、ユーザの利便性を向上することができる。また、このユーザは、特定ユーザ(識別部121によって識別されたユーザ)であるため、特定ユーザ以外のユーザは、このアプリケーションソフトを利用することができない。つまり、電子制御装置1は、特定ユーザ以外のユーザには、この特定のアプリケーションを利用させないように、利用ユーザを制限することができる。
なお、記憶部124は、さらに、仮想空間と関連する仮想空間として表示される第2の仮想空間を表示するための情報と、画像情報と、特定ユーザ情報とを関連付けて記憶していてもよい。例えば、記憶部124は、第1の仮想空間として、第1の子ども部屋の画像情報を記憶しており、第2の仮想空間として、その第1の子ども部屋の隣の部屋(例えば、第2の子ども部屋)の画像情報を記憶している。また、記憶部124は、第1の子ども部屋から第2の子ども部屋に仮想空間を切換えるための、仮想空間のリンク情報を、第2の仮想空間を表示するための情報として記憶している。この場合には、取得部123は、識別部121が識別したユーザのうち特定ユーザを示す特定ユーザ情報に関連付けて記憶部124が記憶する第2の仮想空間を表示するための情報をさらに取得する。これにより、電子制御装置1は、ユーザが複数の仮想空間(例えば、第1の子ども部屋と第2の子ども部屋)の間を行き来するように画像を表示することができる。
<変形例1>
以下、図面を参照して、本実施形態の変形例1について説明する。なお、上述した実施形態と同様の構成については、同一の符号を付して説明を省略する。
図9は、本実施形態の変形例1における制御部12aの構成の一例を示す構成図である。制御部12aは、上述した制御部12に相当する。制御部12aは、画像更新部126と、終了検出部127と、アクセス制御部128とを備える点において、制御部12と異なる。
画像更新部126は、取得部123が取得した画像情報を更新する。具体的には、画像更新部126は、取得部123が取得した画像テーブルの画像ファイル名に関連付けて記憶部124から取得した画像ファイルの内容を更新する。照射部は、画像更新部126による更新後の画像情報に基づく光を、実空間内の面(例えば、表示領域DA)に照射する。これにより、電子制御装置1は、予め記憶されている画像だけではなく、変化に富んだ画像をユーザに提供することができる。
終了検出部127は、ユーザによる実空間の利用の終了を検出する。具体的には、終了検出部127は、画像変換部120から取得した撮像画像に、ユーザの画像が含まれなくなった場合には、すなわち、撮像領域IA内にユーザが不在になった場合には、ユーザが不在になっている時間を計時する。また、終了検出部127は、計時した時間が所定のしきい値を超えた場合には、ユーザが不在であると判定する。一方、終了検出部127は、計時した時間が所定のしきい値を超える前は、ユーザが存在すると判定する。すなわち上述した実施形態においては、識別部121が検出していたユーザによる実空間の利用の終了を、本変形例においては、終了検出部127が検出する。
アクセス制御部128は、終了検出部127が終了を検出した場合に、画像更新部126による更新後の画像情報と、当該ユーザを示す識別情報とを関連付けて記憶部124に書き込む。この場合、記憶部124は、さらに、仮想空間に対応するデータと、特定ユーザ情報とを関連付けて記憶する。また、画像更新部126は、照射部14による光の照射が停止した時点の状態を示す情報によって、記憶部124が記憶する情報のうち少なくとも1つの情報を更新する。また、アクセス制御部128は、識別部121が識別したユーザのうち特定ユーザを示す特定ユーザ情報に関連付けて記憶部124が記憶するデータへのアクセスを制御する。これにより、アクセス制御部128は、画像更新部126が更新した画像のうち、ユーザが利用を終了した時点の画像を記憶部124に書き込むことができる。すなわち、アクセス制御部128によれば、ユーザによる次回の利用開始時に、前回の利用終了時点の画像を表示することができる。つまり、本変形例によれば、前回の利用終了時点の状態から継続した状態の画像をユーザに提供することができるため、ユーザの利便性を向上させることができる。
なお、終了検出部127は、電子制御装置1の周囲の音が無音に近い状態になった場合に、終了を検出してもよい。具体的には、終了検出部127は、音入力部11が収音する音の音量が所定のしきい値以下である時間が、所定の時間を超えている場合には、終了を検出する。このようにしても、終了検出部127は、識別部121が検出していたユーザによる実空間の利用の終了を検出することができる。
<変形例2>
制御部12(または、制御部12a)は、撮像部10の光学系と照射部14の光学系を共通にして一体に構成してもよい(一体に構成された装置を撮像照射装置C1と称する)。例えば、制御部12(または、制御部12a)は、撮像部10の光軸と照射部14の光軸を同じにしてもよい。
図10は、本実施形態の変形例2に係る撮像照射装置C1の構成の一例を示す構成図である。この図において、撮像照射装置C1は、照射光生成部C112、入出光分離部C131、光学部C132、及び固体撮像部C141を備える。
照射光生成部C112は、制御部12(または、制御部12a)からの制御に基づいて、照射する画像を表す光を生成し、生成した光を出力する。
入出光分離部C131は、光学部C132と照射光生成部C112の間の光路上であって、光学部C132と固体撮像部C141の間の光路上、に設けられている。入出光分離部C131は、撮像照射装置C1が外部へ出射する出射光と、外部から撮像照射装置C1へ入射する入射光の光路を分離する。例えば、入出光分離部C131は、照射光生成部C112から入射された光の少なくも一部を透過し、光学部C132から入射された光の少なくも一部を反射する。入出光分離部C131は、例えばハーフミラーであり、入射した光の一部を反射し、一部を透過する。これにより、撮像照射装置C1は、照射と撮像で光学部C132を共通にできる。また、撮像照射装置C1は、照射と撮像の光軸を同じにできる。
光学部C132は、例えば複数枚のレンズで構成される。固体撮像部C141は、例えば、CMOS(相補性金属酸化膜半導体)イメージセンサである。
照射光生成部C112から出力された光は、入出光分離部C131を透過し、光学部C132を介して照射される。一方、撮像照射装置C1の外部から光学部C132へ入射された光は、入出光分離部C131で反射された後、反射部C140で反射される。反射部C140で反射された光は、固体撮像部C141へ入射し、光電変換によって画像を示すデータに変換される。
以上のように、撮像照射装置C1は、照射と撮像で光軸を同じできる。これにより、制御部12は、照射したスポットを同じ光軸の撮像画像でそのまま認識できるので、スポットの調整を容易にできる。また、撮像照射装置C1は、光学系を共通にするので、光学系を共通にしない場合と比較して、スペースを省くことができ、また、コストを下げることができる。また、ユーザは、光学系から光が照射されているので、撮像されていることに気づき難い場合がある。これにより、ユーザは、カメラで撮影されていることを意識することなく、電子制御装置1を利用できる。
なお、撮像照射装置C1において、照射と撮像で、独立して焦点を合わせる機能を有してもよい。例えば、撮像照射装置C1は、光学部C132と照射光生成部C112の間の光路上に可動レンズが設けられてもよい。また、撮像照射装置C1は、光学部C132と固体撮像部C141の間の光路上に可動レンズが設けられてもよいし、固体撮像部C141が可動である構成であってもよい。これにより、撮像照射装置C1は、照射と撮像各々で、焦点を合わせることができる。
なお、光学部C132は、例えば魚眼レンズであってもよい。これにより、電子制御装置1は、広範囲に照射でき、広範囲で撮像できる。なお、照射面や光学系による画像の歪みの影響等を考慮しない場合には、制御部12(または、制御部12a)は、画像変換部120を備えなくてもよい。
なお、識別部121は、登録されていないユーザについてはユーザIDを出力しない例について説明したがこれに限られない。例えば、識別部121は、登録されていないユーザが部屋Rの中にいる場合には、このユーザを新規に登録することもできる。具体的には、識別部121は、撮像画像から抽出されたユーザの特徴量と、記憶部124が記憶しているユーザの特徴量との一致度が所定のしきい値以下であると判定した場合には、新たなユーザIDを生成する。次に、識別部121は、生成したユーザIDと撮像画像から抽出されたユーザの特徴量を示す情報とを関連付けて記憶する。さらに識別部121は、生成したユーザIDを取得部123に出力する。これにより、電子制御装置1は、ユーザが操作を行うことなく、登録されていないユーザを登録することができる。
なお、具体例として、電子制御装置1が部屋Rの天井SLに設置されている場合について説明したが、これに限られない。例えば、電子制御装置1は、部屋Rの壁面WL(例えば、壁面WL3)や、机TBLの上面などに設置されていてもよい。
また、撮像領域IAの例として、撮像領域IA1〜IA4について説明したが、これに限られない。天井SLや、部屋R内の不図示の他の壁面WL、または部屋R内の不図示の物体が撮像領域IAであってもよい。
また、表示領域DAの例として、表示領域DA1〜DA3について説明したが、これに限られない。天井SLや、部屋R内の不図示の他の壁面WL、または部屋R内の不図示の物体が表示領域DAであってもよい。
なお、上述した実施形態における電子制御装置1の一部をコンピュータで実現するようにしてもよい。その場合、この制御機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、電子制御装置1に内蔵されたコンピュータシステムであって、OSや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。また、上述した実施形態における電子制御装置1の一部、または全部を、LSI(Large Scale Integration)等の集積回路として実現してもよい。電子制御装置1の各機能ブロックは個別にプロセッサ化してもよいし、一部、または全部を集積してプロセッサ化してもよい。また、集積回路化の手法はLSIに限らず専用回路、または汎用プロセッサで実現してもよい。また、半導体技術の進歩によりLSIに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いてもよい。
以上、図面を参照してこの発明の一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。
1…電子制御装置、10…撮像部、11…音入力部、12、12a…制御部、13…通信部、14…照射部、15…音出力部、16…電力供給部、120…画像変換部、121…識別部、122…形状検出部、123…取得部、124…記憶部、126…画像更新部、127…終了検出部、128…アクセス制御部、C1…撮像照射装置、C112…照射光生成部、C131…入出光分離部、C132…光学部、C141…固体撮像部

Claims (9)

  1. 実空間を撮像する撮像部と、
    前記撮像部が撮像した画像に基づいてユーザを識別する識別部と、
    前記実空間に照射される光による画像によって表示される仮想空間を表示するための画像情報と、ユーザのうち前記仮想空間の表示が許可される特定ユーザを示す特定ユーザ情報とを関連付けて記憶する記憶部と、
    前記識別部が識別した前記ユーザのうち前記特定ユーザを示す前記特定ユーザ情報に関連付けて前記記憶部が記憶する前記画像情報を取得する取得部と、
    前記実空間を構成する物体に光を照射して、前記取得部が取得した前記画像情報に基づく画像を表示させる照射部と、
    を備える電子制御装置。
  2. 前記ユーザの属性を検出する属性検出部
    を備え、
    前記記憶部は、
    前記ユーザの属性のうち前記仮想空間の表示が許可される特定の属性を示す特定属性情報と、前記画像情報と、前記特定ユーザ情報とを関連付けて記憶し、
    前記取得部は、
    前記識別部が識別した前記ユーザのうち前記特定ユーザを示す前記特定ユーザ情報と、前記属性検出部が検出した前記ユーザの属性のうち前記特定の属性を示す前記特定属性情報とに関連付けて前記記憶部が記憶する前記画像情報を取得する
    ことを特徴とする請求項1に記載の電子制御装置。
  3. 前記取得部は、
    前記記憶部が記憶する複数の前記画像情報のうちから、前記属性検出部が検出した前記ユーザの属性と、前記仮想空間を表示する日付、時刻、または曜日を示す日付情報とのうち、少なくとも一方に基づいて前記画像情報を選択することにより前記画像情報を取得する
    ことを特徴とする請求項2に記載の電子制御装置。
  4. 前記記憶部は、
    さらに、前記仮想空間に対応するアプリケーションソフトに関する情報と、前記特定ユーザ情報とを関連付けて記憶し、
    前記取得部は、
    前記識別部が識別した前記ユーザのうち前記特定ユーザを示す前記特定ユーザ情報に関連付けて前記記憶部が記憶する前記アプリケーションソフトに関する情報をさらに取得し、
    前記照射部は、
    前記実空間を構成する物体に光を照射して、前記取得部が取得した前記アプリケーションソフトに関する情報に基づく画像をさらに表示させる
    ことを特徴とする請求項1から請求項3のいずれか一項に記載の電子制御装置。
  5. 前記記憶部は、
    さらに、前記仮想空間に対応するデータと、前記特定ユーザ情報とを関連付けて記憶し、
    前記識別部が識別した前記ユーザのうち前記特定ユーザを示す前記特定ユーザ情報に関連付けて前記記憶部が記憶する前記データへのアクセスを制御するアクセス制御部
    を備えることを特徴とする請求項1から請求項3のいずれか一項に記載の電子制御装置。
  6. 前記記憶部は、
    さらに、前記仮想空間と関連する仮想空間として表示される第2の仮想空間を表示するための情報と、前記画像情報と、前記特定ユーザ情報とを関連付けて記憶し、
    前記取得部は、
    前記識別部が識別した前記ユーザのうち前記特定ユーザを示す前記特定ユーザ情報に関連付けて前記記憶部が記憶する前記第2の仮想空間を表示するための情報をさらに取得する
    ことを特徴とする請求項1から請求項5のいずれか一項に記載の電子制御装置。
  7. 前記照射部による光の照射が停止した時点の状態を示す情報によって、前記記憶部が記憶する情報のうち少なくとも1つの情報を更新する更新部
    を備えることを特徴とする請求項1から請求項6のいずれか一項に記載の電子制御装置。
  8. 実空間に照射される光による画像によって表示される仮想空間を表示するための画像情報と、ユーザのうち前記仮想空間の表示が許可される特定ユーザを示す特定ユーザ情報とを関連付けて記憶する記憶部を備える装置を制御する電子制御方法であって、
    前記実空間を撮像する撮像手順と、
    前記撮像手順において撮像された画像に基づいてユーザを識別する識別手順と、
    前記識別手順において識別された前記ユーザのうち前記特定ユーザを示す前記特定ユーザ情報に関連付けて前記記憶部が記憶する前記画像情報を取得する取得手順と、
    前記実空間を構成する物体に光を照射して、前記取得手順において取得された前記画像情報に基づく画像を表示させる照射手順と
    を有する電子制御方法。
  9. 実空間に照射される光による画像によって表示される仮想空間を表示するための画像情報と、ユーザのうち前記仮想空間の表示が許可される特定ユーザを示す特定ユーザ情報とを関連付けて記憶する記憶部を備える電子制御装置が備えるコンピュータに、
    前記実空間を撮像する撮像手順と、
    前記撮像手順において撮像された画像に基づいてユーザを識別する識別手順と、
    前記識別手順において識別された前記ユーザのうち前記特定ユーザを示す前記特定ユーザ情報に関連付けて前記記憶部が記憶する前記画像情報を取得する取得手順と、
    前記実空間を構成する物体に光を照射して、前記取得手順において取得された前記画像情報に基づく画像を表示させる照射手順と
    を実行させるための電子制御プログラム。
JP2013208076A 2013-10-03 2013-10-03 電子制御装置、電子制御方法、及び電子制御プログラム Pending JP2015072602A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013208076A JP2015072602A (ja) 2013-10-03 2013-10-03 電子制御装置、電子制御方法、及び電子制御プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013208076A JP2015072602A (ja) 2013-10-03 2013-10-03 電子制御装置、電子制御方法、及び電子制御プログラム

Publications (1)

Publication Number Publication Date
JP2015072602A true JP2015072602A (ja) 2015-04-16

Family

ID=53014923

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013208076A Pending JP2015072602A (ja) 2013-10-03 2013-10-03 電子制御装置、電子制御方法、及び電子制御プログラム

Country Status (1)

Country Link
JP (1) JP2015072602A (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017009777A (ja) * 2015-06-22 2017-01-12 セイコーエプソン株式会社 表示装置、表示装置の制御方法、表示システム、及び、プログラム
WO2020015294A1 (zh) * 2018-07-17 2020-01-23 珠海格力电器股份有限公司 一种智能家居设备的控制方法及终端设备
WO2020021868A1 (ja) * 2018-07-25 2020-01-30 富士フイルム株式会社 投影装置とその制御方法及び制御プログラム
JP2020027794A (ja) * 2018-06-01 2020-02-20 東芝ライテック株式会社 照明装置および照明システム

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017009777A (ja) * 2015-06-22 2017-01-12 セイコーエプソン株式会社 表示装置、表示装置の制御方法、表示システム、及び、プログラム
JP2020027794A (ja) * 2018-06-01 2020-02-20 東芝ライテック株式会社 照明装置および照明システム
WO2020015294A1 (zh) * 2018-07-17 2020-01-23 珠海格力电器股份有限公司 一种智能家居设备的控制方法及终端设备
US11550282B2 (en) 2018-07-17 2023-01-10 Gree Electric Appliances, Inc. Of Zhuhai Control method for smart home device and terminal device
WO2020021868A1 (ja) * 2018-07-25 2020-01-30 富士フイルム株式会社 投影装置とその制御方法及び制御プログラム
JPWO2020021868A1 (ja) * 2018-07-25 2021-03-11 富士フイルム株式会社 投影装置とその制御方法及び制御プログラム

Similar Documents

Publication Publication Date Title
JP3834766B2 (ja) マンマシーン・インターフェース・システム
CN103140862B (zh) 用户界面系统及其操作方法
CN109448453B (zh) 基于图像识别追踪技术的点读问答方法与系统
JP6573755B2 (ja) 表示制御方法、情報処理プログラム、及び情報処理装置
US20220207872A1 (en) Apparatus and method for processing prompt information
KR20160099497A (ko) 핸드라이팅 인식 방법 및 장치
JP4031255B2 (ja) ジェスチャコマンド入力装置
TW202044113A (zh) 影像處理方法、影像處理裝置、電子設備,及電腦可讀式儲存介質
Rusiñol et al. Augmented songbook: an augmented reality educational application for raising music awareness
JP2015072602A (ja) 電子制御装置、電子制御方法、及び電子制御プログラム
JP2005352933A (ja) 表示装置、システムおよび表示方法
CN103888531A (zh) 阅读位置同步方法、阅读位置获取方法和装置
JP6447689B1 (ja) 情報処理装置及びプログラム
JP2022042423A (ja) 遠隔勤務支援システム及び遠隔勤務支援方法
CN109214379B (zh) 基于图像识别追踪技术的多功能点读指点件及点读方法
JP2008048204A (ja) 情報処理装置、情報処理システム及び情報処理プログラム
JP6036856B2 (ja) 電子制御装置、制御方法、及び制御プログラム
JP4649944B2 (ja) 動画像処理装置、動画像処理方法およびプログラム
WO2017022852A1 (ja) 電子制御装置、及び電子制御プログラム
JP2013004001A (ja) 表示制御装置、表示制御方法、およびプログラム
JP6155689B2 (ja) 認証装置及び認証方法
JP2015105999A (ja) 電子制御装置、及び電子制御プログラム
CN110955326B (zh) 信息数据传达通讯系统及其方法
JP6479135B1 (ja) 連携ルール設定支援システム
CN111652986A (zh) 舞台效果呈现方法、装置、电子设备及存储介质