JP2015018485A - 電子制御装置、制御方法、及び制御プログラム - Google Patents

電子制御装置、制御方法、及び制御プログラム Download PDF

Info

Publication number
JP2015018485A
JP2015018485A JP2013146531A JP2013146531A JP2015018485A JP 2015018485 A JP2015018485 A JP 2015018485A JP 2013146531 A JP2013146531 A JP 2013146531A JP 2013146531 A JP2013146531 A JP 2013146531A JP 2015018485 A JP2015018485 A JP 2015018485A
Authority
JP
Japan
Prior art keywords
user
display area
unit
size
electronic control
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2013146531A
Other languages
English (en)
Inventor
武昭 杉村
Takeaki Sugimura
武昭 杉村
聡一郎 坪井
Soichiro Tsuboi
聡一郎 坪井
淳史 田中
Junji Tanaka
淳史 田中
玄史 吉岡
Genshi Yoshioka
玄史 吉岡
大輔 結城
Daisuke Yuki
大輔 結城
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Priority to JP2013146531A priority Critical patent/JP2015018485A/ja
Publication of JP2015018485A publication Critical patent/JP2015018485A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)

Abstract

【課題】利用者の所望の表示領域を提供できる電子制御装置、制御方法、及び制御プログラムを提供する。【解決手段】電子制御装置1は、利用者U1の肩幅B1を検出し、検出した肩幅B1に応じて表示領域S1の幅W1を決定する。表示領域S1には、その領域の一部又は全部に、画像が表示される。電子制御装置1は、表示領域S1をはみ出ないように、画像を表示する。【選択図】図1

Description

本発明は、電子制御装置、制御方法、及び制御プログラムに関する。
近年、様々な電子制御装置が知られている。例えば特許文献1には、投影面に関する所定の操作物体の位置に関する情報から、操作物体の移動方向を判定することが記載されている。特許文献1には、この判定結果と操作物体の位置に関する情報に基づき、前記投影手段を用いて投影させるユーザインタフェース画像の表示位置及び表示方向の少なくとも一方を決定することが記載されている。
特開2009−64109号公報
しかしながら、特許文献1記載の技術では、投影面に関する所定の操作物体を移動させないと、表示領域が決定できず、利用者の所望の表示領域が提供されない場合がある。
本発明は上記の点に鑑みてなされたものであり、利用者の所望の表示領域を提供できる電子制御装置、制御方法、及び制御プログラムを提供する。
本発明の一態様は、撮像部と、前記撮像部で撮像された利用者の体の大きさを示す検出情報を検出し、検出した検出情報に応じて表示領域の大きさを決定する制御部と、前記表示領域に光を照射する照射部と、を備える電子制御装置である。
また、本発明の一態様は、撮像部が、利用者を撮像する撮像過程と、制御部が、前記撮像された利用者の体の大きさを示す検出情報を検出し、検出した検出情報に応じて表示領域の大きさを決定する制御過程と、照射部が、前記表示領域に光を照射する照射過程と、を有する制御方法である。
また、本発明の一態様は、利用者を撮像する撮像手順と、前記撮像された利用者の体の所定部分の大きさを示す検出情報を検出し、検出した検出情報に応じて表示領域の大きさを決定する制御手順と、前記表示領域に光を照射する照射手順と、を実行させるための制御プログラムである。
本発明によれば、利用者の所望の表示領域を提供できる。
本発明の実施形態に係る電子制御装置の使用の一例を表す概略図である。 本実施形態に係る電子制御装置の構成を示す概略ブロック図である。 本実施形態に係る制御部の構成を示す概略ブロック図である。 本実施形態に係る電子制御装置の動作の一例を示すフローチャートである。 本実施形態に係る表示領域決定処理の一例を表す概略図である。 本実施形態に係る表示領域の比較例を表す概略図である。 本実施形態に係る表示領域の比較例を表す別の概略図である。 本実施形態に係る表示領域決定処理の一例を表す別の概略図である。 本実施形態の変形例に係る表示領域の比較例を表す概略図である。 本実施形態の変形例に係る表示領域の比較例を表す別の概略図である。
以下、図面を参照しながら本発明の実施形態について詳しく説明する。
図1は、本発明の実施形態に係る電子制御装置1の使用の一例を表す概略図である。この図において、電子制御装置1は、部屋の天井に取り付けられている。電子制御装置1は、利用者に関する検出情報を検出し、検出情報に応じて表示領域S1を決定する。電子制御装置1は、決定した表示領域S1へ、画像を投影する。具体的には、電子制御装置1は、検出情報に応じて表示領域S1の大きさ、位置、向き、又は形状を決定する。なお、検出情報は、例えば、利用者の体の所定部分、利用者の装着物、又は、利用者の持ち物のいずれか或いはその組み合わせとしても良い。ここで、利用者の体の所定部分とは、利用者の体の一部又は全部である。
図1では、例えば、電子制御装置1は、利用者U1の肩幅Bを検出し、検出した肩幅Bに応じて表示領域S1の幅Wを決定している。表示領域S1には、その領域の一部又は全部に、画像が表示される。例えば、電子制御装置1は、表示領域S1をはみ出ないように、画像を表示する。
<電子制御装置1について>
図2は、本実施形態に係る電子制御装置1の構成を示す概略ブロック図である。この図において、電子制御装置1は、撮像部10、音入力部11、制御部12、通信部13、照射部14、音出力部15、及び電力供給部16を含んで構成される。
撮像部10は、例えばカメラである。撮像部10は、例えば利用者の上方から、利用者を撮像する。撮像部10は、撮像した画像を示すデータを制御部12へ出力する。
音入力部11は、例えばマイクである。音入力部11は、音をデータに変換し、変換したデータを制御部12へ出力する。
制御部12は、例えばCPU(中央演算処理装置)と記憶装置である。制御部12は、撮像部10及び音入力部11から入力されたデータに応じて処理を行う。例えば、制御部12は、表示領域を決定する表示領域決定処理を行う。
なお、制御部12は、通信部13を介して他の装置と通信を行い、通信で取得した情報に応じて処理を行っても良い。制御部12は、情報処理の結果に応じて、照射部14及び音出力部15を制御する。
通信部13は、有線又は無線によって、他の装置と通信を行う。
照射部14は、例えばプロジェクタである。照射部14は、制御部12が決定した表示領域へ光を照射する。 音出力部15は、例えばスピーカである。音出力部15は、制御部12からの制御に応じて、音を出力する。なお、音出力部15は、指向性スピーカであっても良い。
電力供給部16は、内部又は外部の電源から電力を取得し、電子制御装置1の各部へ電力を供給する。電力供給部16は、例えばコンセントや照明器具取り付け用ソケットを介して、電力を取得する。
<制御部12について>
図3は、本実施形態に係る制御部12の構成を示す概略ブロック図である。この図において、制御部12は、画像変換部120、利用者決定部121、形状検出部122、表示領域決定部123、表示領域情報記憶部124、表示領域制御部125、入力取得部126、及び処理部127を含んで構成される。
画像変換部120は、撮像部10が撮像した画像の座標と、情報処理に用いる画像(撮像画像と称する)の座標を、座標変換するためのマッピング情報を記憶する。また、画像変換部120は、照射部14が照射する画像と、情報処理に用いる画像(照射画像と称する)の座標を、座標変換するためのマッピング情報を記憶する。マッピング情報は、例えば、撮像した画像や照射された画像が歪む場合に、その歪みを補正するための情報である。
画像変換部120は、マッピング情報に応じて、撮像部10から入力されたデータが示す画像を撮像画像へ変換し、撮像画像を利用者決定部121及び形状検出部122へ出力する。また、画像変換部120は、マッピング情報に応じて、表示領域制御部125及び処理部127から入力されたデータが示す照射画像を変換し、変換後の画像を照射部14に照射させる。
利用者決定部121は、画像変換部120から入力された撮像画像に応じて、撮像画像中の利用者を識別し、識別した利用者の利用者識別情報を表示領域決定部123へ出力する。具体的には、利用者決定部121は、撮像画像から物体を認識し、認識した物体の特徴量を算出する。利用者決定部121は、利用者識別情報と特徴量の組を予め記憶し、記憶している特徴量のいずれかと算出した特徴量と記憶している特徴量が一致するか否かを判定する。
特徴量が一致すると判定した場合、利用者決定部121は、撮像画像中の利用者が予め登録された利用者であると判定する。この場合、利用者決定部121は、特徴量が一致した利用者識別情報を抽出し、抽出した利用者識別情報を表示領域決定部123へ出力する。
一方、特徴量が一致しないと判定した場合、利用者決定部121は、撮像画像中の利用者部分から特徴量を算出する。利用者決定部121は、新たな利用者識別情報を生成し、生成した利用者識別情報と算出した特徴量の組を記憶する。この場合、利用者決定部121は、生成した利用者識別情報を表示領域決定部123へ出力する。
形状検出部122は、画像変換部120から入力された撮像画像に応じて、利用者の体の所定部分、利用者の装着物、又は、利用者の持ち物を検出する。形状検出部122は、検出結果を示す検出情報を、表示領域決定部123へ出力する。
表示領域決定部123は、形状検出部122から入力された検出情報に基づいて、表示領域を決定する。例えば、制御部12は、この検出情報に応じて表示領域の大きさ、位置、向き、形状、色、又は模様のうち一部或いは全部を決定する。表示領域決定部123は、利用者決定部121から入力された利用者識別情報、及び、決定した表示領域を示す情報を対応付け、対応付けた情報(表示領域情報と称する)を、表示領域情報記憶部124に記憶させる。
表示領域制御部125は、表示領域情報記憶部124が記憶する表示領域情報に応じて、表示領域へ表示させる照射画像を生成する。表示領域制御部125は、生成した照射画像を、画像変換部120へ出力する。これにより、照射部14は、表示領域の一部又は全部へ光を照射し、表示が出現することとなる。また、表示領域制御部125は、撮像画像と表示領域情報に応じて、つまり、実際に出現した表示に応じて表示領域範囲を調整することで、表示領域の大きさや位置、向きを変えても良い。
入力取得部126は、撮像画像と表示領域情報に応じて、処理画像中の表示領域を特定する。入力取得部126は、撮像画像から、表示領域内の画像を取得する。
処理部127は、入力取得部126が取得した画像に応じて、表示領域における画像に対する利用者の操作を検出する。処理部127は、検出した操作に応じて、照射画像を生成しても良い。これにより、照射部14は、処理部127が取得した情報に応じて、情報を表示できる。また、処理部127は、取得した情報に応じて、音データを生成しても良い。電子制御装置1は、処理部127が取得した情報に応じて、音を出力できる。
<動作について>
図4は、本実施形態に係る電子制御装置1の動作の一例を示すフローチャートである。
(ステップS101)利用者決定部121は、撮像画像中の利用者の特徴量に応じて、利用者を決定する。なお、利用者決定部121は、新たな利用者を検出した場合、新たな利用者識別情報を生成して登録する。その後、ステップS102へ進む。
(ステップS102)形状検出部122は、ステップS102で決定された利用者の体の所定部分、利用者の装着物、又は、利用者の持ち物を検出し、検出結果を示す検出情報を生成する。その後、ステップS103へ進む。
(ステップS103)表示領域決定部123は、利用者から表示指示があったか否かを検出する。ここで、表示指示とは、例えば、利用者による特定のジェスチャ(例えば、身振り、手振り)や音声であって、表示を要求する指示である。表示指示があったと判定された場合(YES)ステップS104へ進み、表示指示がなかったと判定された場合(NO)、ステップS101へ戻る。
このように、電子制御装置1は、表示指示の前に、利用者を決定し、その利用者についての検出情報を生成する。これにより、電子制御装置1は、表示指示があってから、これらの処理を行う場合と比較して、早期に表示領域を決定できる。また、電子制御装置1は、利用者の決定や所定部分の検出に長い時間をかけることができる。これにより、電子制御装置1は、利用者を識別する精度を向上でき、また、所定部分を検出する精度を向上できる。ただし、本発明はこれに限らず、利用者から表示指示があってから、利用者を決定してもよいし、又は、検出情報を生成してもよい。
(ステップS104)表示領域決定部123は、ステップS102で生成された検出情報に応じて、表示領域を決定する。その後、ステップS105へ進む。
(ステップS105)表示領域制御部125は、ステップS104で決定された表示領域の一部又は全部へ、光を照射させる。これにより、表示が出現する。その後、ステップS106へ進む。
(ステップS106)表示領域制御部125は、撮像画像と表示領域情報に応じて、表示領域範囲を調整することで、表示領域を制御する。また、処理部127は、入力取得部126が取得した画像に応じて、表示領域における画像に対する利用者の操作を検出する。処理部127は、検出した操作に応じて照射画像を生成し、生成した照射画像を表示領域の一部又は全部へ照射させる。その後、ステップS107へ進む。
(ステップS107)表示領域決定部123は、利用者から消滅指示があったか否かを検出する。ここで、消滅指示とは、例えば、利用者による特定のジェスチャや音声であって、表示領域の消滅を要求する指示である。消滅指示がなかったと判定された場合(NO)、ステップS106へ戻る。一方、消滅指示があったと判定された場合(YES)、処理を終了する。
<表示領域の大きさについて>
制御部12は、例えば、利用者の体の大きさを示す検出情報を検出し、検出した検出情報に応じて、表示領域の大きさを決定する。この検出情報は、利用者の体の一部又は全部の幅を示す情報であり、例えば、利用者の肩幅、頭の幅、又は体の幅である。
図5は、本実施形態に係る表示領域決定処理の一例を表す概略図である。図5は、電子制御装置1が撮像した撮像画像を表す。
この図において、点P11〜P18は、形状検出部122が検出した利用者U2の体の部分を示す。具体的には、形状検出部122は、利用者U2の関節を検出することで点P11〜P16を検出する。形状検出部122は、点P11、P12を利用者U2の肩として検出し、点P13、P14を利用者U2の肘として検出する。また、形状検出部122は、点P15、16を利用者U2の手首として検出する。形状検出部122は、点P17、18を利用者U2の耳として検出する。なお、形状検出部122は、人間のからだの一部の形状に関する特徴量に応じて利用者U2の体の部分(例えば、手や耳、鼻)を検出してもよいし、利用者U2の動きに応じて体の部分を検出してもよい。例えば、形状検出部122は、利用者U2の動きに応じて関節を検出し、検出した各関節を体の各部分に対応付けてもよい。例えば、形状検出部122は、点P11〜P18を検出した場合に、端の点P15又は点P18を手首とし、そこから順に、肘、肩、肩、肘、手首とすることで、検出した各関節を体の各部分に対応付けてもよい。
図5において、幅B21〜B25は、形状検出部122が特定した利用者に関する幅を表す。具体的には、幅B21、B25は、利用者の体の幅である。幅B22は、利用者の肩幅であり、例えば両肩(点P11と点P12)の距離である。幅B23は、利用者の頭の幅であり、例えば両耳(点P17と点P18)の距離である。幅B24は、利用者の胴体部分の幅であり、例えば体から手や腕を除いた部分の幅である。
図5において、幅W21〜W23は、表示領域決定部123が決定した表示領域の大きさを示す。幅W21は表示領域の縦幅であり、幅W22は表示領域の横幅である。また、幅W23は、表示領域の斜めの幅であり、表示領域が四角形の場合には対角線の長さに相当する。幅W23は、表示領域が円形の場合には直径、表示領域が楕円形の場合には短径又は長径に相当する。
表示領域決定部123は、幅B21〜B25のいずれか或いは組合せに応じて、幅W21〜W23のいずれか或いは組合せを決定する。具体的には、表示領域決定部123は、肩幅と表示領域の幅を対応付けた対応情報を予め記憶する。表示領域決定部123は、形状検出部122が特定した肩幅B22に、対応情報で対応する表示領域の幅を、表示領域の横幅W21として決定する。なお、対応情報では、検出情報(肩幅)を検出した部分(肩)の高さから予め定められた高さ(50cm下方の高さ)において、予め定められた大きさになるように、肩幅と表示領域の幅(例えば、肩幅B22と横幅W21)が対応付けられている。つまり、表示領域決定部123は、利用者の体の大きさを部分の高さから予め定められた高さにおいて、表示領域が予め定められた大きさになるように、表示領域の大きさを決定する。なお、高さとは、例えば鉛直方向における高さをいい、床からの高さである。但し、撮像部10や照射部14の光軸方向が鉛直方向と一致しない場合には、高さとは、光軸方向の距離であって、例えば床から対象部分までの距離であってもよい。
図6、7は、本実施形態に係る表示領域の比較例を表す概略図である。図6は、使用者の電子制御装置1の使用状況を表す。図7は、図6の電子制御装置1が撮像した撮像画像を表す。これらの図において、利用者U31とU32は同じ利用者である。利用者U31は着席している状態であり、利用者U32は立っている状態である。利用者U31とU32では、実際の肩幅は同じであるものの、利用者U31よりU32の方が肩の高さhだけ高い位置にある(図6参照)。
換言すれば、利用者U31の肩から電子制御装置1までの距離は、利用者U32の肩から電子制御装置1までの距離より遠い。図7において、利用者U31が撮像された撮像画像と利用者U32が撮像された撮像画像を比較すると、撮像画像における肩幅B31は、撮像画像における肩幅B32より小さくなる。この場合、電子制御装置1は、照射画像における表示領域S31の大きさを、照射画像における表示領域S32の大きさよりも、小さいものに決定する。
その結果、図6において、照射面(机)における表示領域S31とS32の大きさは、ほぼ同じものとなっている。例えば、利用者U31の肩から照射面までの距離h31と、利用者U32の肩から照射面までの距離h32が同じである場合には、照射面における表示領域S31とS32の大きさは同じになる。このように、電子制御装置1は、ある利用者に対して、体の所定部分(例えば、肩)から同程度の距離にある照射面において、同程度の大きさの表示領域で画像を表示できる。
また、利用者U31と利用者U33は、肩の高さがほぼ同じではあるが、利用者U31より利用者U33の方が体が小さく、実際の肩幅が狭い(図6参照)。この場合、図7において、利用者U31が撮像された撮像画像と利用者U33が撮像された撮像画像を比較すると、撮像画像における肩幅B31は、撮像画像における肩幅B33より大きくなる。この場合、電子制御装置1は、照射画像における表示領域S31の大きさを、照射画像における表示領域S33の大きさよりも、大きいものに決定する。
その結果、図7において、照射面における表示領域S31は、照射面における表示領域S33よりも、大きいものとなっている。このように、電子制御装置1は、体の大きさが異なる利用者に対して、大きさの異なる表示領域で画像を表示できる。例えば、電子制御装置1は体の小さい利用者には小さい表示領域で画像を表示でき、体の大きい利用者には大きい表示領域で画像を表示できる。
<表示領域の位置について>
制御部12は、例えば、検出情報に応じて、表示領域の位置を、利用者の正面側に決定する。利用者の正面側とは、例えば、利用者の顔又は体の正面側である。
図8は、本実施形態に係る表示領域決定処理の一例を表す概略図である。図8は、電子制御装置1が撮像した撮像画像を表す。この図において、点P11〜P18は、図5のものと同じである。例えば、形状検出部122は、点P11、P12を利用者U2の肩として検出し、点P17、18を利用者U2の耳として検出する。
表示領域決定部123は、利用者U2の体の所定部分に応じて、利用者U2の前後方向を判定する。例えば、表示領域決定部123は、両肩(点P11と点P12)を結ぶ線分L11を算出する。表示領域決定部123は、線分L11と並行な方向を利用者U2の体の横方向と判定し、線分L11と垂直な方向を利用者U2の体の前後方向と判定する。また、表示領域決定部123は、例えば、両耳(点P17と点P18)を結ぶ線分L12を算出してもよい。この場合、表示領域決定部123は、線分L12と並行な方向を利用者U2の顔の横方向と判定し、線分L12と垂直な方向を利用者U2の顔の前後方向と判定する。
表示領域決定部123は、利用者U2の体の所定部分に応じて、前後方向のうち前方向、つまり、正面方向を決定する。図8において、形状検出部122は、利用者U2が指で指し示した点、例えば、人差し指の指先の位置(指示位置と称する)を点P21として検出する。形状検出部122は、鼻や鼻先の位置(鼻位置と称する)を点P22として検出する。表示領域決定部123は、前後方向のうち、指示位置又は鼻位置の位置する方向(図8の矢印A21が指す方向)を、利用者U2の正面方向に決定する。
なお、表示領域決定部123は、前後方向のうち、一方の肘、両肘、片手、又は、両手(点P13、P14、P15、又はP16のいずれか又は組合せ)が位置する方向を、正面方向として決定してもよい。人は照射面で操作をする場合には、通常、手や腕を正面側に位置させる。したがって、電子制御装置1は、一方の肘、両肘、片手、又は、両手が位置する方向を正面方向とすることで、正確に、利用者U2の正面方向を決定できる。
表示領域決定部123は、両肩と両耳の位置関係に応じて利用者U2の正面方向を決定してもよい。例えば、表示領域決定部123は、線分L11から線分L12に向かう方向を、利用者U2の正面方向を決定する。人を上方から撮像した場合、両肩の位置よりも両耳の位置が正面方向に位置する場合が多いので、電子制御装置1は、正確に、利用者U2の正面方向を決定できる。
表示領域決定部123は、正面方向のうち、指示位置から、利用者U2の体の中心側又は指示する手と逆の手が位置する側に、表示領域の位置を決定してもよい。例えば、表示領域決定部123は、指示位置から線分L11又はL12に垂直な線L22より、矢印A22が指す側に、表示領域の位置を決定する。また、表示領域決定部123は、正面方向のうち、指示位置から、利用者U2が位置する側の逆側に、表示領域の位置を決定してもよい。例えば、表示領域決定部123は、指示位置から線分L11又はL12に平行な線L23より、矢印A23が指す側に、表示領域の位置を決定する。
このように、制御部12は、検出情報に応じて利用者U2の顔の向き又は体の向きを特定し、特定した向きに応じて表示領域の位置を決定してもよい。
<表示領域の向きについて>
制御部12は、例えば、検出情報に応じて、表示領域又は表示領域に表示される画像の向きを、利用者の顔の正面側に決定する。上述のように、表示領域決定部123は、利用者U2の体の所定部分に応じて、利用者U2の正面方向を決定する。制御部12は、正面方向が上方向になるように、表示領域又は表示領域に表示される画像の向きを決定する。例えば、表示領域決定部123は、図8の矢印A23が指す側に、表示領域の位置を決定する。このように、制御部12は、検出情報に応じて利用者U2の顔の向き又は体の向きを特定し、特定した向きに応じて表示領域の向きを決定してもよい。
以上のように、本実施形態では、撮像部10は、利用者を撮像する。制御部12は、撮像された利用者の体の大きさを示す検出情報を検出し、検出した検出情報に応じて表示領域を決定する。照射部14は、この表示領域に光を照射する。これにより、電子制御装置1は、利用者に応じた表示領域を提供できる。
例えば、電子制御装置1は、利用者の体の大きさに応じて、適切な大きさの表示領域を提供できる。具体的には、電子制御装置1は、利用者の見易い大きさで、又は、利用者が表示領域に対する操作をし易い大きさで、表示領域を提供できる。換言すれば、電子制御装置1は、表示領域が小さくなり見え難くなることを防止できる。また、電子制御装置1は、表示領域が大きくなり、表示領域の一部に手が届かず、表示領域に対する操作ができなくなることを防止できる。
また、制御部12は、利用者の体の一部又は全部の幅を示す検出情報を検出する。これにより、電子制御装置1は、検出情報が示す幅に応じて、適切な大きさの表示領域を提供できる。例えば、制御部12は、利用者の肩幅、体の幅、又は頭の幅を示す検出情報を検出することにより、電子制御装置1は、この幅に応じて適切な大きさの表示領域を提供できる。また、撮像部10は、利用者の上方から利用者を撮像する。制御部12は、上方から撮像された利用者の体の所定部分を検出し、表示領域を決定する。上方から撮像された利用者の像は、正面や側面から撮像された利用者の像と比較して、利用者の前後左右方向の特定を容易にできる。例えば、上方から撮像された利用者の像の場合、電子制御装置1は、肩と腕の位置関係、又は肩と耳の位置関係から、利用者の前後左右方向を特定できる。
また、制御部12は、利用者の体の大きさを検出した部分の高さから予め定められた高さにおいて、表示領域が予め定められた大きさになるように、表示領域の大きさを決定する。これにより、利用者は、体の部分の高さから、予め定められた高さにおいて、同じ大きさの表示領域で、画像を参照でき、また、表示領域に対する操作をすることができる。
また、制御部12は、利用者の体の所定部分に応じて、適切な位置に、適切な向きの表示領域を提供できる。例えば、電子制御装置1は、利用者の正面側に、正面方向向きの表示領域を提供できる。これにより、電子制御装置1は、利用者の見易い位置或いは向きで、又は、利用者が表示領域に対する操作をし易い位置或いは向きで、表示領域を提供できる。
<変形例1>制御部12は、少なくとも2つの検出情報、つまり、利用者U2の体の所定部分の少なくとも2つに応じて、表示領域の大きさを決定してもよい。例えば、制御部12は、利用者の手の大きさ或いは足の大きさを示す検出情報と、利用者の肩幅、体の幅、或いは頭の幅を示す検出情報と、に応じて、表示領域の大きさを決定する。ここで、利用者の手又は足は、照射面又はその近辺に位置し、操作の指示をする指示体である。
具体的な一例として、表示領域決定部123は、肩幅と表示領域の基本幅を対応付けた対応情報を予め記憶する。ここで、表示領域の基本幅は、上記実施形態の表示領域の幅であり、例えば検出情報を検出した部分の高さから予め定められた高さ(50cm下方の高さ)における表示領域の大きさを表す。表示領域決定部123は、形状検出部122が特定した肩幅に、この対応情報で対応する表示領域の幅を、表示領域の基本幅として決定する。一方、表示領域決定部123は、肩幅と標準的な手の大きさ(標準サイズと称する)を対応付けた情報を予め記憶する。ここで、標準サイズは、検出情報を検出した部分の高さから予め定められた高さに手が位置する場合の、手の大きさを表す。例えば、標準サイズは、その肩幅を持つ人(例えば、利用者U2自身)が、その人の肩の高さから50cm下方の高さに手が位置する場合の、手の大きさである。また、手の大きさは、例えば、手の幅で表されてもよいし、手首から人差し指の長さで表されてもよい。また、手の大きさは、撮像画像での手の面積の平方根で表されてもよい。
形状検出部122は撮像画像での利用者の手の大きさを特定し、表示領域決定部123はこの手の大きさに、この情報で対応する標準サイズを読みだす。表示領域決定部123は次式(1)のWを、表示領域の横幅として決定する。
W=(表示領域の基本幅)×(特定した手の大きさ/標準サイズ)・・・(1)
図9、10は、本実施形態の変形例に係る表示領域の比較例を表す概略図である。図9は、使用者の電子制御装置1の使用状況を表す。図10は、図9の電子制御装置1が撮像した撮像画像を表す。これらの図において、利用者U41、U42及びU43は同じ利用者である。利用者U41は着席している状態であり、利用者U42、U43は立っている状態である。つまり、利用者U41、U42及びU43では、実際の肩幅は同じであるものの、利用者U41より、利用者U42及びU43の方が肩の高さhだけ高い位置にある(図9参照)。
換言すれば、利用者U41の肩から電子制御装置1までの距離は、利用者U42及びU43の肩から電子制御装置1までの距離より遠い。図10において、利用者U41が撮像された撮像画像と利用者U42及びU43が撮像された撮像画像を比較すると、撮像画像における肩幅B42と肩幅B43は同じであるが、撮像画像における肩幅B41は撮像画像における肩幅B42及びB43より小さくなる。この場合、電子制御装置1は、表示領域S42の基本幅と表示領域S43の基本幅を同じWbに決定し、表示領域S41の基本幅Waを基本幅Wbより小さいものに決定する。また、電子制御装置1は、利用者U42の標準サイズと利用者U43の標準サイズを同じSbに決定し、利用者U41の標準サイズSaを標準サイズSbより小さいものに決定する。
一方、机T41とT42は同じ机であり、照射面の高さが同じである。換言すれば、電子制御装置1から机T41上の照射面までの距離は、電子制御装置1から机T42上の照射面までの距離と同じである。一方、電子制御装置1から机T41(又は机T42)上の照射面までの距離は、電子制御装置1から机T43上の照射面までの距離より遠い。図10において、撮像画像における手H411、H412の大きさと手H421、H422の大きさは同じBaであるが、撮像画像における手H431、H432の大きさBbは大きさBaより大きくなる。
以上の関係をまとめると、以下のようになる。
利用者U41は、表示領域S41の基本幅Wa、標準サイズSa、手の大きさBaである。利用者U42は、表示領域S42の基本幅Wb、標準サイズSb、手の大きさBaである。利用者U43は、表示領域S43の基本幅Wb、標準サイズSb、手の大きさBbである。
制御部12は、投影画像における表示領域S41、S42、S43の横幅を、式(1)を用いて以下のように決定する。
表示領域S41の横幅W41:Wa×(Ba/Sa)=Ba×(Wa/Sa)
表示領域S42の横幅W42:Wb×(Ba/Sb)=Ba×(Wb/Sb)
表示領域S43の横幅W43:Wb×(Bb/Sb)=Bb×(Wb/Sb)
ここで、上述のように、Wa<Wb、Sa<Sb、Ba<Bbである。
本実施形態では、例えば、表示領域の基本幅と標準サイズは、それぞれ肩幅に比例する。この場合、(Wa/Sa)=(Wb/Sb)となり、横幅W41=横幅W42<横幅W43となる。つまり、投影画像において、表示領域S41と表示領域S42の大きさは同じであり、それらの大きさは表示領域S43より小さいものとなる(図10参照)。
その結果、図9において、照射面における表示領域S41、S42、及びS43の大きさは、ほぼ同じものとなる。例えば、利用者U41の肩から照射面までの距離h41と、利用者U43の肩から照射面までの距離h43が同じである場合には、照射面における表示領域S41とS43の大きさは同じになる。
なお、本変形例において、例えば、表示領域の基本幅と標準サイズは、肩幅に比例するものに限らず、肩幅以外の関数Fに比例するものであってもよい。例えば、関数F(B)は肩幅Bのべき乗の関数であってもよく、F(B)=aB+b、F(x)=aB+bB+c(a、b、cは定数)であってもよい。また、表示領域の基本幅と標準サイズは、(Wa/Sa)=(Wb/Sb)となるように、対応付けられていてもよい。
なお、上記実施形態(変形例含む)において、制御部12は、利用者の動きをベクトルとして検出し、検出したベクトルも考慮して表示領域を決定してもよい。例えば、制御部12は、両肩の中心を利用者の体の位置、又は、両耳の中心を利用者の頭の位置とし、その時間変化をベクトルとして検出する。制御部12は、そのベクトルの向きを利用者の進行方向とし、この進行方向に応じて利用者の正面方向を決定する。具体的には、制御部12は、前後方向のうち、進行方向に近い方向を、正面方向に決定する。人の進行方向は正面方向になっていることが多いので、電子制御装置1は、正面方向をより正確に決定できる。また、制御部12は、例えば鼻位置が検出できない場合に、指示位置と進行方向の両方に応じて、利用者の正面方向を決定してもよい。
また、制御部12は、利用者の位置に応じた特徴量を組み合わせて、表示領域を決定してもよい。例えば、電子制御装置1と利用者の位置関係によっては、電子制御装置1が撮像できる利用者の体の所定部分が異なってくる。制御部12は、撮像画像における利用者の位置に応じて、利用者の体の所定部分の特徴量やその優先順位を変更してもよい。例えば、利用者を斜め前方向から撮像できる場合には利用者の顔を撮像でき、利用者を真上から撮像できる場合には利用者のつむじや髪の分け目を撮像できる。制御部12は、撮像画像において、光軸(例えば、撮像画像の中心)の近辺に利用者が位置するときには、利用者を真上から撮像していると判定し、光軸から予め定めた位置より離れた位置に利用者が位置するときには、利用者を斜めから撮像していると判定する。制御部12は、利用者を斜めから撮像していると判定した場合には、利用者の顔の特徴量(例えば、目、鼻、口、眉毛、又は耳)を用いて正面方向を判定してもよい。
また、制御部12は、撮像画像での利用者の位置、及び両肩と両耳の位置関係に応じて、利用者の正面方向を決定してもよい。例えば、制御部12は、利用者を真上から撮像していると判定した場合に、両肩と両耳の位置関係に応じて、利用者の正面方向を決定してもよい。また、制御部12は、上述のように利用者の体の所定部分の特徴量やその優先順位を変更して、利用者を識別してもよい。
また、電子制御装置1は、複数の撮像部10を備えてもよく、撮像部10は、例えば天井や壁等、それぞれで異なる位置に設置されてもよい。この場合、制御部12は、一方の撮像部10が撮像した撮像画像(例えば、利用者を真上から撮像した撮像画像)と他方の撮像部10が撮像した撮像画像(例えば、利用者を斜めから撮像した撮像画像)に応じて、表示領域を決定してもよい。ここで、これらの撮像部10は、別々の電子制御装置1に備えられてもよい。
また、制御部12は、撮像エリアに入り得る人数に応じて、用いる特徴量を変更してもよい。ここで、撮像エリアとは、例えば部屋やオフィスである。例えば、人数の少ない撮像エリア(例えば部屋)では、制御部12は、利用者の体の特徴量のみを用いる。一方、人数の多いエリア(例えばオフィス)では、制御部12は、利用者の体の特徴量に加えてIDカードの情報を用いてもよい。これにより、電子制御装置1は、撮像エリアに入り得る人数に応じて、利用者の識別や表示領域の決定をすることができる。例えば、電子制御装置1は処理速度と処理精度の優先度を考慮することができ、利用者が特定される個人宅の部屋では利用者の体の特徴量のみで処理速度を上げ、利用者が特定し難いオフィスではIDカードの情報により処理制度を上げることができる。
また、制御部12は、利用者の体の所定部分として、例えば、髪の毛、つむじ、分け目、額、目、眉毛、鼻、口、耳、頬、顎、指、指先、指の付根、爪、つま先、又は、かかと、を示す検出情報、或いはこれらの幅や大きさを示す検出情報を検出してもよい。また、制御部12は、利用者の装着物として、例えば、衣料品(襟、フード、帽子、ネクタイ)、眼鏡、又は、装飾物(イヤリング、ピアス、ネックレス、指輪)を示す検出情報、或いはこれらの幅や大きさを示す検出情報を検出してもよい。制御部12は、利用者の持ち物として、携帯端末(携帯電話、タブレット端末、音楽プレヤー)、棒(ポインタ、杖等)、バット、ゴルフクラブを示す検出情報、或いはこれらの幅や大きさを示す検出情報を検出してもよい。制御部12は、これらの検出情報に応じて、表示領域を決定する。
また、制御部12は、検出情報に応じて、表示領域の明るさや色を決定してもよい。例えば、制御部12は、照射面までの距離が遠い場合、つまり、撮像画像における利用者の大きさが予め定めた大きさより小さい場合に、表示領域を明るい色(例えば、高彩度又は高明度)にしてもよいし、表示領域の明るさ(例えば、光の強度)を高くしてもよい。これにより、電子制御装置1は、照射面までの距離が遠い場合に光の強度が落ちる場合でも、表示を見易くすることができる。
また、制御部12は、表示の障害(例えば、物や溝)を避けた位置を表示領域に決定してもよい。また、制御部12は、表示の障害(例えば、角や段差、湾曲)を避けるため、平面の位置を優先して表示領域の位置として決定してもよい。
また、制御部12は、表示指示後の最初の表示(初期表示)のみ、上述のように表示領域を決定してもよく、その後は、利用者の操作により表示領域を変更してもよい。また、制御部12は、初めは、決定した表示領域の大きさより小さい表示領域を表示させ、その後、時間経過に伴って表示領域を徐々に大きくしてもよい。そして、制御部12は、撮像画像の表示領域の大きさが、決定した表示領域の大きさと同じになった場合に、表示領域の大きさを固定してもよい。
また、制御部12は、利用者の肩幅又は体の幅と同程度の幅(例えば、±10cm程度)に、表示領域の幅を決定してもよい。表示領域が肩幅や体の幅と同程度の場合には、利用者は、目や顔を大きく動かすことなく表示を確認でき、また、表示領域全体に手が届くので表示領域に対して容易に操作できる。
なお、制御部12は、撮像部10の光学系と照射部14の光学系を共通にして一体に構成してもよい。例えば、電子制御装置1は、撮像部10の光軸と照射部14の光軸を同じにしてもよい。
また、照射部14は表示領域へ光を照射していたが、これに代えて、ディスプレイなどの表示部が、利用者に対して表示領域を割り当ててもよい。このような表示部が用いられる例としては、机の天板面の全面または一部が液晶ディスプレイで構成される場合や、有機ELによるフレキシブルなディスプレイが部屋の壁面に貼付される場合などが挙げられる。この場合、表示部は、物体の形状に応じて決定された表示領域を示す図形を表示する。さらに、表示部は、表示領域を表示するだけでなく、電子制御装置1が取得した情報を表示する機能も有してもよい。また、電子制御装置1を構成する表示部と撮像部10は、それぞれ離れた場所に設置されてもよい。また、表示部は、タッチパネルなどの情報入力部をさらに有してもよい。そして、上述した実施形態における電子制御装置1は、照射部14を表示部に置き換えることにより、上記実施形態の全ての機能を実現することができる。
なお、上述した実施形態における電子制御装置1の一部をコンピュータで実現するようにしてもよい。その場合、この制御機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、電子制御装置1に内蔵されたコンピュータシステムであって、OSや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。また、上述した実施形態における電子制御装置1の一部、または全部を、LSI(Large Scale Integration)等の集積回路として実現してもよい。電子制御装置1の各機能ブロックは個別にプロセッサ化してもよいし、一部、または全部を集積してプロセッサ化してもよい。また、集積回路化の手法はLSIに限らず専用回路、または汎用プロセッサで実現してもよい。また、半導体技術の進歩によりLSIに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いてもよい。
以上、図面を参照してこの発明の一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。
1・・・電子制御装置、10・・・撮像部、11・・・音入力部、12・・・制御部、13・・・通信部、14・・・照射部、15・・・音出力部、16・・・電力供給部、120・・・画像変換部、121・・・利用者決定部、122・・・形状検出部、123・・・表示領域決定部、124・・・表示領域情報記憶部、125・・・表示領域制御部、126・・・入力取得部、127・・・処理部

Claims (9)

  1. 撮像部と、
    前記撮像部で撮像された利用者の体の大きさを示す検出情報を検出し、検出した検出情報に応じて表示領域の大きさを決定する制御部と、
    前記表示領域に光を照射する照射部と、
    を備える電子制御装置。
  2. 請求項1に記載の電子制御装置であって、
    前記制御部は、利用者の体の一部又は全部の幅を示す前記検出情報を検出する電子制御装置。
  3. 請求項1又は請求項2に記載の電子制御装置であって、
    前記制御部は、利用者の肩幅、体の幅、又は頭の幅を示す前記検出情報を検出する電子制御装置。
  4. 請求項1から3のいずれか一項に記載の電子制御装置であって、
    前記撮像部は、前記利用者の上方から前記利用者を撮像する電子制御装置。
  5. 請求項1から4のいずれか一項に記載の電子制御装置であって、
    前記制御部は、前記利用者の体の大きさを検出した部分の高さから予め定められた高さにおいて、前記表示領域が予め定められた大きさになるように、前記表示領域の大きさを決定する電子制御装置。
  6. 請求項1から5のいずれか一項に記載の電子制御装置であって、
    前記制御部は、少なくとも2つの前記検出情報に応じて、前記表示領域の大きさを決定する電子制御装置。
  7. 請求項1から6のいずれか一項に記載の電子制御装置であって、
    前記制御部は、利用者の手の大きさ或いは足の大きさを示す検出情報と、利用者の肩幅、体の幅、或いは頭の幅を示す検出情報と、に応じて、前記表示領域の大きさを決定する電子制御装置。
  8. 撮像部が、利用者を撮像する撮像過程と、
    制御部が、前記撮像された利用者の体の大きさを示す検出情報を検出し、検出した検出情報に応じて表示領域の大きさを決定する制御過程と、
    照射部が、前記表示領域に光を照射する照射過程と、
    を有する制御方法。
  9. 利用者を撮像する撮像手順と、
    前記撮像された利用者の体の所定部分の大きさを示す検出情報を検出し、検出した検出情報に応じて表示領域の大きさを決定する制御手順と、
    前記表示領域に光を照射する照射手順と、
    を実行させるための制御プログラム。
JP2013146531A 2013-07-12 2013-07-12 電子制御装置、制御方法、及び制御プログラム Pending JP2015018485A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013146531A JP2015018485A (ja) 2013-07-12 2013-07-12 電子制御装置、制御方法、及び制御プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013146531A JP2015018485A (ja) 2013-07-12 2013-07-12 電子制御装置、制御方法、及び制御プログラム

Publications (1)

Publication Number Publication Date
JP2015018485A true JP2015018485A (ja) 2015-01-29

Family

ID=52439402

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013146531A Pending JP2015018485A (ja) 2013-07-12 2013-07-12 電子制御装置、制御方法、及び制御プログラム

Country Status (1)

Country Link
JP (1) JP2015018485A (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019049467A (ja) * 2017-09-11 2019-03-28 ファナック株式会社 距離計測システムおよび距離計測方法
JP2021026265A (ja) * 2019-07-31 2021-02-22 富士通株式会社 画像処理装置、画像処理プログラム、及び画像処理方法
JP7408731B1 (ja) 2022-07-06 2024-01-05 東芝テリー株式会社 行動検知方法、行動検知装置、行動検知システム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007065542A (ja) * 2005-09-02 2007-03-15 Seiko Epson Corp 画像投写装置
JP2010003264A (ja) * 2008-06-23 2010-01-07 Nippon Telegr & Teleph Corp <Ntt> 情報提示制御装置及び情報提示制御方法
US20100177929A1 (en) * 2009-01-12 2010-07-15 Kurtz Andrew F Enhanced safety during laser projection
JP2012145638A (ja) * 2011-01-07 2012-08-02 Toshiba Corp 映像表示装置、映像表示方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007065542A (ja) * 2005-09-02 2007-03-15 Seiko Epson Corp 画像投写装置
JP2010003264A (ja) * 2008-06-23 2010-01-07 Nippon Telegr & Teleph Corp <Ntt> 情報提示制御装置及び情報提示制御方法
US20100177929A1 (en) * 2009-01-12 2010-07-15 Kurtz Andrew F Enhanced safety during laser projection
JP2012145638A (ja) * 2011-01-07 2012-08-02 Toshiba Corp 映像表示装置、映像表示方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019049467A (ja) * 2017-09-11 2019-03-28 ファナック株式会社 距離計測システムおよび距離計測方法
JP2021026265A (ja) * 2019-07-31 2021-02-22 富士通株式会社 画像処理装置、画像処理プログラム、及び画像処理方法
JP7408731B1 (ja) 2022-07-06 2024-01-05 東芝テリー株式会社 行動検知方法、行動検知装置、行動検知システム

Similar Documents

Publication Publication Date Title
JP7283506B2 (ja) 情報処理装置、情報処理方法、及び情報処理プログラム
JP6675462B2 (ja) 動作情報処理装置
JP6074494B2 (ja) 形状認識装置、形状認識プログラム、および形状認識方法
JP6669069B2 (ja) 検出装置、検出方法、制御装置、および制御方法
CN104756045B (zh) 用于跟踪由关节连接的身体部位的可佩戴传感器
JP7095602B2 (ja) 情報処理装置、情報処理方法及び記録媒体
JP5762892B2 (ja) 情報表示システム、情報表示方法、及び情報表示用プログラム
KR101844390B1 (ko) 사용자 인터페이스 제어를 위한 시스템 및 기법
US8779908B2 (en) System and method for social dancing
JP2004094288A (ja) 指示位置検出装置及び自律ロボット
CN105302295B (zh) 一种具有3d摄像组件的虚拟现实交互设备
JP2010067062A (ja) 入力システム及び入力方法
Khambadkar et al. GIST: a gestural interface for remote nonvisual spatial perception
CN109145847A (zh) 识别方法、装置、穿戴式设备及存储介质
JP2017012691A (ja) リハビリテーション支援装置、リハビリテーション支援システム、リハビリテーション支援方法及びプログラム
JP2015503393A (ja) 運動を行っているユーザーの手及び/又は手首の回転を追跡するための方法及び装置
JP6483514B2 (ja) ウェアラブル装置、制御方法及び制御プログラム
JP2015018485A (ja) 電子制御装置、制御方法、及び制御プログラム
JP2020516355A (ja) ウェアラブルデバイスの配置のための案内を与えるための方法及び装置
CN104023634B (zh) 用于追踪正在执行锻炼的用户的手部和/或腕部旋转的方法和设备
JP2022042362A (ja) 情報処理装置及びプログラム
US20230384860A1 (en) Devices, methods, and graphical user interfaces for generating and displaying a representation of a user
US20230103161A1 (en) Devices, methods, and graphical user interfaces for tracking mitigation in three-dimensional environments
WO2018079383A1 (ja) 情報処理装置、制御方法、プログラム、及び記録媒体
TW202227875A (zh) 顯示方法、顯示系統及非暫態電腦可讀取儲存媒體

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160602

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170322

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170328

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20170926