JP2023089313A - 操作入力装置 - Google Patents

操作入力装置 Download PDF

Info

Publication number
JP2023089313A
JP2023089313A JP2020079557A JP2020079557A JP2023089313A JP 2023089313 A JP2023089313 A JP 2023089313A JP 2020079557 A JP2020079557 A JP 2020079557A JP 2020079557 A JP2020079557 A JP 2020079557A JP 2023089313 A JP2023089313 A JP 2023089313A
Authority
JP
Japan
Prior art keywords
face
distance
sensor
operator
switch
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2020079557A
Other languages
English (en)
Inventor
隆義 望月
Takayoshi Mochizuki
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Murakami Corp
Original Assignee
Murakami Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Murakami Corp filed Critical Murakami Corp
Priority to JP2020079557A priority Critical patent/JP2023089313A/ja
Priority to PCT/JP2021/009008 priority patent/WO2021220623A1/ja
Publication of JP2023089313A publication Critical patent/JP2023089313A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/521Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)

Abstract

【課題】虚像として表示されるスイッチの視認性を高めることができる操作入力装置を提供する。【解決手段】一実施形態に係る操作入力装置1は、光Hを照射して情報を表示する表示装置13と、表示装置13からの光Hを複数回反射させて空中に虚像としてスイッチ11を表示する空中結像デバイス12と、スイッチ11を操作する操作者Mの顔を検出するセンサ14と、スイッチ11がセンサ14によって検出された当該顔の位置に向けられるように、表示装置13及び空中結像デバイス12を回転させる回転ユニット5と、を備える。【選択図】図3

Description

本開示は、機器を操作するための操作を入力する操作入力装置に関する。
特開2013-122763号公報には、動く人及び動かない人を分離して検出する映像処理装置及び映像処理方法が記載されている。映像処理装置は、顔検出部、ダウンサンプリング部、背景モデル生成/更新部、候補領域抽出部、人体領域抽出部及び格納部を備える。
顔検出部は、入力された映像から背景領域を除去すると共に顔情報を抽出し、顔情報を背景モデル生成/更新部及び候補領域抽出部に伝送する。背景モデル生成/更新部は顔情報を用いて背景モデルを生成し、候補領域抽出部は顔情報を用いて人ではない動く対象(例えば人以外の動物等)と判断される領域を候補領域から除去する。この映像処理装置によれば、顔検出技術と、深さ映像を用いた人体領域抽出技術とを用いて動く人を分離して検出している。
特開2013-122763号公報
ところで、空中に虚像としてスイッチを表示する操作入力装置では、操作者が虚像のスイッチを操作して機器を動作させるため、スイッチの視認性を高めることが求められる。しかしながら、スイッチが虚像として表示される場合には、スイッチを視認する操作者の目の位置によってはスイッチを視認しづらくなることがある。従って、虚像として表示されるスイッチの視認性を高める点において改善の余地がある。
本開示は、虚像として表示されるスイッチの視認性を高めることができる操作入力装置を提供することを目的とする。
本開示に係る操作入力装置は、光を照射して情報を表示する表示装置と、表示装置からの光を複数回反射させて空中に虚像としてスイッチを表示する空中結像デバイスと、スイッチを操作する操作者の顔を検出するセンサと、スイッチがセンサによって検出された顔の位置に向けられるように、表示装置及び空中結像デバイスを回転させる回転ユニットと、を備える。
この操作入力装置では、空中結像デバイスがスイッチを虚像として表示するので、スイッチを浮き出たように表示することができる。このように、スイッチを浮き出たように表示することにより、スイッチの視認性を高めることができる。また、操作入力装置はスイッチを操作する操作者の顔を検出するセンサと回転ユニットとを備え、スイッチがセンサによって検出された顔の位置に向けられるように表示装置及び空中結像デバイスが回転する。すなわち、回転ユニットは、スイッチが使用者の顔に向けられるように表示装置及び空中結像デバイスを回転する。従って、スイッチの位置を操作者の目の方に向けることができるので、表示装置及び空中結像デバイスの回転によってスイッチを視認しやすくすることができる。その結果、虚像として表示されるスイッチの視認性を高めることができる。
センサは、センサから操作者の顔までの距離、及び、顔の周囲であって操作者の身体以外の位置までの距離、を測定することによって操作者の顔を検出してもよい。この場合、センサが、顔までの距離、及び身体以外の位置までの距離を測定し、身体以外の位置までの距離と顔までの距離との差を算出することによって操作者の顔を高精度に検出することができる。操作入力装置から操作者の顔までの距離は、操作入力装置から当該身体以外の位置までの距離よりも短いことが多いので、当該顔までの距離、操作者の身体以外の位置までの距離を測定することで、顔の有無を高精度に検出することができる。また、身体以外の位置までの距離と顔までの距離との差を算出することによって、顔以外のものを誤検出することを抑制することができる。
センサは、センサから操作者の顔までの距離、顔の周囲であって操作者の身体以外の位置までの距離、及び、顔よりも下方に位置する操作者の身体までの距離、を測定することによって操作者の顔を検出してもよい。この場合、センサは、顔よりも下方に位置する操作者の身体までの距離を測定する。操作入力装置から操作者の顔よりも下方に位置する身体までの距離は、顔までの距離よりは長く、且つ身体以外の位置までの距離よりは短い。従って、顔までの距離、顔より下方の身体までの距離、及び身体以外の位置までの距離を測定することによって、顔の有無をより高精度に検出することができるので、誤検出をより確実に抑制することができる。
センサは、センサから操作者の顔までの距離、顔の上方であって顔以外の位置までの距離、顔の下方であって顔以外の位置までの距離、顔の左方であって顔以外の位置までの距離、及び、顔の右方であって顔以外の位置までの距離、を測定することによって操作者の顔を検出してもよい。この場合、センサは、顔までの距離、及び顔以外の上下左右の位置までの距離を測定する。このように、センサが5箇所との距離を測定することにより、顔の有無を更に高精度に検出して誤検出を抑制することができる。
本開示によれば、虚像として表示されるスイッチの視認性を高めることができる。
実施形態に係る操作入力装置の例を示す斜視図である。 図1の操作入力装置の回転ユニットを上から見た斜視図である。 図1の操作入力装置の概略構成を示す図である。 図1の操作入力装置のセンサによる顔検出の例を示す図である。 図1の操作入力装置を示す平面図である。
以下では、図面を参照しながら、本開示に係る操作入力装置の実施形態について説明する。図面の説明において、同一又は相当する要素には同一の符号を付し、重複する説明を適宜省略する。また、図面は、理解の容易のため、一部を簡略化又は誇張して描いている場合があり、寸法比率及び角度等は図面に記載のものに限定されない。
図1は、本実施形態に係る例示的な操作入力装置1を示す斜視図である。図2は、操作入力装置1の回転ユニット5を拡大した斜視図である。図1及び図2に示されるように、操作入力装置1は、例えば、平坦部2と、平坦部2から斜め上方に位置する傾斜部3とを備える。
操作入力装置1は回転ユニット5を備えており、例えば、回転ユニット5は平坦部2に搭載されている。一例として、操作入力装置1は、更に、画像表示ユニット4を備え、画像表示ユニット4は傾斜部3に配置されている。画像表示ユニット4は、各種情報を表示するディスプレイ4bを有する。
操作入力装置1は、操作入力装置1の操作者M(図3及び図4参照)から見て手前側にスイッチ11を虚像として空中に表示すると共に、スイッチ11に接近する操作者Mの指等の対象物Fを検出する。スイッチ11は、操作入力装置1が搭載される各種機器を動作させることが可能な操作スイッチを示しており、虚像としてスイッチ11のボタン等を示している。
「操作入力装置が搭載される各種機器」は、例えば、車両、トイレ、キッチン、水回りの機器、ATM、又は、病院、公共機関、駅若しくは空港の受付機等の機器、を示している。操作入力装置1がこれらの機器に搭載されることによって、スイッチ11の操作で当該機器を操作することが可能となる。対象物Fは、スイッチ11を操作して機器を動作させるものを示しており、例えば、操作者Mの指、又はペン等の棒状物を示している。
操作入力装置1は、検出した対象物Fの位置に基づいて、対象物Fによるスイッチ11の操作を検出し、検出した各操作に基づいて各機器を動作させる。操作の例としては、対象物Fによるスイッチ11の押下操作、タップ操作又はスライド操作が挙げられるが、操作の種類については特に限定されない。本実施形態では、スイッチ11の操作の例として押下操作を例示する。なお、押下操作には、スイッチ11を押し下げる操作、及びスイッチ11を押し上げる操作の両方の操作が含まれる。
回転ユニット5は、例えば、スイッチ11を表示する空中結像デバイス12を露出させる上面部5bを備える。一例として、上面部5bは、円形状とされており、鉛直方向に延びる上面部5bの軸線Lを中心として回転する。回転ユニット5の上面部5bが回転することによって、空中結像デバイス12及び後述する表示装置13が回転し、当該回転に伴って空中結像デバイス12が表示するスイッチ11も回転する。
一例として、虚像として結像表示されるスイッチ11は、車載用バックカメラを操作可能な操作画面であってもよく、この場合、スイッチ11の各ボタンを押すことによって車載用バックカメラの撮影の位置を切り替えることができる。例えば、スイッチ11は、車両の左方を撮影する第1虚像ボタン11bと、車両の後方を撮影する第2虚像ボタン11cと、車両の右方を撮影する第3虚像ボタン11dとを含む。
前述したように、スイッチ11は、車載用でなくてもよく、例えば、水回り用であってもよい。この場合、スイッチ11は、トイレの各部(例えば、トイレの便器洗浄、又はウォシュレット(登録商標)の各部)を操作可能なスイッチであってもよいし、キッチンで表示される料理アプリの画像を操作可能なスイッチであってもよい。なお、スイッチ11の用途によっては、画像表示ユニット4を省略することが可能であり、操作入力装置の構成も図1の操作入力装置1に限られず適宜変更可能である。
図3は、操作入力装置1の構成及び機能を模式的に示す図である。図2及び図3に示されるように、操作入力装置1は、例えば、空中結像デバイス12と、表示装置13と、センサ14と、制御部15とを備える。空中結像デバイス12及び表示装置13は、スイッチ11を虚像として表示する虚像表示部に相当し、前述した回転ユニット5は当該虚像表示部を回転する。
空中結像デバイス12は、スイッチ11を虚像として空中に表示する。一例として、空中結像デバイス12は、AI(Aerial Imaging)プレート(登録商標)である。空中結像デバイス12は、その主面12bが表示装置13の主面13bに対して傾斜するように配置されている。なお、表示装置13に対する空中結像デバイス12の傾斜角度は可変とされていてもよい。
表示装置13は、制御部15から出力される信号に基づいて画像を表示する。表示装置13は、例えば、液晶パネルである。表示装置13が表示する画像は、空中結像デバイス12によって、虚像表示部(空中結像デバイス12及び表示装置13)に対して操作者M側の位置に虚像(例えばスイッチ11)として表示される。例えば、表示装置13から出射して空中結像デバイス12に入射した光Hは、空中結像デバイス12において2回反射し、操作者Mから見て空中結像デバイス12よりも手前側の空間に虚像を表示する。
センサ14は、例えば、スイッチ11を挟んで対象物Fの反対側に設けられる。センサ14は深度センサである。センサ14は、スイッチ11と対象物Fとを結ぶ仮想直線上、すなわち、虚像であるスイッチ11に対して正面位置に設けられる。センサ14は、当該仮想直線に対して垂直な面における対象物Fの位置(2次元位置)の情報と、センサ14から対象物Fまでの距離Dの情報とを含む距離画像データを取得する。センサ14は、取得した距離画像データを所定の周期(例えば1/30秒)で制御部15に出力する。
センサ14は、例えば、操作者Mの顔M1の位置の情報と、センサ14から顔M1までの距離の情報とを含む距離画像データを取得する。図4は、顔M1を検出するセンサ14の機能を説明する図である。図3及び図4に示されるように、センサ14は、スイッチ11を操作する操作者Mの顔M1を検出する。
センサ14は、センサ14から操作者Mの顔M1までの距離、顔M1の周囲であって操作者Mの身体M2以外の位置P1までの距離、及び顔M1よりも下方に位置する操作者Mの身体M2までの距離を測定する。身体M2は、例えば、操作者Mの首又は胸を含む操作者Mの顔M1以外の上半身である。
例えば、操作者Mがスイッチ11を操作するときに、センサ14から顔M1までの距離は、センサ14から顔M1以外の身体M2までの距離よりも短い。例えば、センサ14からの距離において、顔M1よりも、操作者Mの首の方が遠くに位置する。また、センサ14から身体M2以外の位置P1までの距離は、センサ14から身体M2までの距離よりも長い。すなわち、身体M2よりも、身体M2以外の位置P1の方が遠くに位置する。本実施形態に係る操作入力装置1は、上記の距離の関係を用いて操作者Mの顔M1を高精度に検出する。
例えば、操作者Mの身体M2以外の位置P1は、顔M1の上方の位置P11、顔M1の(操作者Mから見て)左方の位置P12、及び顔M1の右方の位置P13を含んでいる。センサ14は、顔M1までの距離、位置P11までの距離、顔M1の下方の身体M2までの距離、位置P12までの距離、及び、位置P13までの距離、を測定してもよい。
この場合、センサ14は、顔M1まで、及び顔M1以外の4箇所までの距離を測定する。しかしながら、センサ14は、位置P11、位置P12及び位置P13の全ての距離を測定しなくてもよく、位置P11、位置P12及び位置P13のうちの1箇所又は2箇所までの距離を測定してもよい。
具体例として、センサ14は、指等の対象物Fを含む撮影領域内、顔M1を含む撮影領域R1内、及び顔M1以外の位置を含む撮影領域R2、に存在する物体上の各点に光線(一例として赤外線)を照射し、物体上の各点から反射した光線を受光する。例えば、撮影領域R1は四角形状(一例として長方形状)に形成され、撮影領域R2は直線状に形成される。
センサ14は、例えば、撮影領域R1,R2のそれぞれにおける複数の位置に光線を照射し、撮影領域R1、R2のそれぞれにおける複数の位置から反射光を受光する。このように、センサ14は、光線の照射及び受光を行うことによって撮影領域R1,R2のそれぞれにおける複数の位置との距離を測定する。センサ14は、受光した光線に基づいてセンサ14と物体上の各点との距離を測定し、測定した距離を画素毎に出力する。センサ14と物体上の各点との距離は、例えば、Light Coding方式によって測定されてもよい。
Light Coding方式では、センサ14は、指等の対象物Fを含む撮影領域内、及び撮影領域R1,R2内に存在する物体上の各点にランダムドットパターンで光線を照射する。そして、センサ14は、物体上の各点から反射した光線を受光し、反射した光線のパターンの歪みを検出することによって、センサ14と物体上の各点との距離を測定する。センサ14は、物体上の各点の2次元位置の情報と、センサ14から物体上の各点までの距離の情報とを複数の画素として検出し、検出した複数の画素を含む距離画像データを制御部15に出力する。
制御部15は、回転ユニット5、表示装置13及びセンサ14に通信可能とされている。制御部15は、例えば、プログラムを実行するCPU(Central Processing Unit)と、ROM(Read OnlyMemory)及びRAM(Random Access Memory)等の記憶部と、入出力部と、ドライバとを備える。制御部15の各機能は、CPUの制御の下で入出力部を動作させ、記憶部におけるデータの読み出し及び書き込みを行うことによって実現される。制御部15の形態及び配置場所については特に限定されない。
制御部15は、スイッチ11が押下されたか否かを判定する判定部15bと、操作者Mの顔M1を検出する顔検出部15cと、回転ユニット5による回転を制御する回転制御部15dとを備える。判定部15bは、センサ14によって検出された対象物Fの位置に基づいて押下操作の有無の判定を行う。すなわち、判定部15bは、センサ14から入力された距離画像データに基づき、対象物Fによってスイッチ11の押下操作がなされたか否かを判定する。例えば、判定部15bは、センサ14と対象物Fとの距離Dが閾値S以下であるか否かを判定する。
判定部15bは、距離Dが閾値S以下であると判定したときに、対象物Fが仮想の押圧判定面Tに到達し、スイッチ11が押下されたと判定する。押圧判定面Tは、センサ14からの距離が一定である部位に形成された仮想の面であり、スイッチ11の近接位置に設けられる。押圧判定面Tの位置は、スイッチ11の位置と一致していてもよいし、スイッチ11から所定距離だけ離間した位置であってもよい。本実施形態では、押圧判定面Tの位置がスイッチ11の位置と一致している。
顔検出部15cは、センサ14の測定結果に基づいて操作者Mの顔M1を検出する。顔検出部15cは、例えば、センサ14から顔M1までの距離、センサ14から身体M2までの距離、及びセンサ14から身体M2以外の位置P1までの距離、から操作者Mの顔M1を検出する。
顔検出部15cは、例えば、センサ14によって測定された撮影領域R1の中央を含む複数(一例として10個~20個)の点までの距離の平均値、及び、各撮影領域R2の複数の点までの距離の平均値、をそれぞれ算出する。例えば、顔検出部15cは、撮影領域R1の複数の点までの距離の平均値が撮影領域R2の複数の点までの距離の平均値よりも小さく、且つ、下方(身体M2)に位置する撮影領域R2の複数の点までの距離の平均値が下方以外(上方、左方又は右方)に位置する撮影領域R2の複数の点までの距離の平均値よりも小さいときに、顔M1を検出する。また、顔検出部15cは、上の撮影領域R2の平均値と左右の撮影領域R2の平均値より、下の撮影領域R2(身体M2)の平均値の方が小さく、且つ、撮影領域R1の平均値を含む一定範囲に下の撮影領域R2(身体M2)の平均値が入っている場合に顔M1を検出してもよい。
図5は、回転ユニット5が回転している状態を模式的に示す平面図である。図3及び図5に示されるように、回転制御部15dは、顔検出部15cによって検出された顔M1の位置に空中結像デバイス12及び表示装置13を回転するように回転ユニット5を制御する。
回転ユニット5は、例えば、上面部5bと共に空中結像デバイス12及び表示装置13を回転駆動するモータを備え、顔検出部15cが顔M1を検出したときに回転制御部15dから制御信号を受信して当該モータを駆動する。回転ユニット5が当該モータを駆動することによって、上面部5bと共に空中結像デバイス12及び表示装置13が回転する。これにより、回転ユニット5は、スイッチ11がセンサ14によって検出された顔M1の位置に向けられるように空中結像デバイス12及び表示装置13を回転する。
次に、本実施形態に係る操作入力装置1の作用効果について詳細に説明する。操作入力装置1では、空中結像デバイス12がスイッチ11を虚像として表示するので、スイッチ11を浮き出たように表示することができる。このように、スイッチ11を浮き出たように表示することにより、スイッチ11の視認性を高めることができる。
また、操作入力装置1はスイッチ11を操作する操作者Mの顔M1を検出するセンサ14と回転ユニット5とを備え、スイッチ11がセンサ14によって検出された顔M1の位置に向けられるように表示装置13及び空中結像デバイス12が回転する。すなわち、回転ユニット5は、スイッチ11が操作者Mの顔M1を向くように表示装置13及び空中結像デバイス12を回転する。従って、スイッチ11の位置を操作者Mの目M3の方に向けることができるので、表示装置13及び空中結像デバイス12の回転によってスイッチ11を視認しやすくすることができる。その結果、虚像として表示されるスイッチ11の視認性を高めることができる。
図4に示されるように、センサ14は、センサ14から操作者Mの顔M1までの距離、顔M1の周囲であって操作者Mの身体M2以外の位置P1までの距離、を測定することによって操作者Mの顔M1を検出してもよい。この場合、センサ14が、顔M1までの距離、及び身体M2以外の位置P1までの距離を測定し、身体M2以外の位置P1までの距離と顔M1までの距離との差を算出することによって操作者Mの顔M1を高精度に検出することができる。
操作入力装置1から操作者Mの顔M1までの距離は、操作入力装置1から身体M2以外の位置P1までの距離よりも短いことが多いので、顔M1までの距離、身体M2以外の位置P1までの距離を測定することで、顔M1の有無を高精度に検出することができる。また、身体M2以外の位置P1までの距離と顔M1までの距離との差を算出することによって、顔M1以外のものを誤検出することを抑制することができる。
センサ14は、センサ14から操作者Mの顔M1までの距離、顔M1の周囲であって操作者Mの身体M2以外の位置P1までの距離、及び、顔M1よりも下方に位置する操作者Mの身体M2までの距離、を測定することによって操作者Mの顔M1を検出してもよい。この場合、センサ14は、顔M1よりも下方に位置する操作者Mの身体M2までの距離を測定する。
操作入力装置1から操作者Mの顔M1よりも下方に位置する身体M2までの距離は、顔M1までの距離よりは長く、且つ身体M2以外の位置P1までの距離よりは短い。従って、顔M1までの距離、顔M1より下方の身体M2までの距離、及び身体M2以外の位置P1までの距離を測定することによって、顔M1の有無をより高精度に検出することができる。その結果、誤検出をより確実に抑制することができる。
センサ14は、センサ14から操作者Mの顔M1までの距離、顔M1の上方であって顔M1以外の位置P11までの距離、顔M1の下方であって顔M1以外の身体M2までの距離、顔M1の左方であって顔M1以外の位置P12までの距離、及び、顔M1の右方であって顔M1以外の位置P13までの距離、を測定することによって操作者Mの顔M1を検出してもよい。この場合、センサ14は、顔M1までの距離、及び顔M1以外の上下左右の位置までの距離を測定する。このように、センサ14が5箇所のそれぞれとの距離を測定することにより、顔M1の有無を更に高精度に検出して顔M1以外のものの誤検出を抑制することができる。
以上、本開示に係る操作入力装置の実施形態について説明した。しかしながら、本開示は、前述の実施形態に限定されるものではなく、各請求項に記載した要旨を変更しない範囲において変形し又は他のものに適用したものであってもよい。すなわち、操作入力装置の各部の構成は、各請求項の要旨を変更しない範囲において適宜変更可能である。
例えば、前述の実施形態では、スイッチ11を空中に結像させる空中結像デバイス12がAIプレートである例について説明したが、空中結像デバイスはAIプレート以外の素子であってもよい。例えば、空中結像デバイスは、ホログラム等、操作者M側に立体的な虚像を結像する立体結像素子であってもよい。
前述の実施形態では、空中結像デバイス12、表示装置13及びセンサ14を備える操作入力装置1について説明した。しかしながら、空中結像デバイス、表示装置及びセンサの形状、大きさ、数及び配置態様は適宜変更可能である。
前述の実施形態では、センサ14は、センサ14と物体上の各点との距離をLight Coding方式によって測定する例について説明したが、この方式に限定されない。例えば、センサ14は、センサ14と物体上の各点との距離を、TOF(Time Of Flight)方式によって測定してもよい。TOF方式では、センサ14は、光線が物体上の各点で反射してセンサ14に到達するまでの光線の飛行時間(遅れ時間)を算出し、算出した飛行時間と光の速度とから、センサ14と物体上の各点との距離を測定する。このような形態であっても、前述した実施形態と同様の効果を奏する。更に、センサの種類は深度センサに限定されない。すなわち、深度センサであるセンサ14に代えて、赤外線センサ又は超音波センサ等を備えていてもよく、センサの種類は適宜変更可能である。
前述の実施形態では、平坦部2及び傾斜部3を有する操作入力装置1について説明した。しかしながら、操作入力装置の形状、大きさ及び構成は適宜変更可能である。また、回転ユニットの形状、大きさ、構成及び配置態様は適宜変更可能である。前述の実施形態では、第1虚像ボタン11b、第2虚像ボタン11c及び第3虚像ボタン11dを備えるスイッチ11について説明した。しかしながら、スイッチのボタン等のレイアウト及び種類は適宜変更可能である。
前述の実施形態では、センサ14が、顔M1までの距離、及び顔M1以外の上下左右の位置までの距離を測定する例について説明した。しかしながら、センサは、顔M1以外の上下左右の全ての距離を測定しなくてもよく、顔M1の上下左右の少なくともいずれかのみとの距離を測定してもよい。このように、センサが測定する顔M1の周囲の場所、及び測定する場所の数は適宜変更可能である。
前述の実施形態では、対象物Fを検出するセンサ14が顔M1を検出する例について説明した。すなわち、指等の対象物Fを検出するセンサ14が顔M1を検出する機能を兼ねる例について説明した。この場合、センサの数を1つにすることができるという効果が得られる。しかしながら、対象物Fを検出するセンサと、顔M1を検出するセンサとが別々に設けられていてもよい。このように、センサの数及び役割は適宜変更可能である。
1…操作入力装置、2…平坦部、3…傾斜部、4…画像表示ユニット、4b…ディスプレイ、5…回転ユニット、5b…上面部、11…スイッチ、11b…第1虚像ボタン、11c…第2虚像ボタン、11d…第3虚像ボタン、12…空中結像デバイス、12b…主面、13…表示装置、13b…主面、14…センサ、15…制御部、15b…判定部、15c…顔検出部、15d…回転制御部、D…距離、F…対象物、H…光、L…軸線、M…操作者、M1…顔、M2…身体、M3…目、P1,P11,P12,P13…位置、R1,R2…撮影領域、S…閾値、T…押圧判定面。

Claims (4)

  1. 光を照射して情報を表示する表示装置と、
    前記表示装置からの光を複数回反射させて空中に虚像としてスイッチを表示する空中結像デバイスと、
    前記スイッチを操作する操作者の顔を検出するセンサと、
    前記スイッチが前記センサによって検出された前記顔の位置に向けられるように、前記表示装置及び前記空中結像デバイスを回転させる回転ユニットと、
    を備える操作入力装置。
  2. 前記センサは、前記センサから前記操作者の顔までの距離、及び、前記顔の周囲であって前記操作者の身体以外の位置までの距離、を測定することによって前記操作者の顔を検出する、
    請求項1に記載の操作入力装置。
  3. 前記センサは、前記センサから前記操作者の顔までの距離、前記顔の周囲であって前記操作者の身体以外の位置までの距離、及び、前記顔よりも下方に位置する前記操作者の身体までの距離、を測定することによって前記操作者の顔を検出する、
    請求項1又は2に記載の操作入力装置。
  4. 前記センサは、前記センサから前記操作者の顔までの距離、前記顔の上方であって前記顔以外の位置までの距離、前記顔の下方であって前記顔以外の位置までの距離、前記顔の左方であって前記顔以外の位置までの距離、及び、前記顔の右方であって前記顔以外の位置までの距離、を測定することによって前記操作者の顔を検出する、
    請求項1~3のいずれか一項に記載の操作入力装置。
JP2020079557A 2020-04-28 2020-04-28 操作入力装置 Pending JP2023089313A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2020079557A JP2023089313A (ja) 2020-04-28 2020-04-28 操作入力装置
PCT/JP2021/009008 WO2021220623A1 (ja) 2020-04-28 2021-03-08 操作入力装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020079557A JP2023089313A (ja) 2020-04-28 2020-04-28 操作入力装置

Publications (1)

Publication Number Publication Date
JP2023089313A true JP2023089313A (ja) 2023-06-28

Family

ID=78373600

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020079557A Pending JP2023089313A (ja) 2020-04-28 2020-04-28 操作入力装置

Country Status (2)

Country Link
JP (1) JP2023089313A (ja)
WO (1) WO2021220623A1 (ja)

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020056806A (ja) * 2017-02-10 2020-04-09 パナソニックIpマネジメント株式会社 制御装置

Also Published As

Publication number Publication date
WO2021220623A1 (ja) 2021-11-04

Similar Documents

Publication Publication Date Title
KR102335132B1 (ko) 하나의 단일 감지 시스템을 이용하는 멀티 모드 제스처 기반의 상호작용 시스템 및 방법
TWI242701B (en) Autonomous moving robot
US20110181553A1 (en) Interactive Projection with Gesture Recognition
CN107548502A (zh) 基于由对象反射的光的特性识别体元中的对象
JP2008250774A (ja) 情報機器操作装置
US11537240B2 (en) Virtual image display device
US20110164191A1 (en) Interactive Projection Method, Apparatus and System
JP2018181338A (ja) 自律走行する走行車の動作方法
KR101330531B1 (ko) 3차원 카메라를 이용한 가상 터치 방법 및 장치
CN112805660A (zh) 用于人与虚拟对象交互的系统和方法
US11229731B2 (en) Display device for medical apparatus
JP2016218893A (ja) 入力操作検出装置、画像表示装置、プロジェクタ装置、プロジェクタシステム、及び入力操作検出方法
US20230033280A1 (en) Operation input device
US20190176341A1 (en) Movable robot capable of providing a projected interactive user interface
KR20150112198A (ko) 뎁스 카메라를 이용한 다중 사용자 멀티 터치 인터페이스 장치 및 방법
JP2023089313A (ja) 操作入力装置
TWI454653B (zh) 三維絕對座標偵測系統、互動三維顯示系統以及辨識物體之三維座標的方法
CN103492982A (zh) 交互显示装置
JP6740614B2 (ja) 物体検出装置、及び物体検出装置を備えた画像表示装置
CN112449166B (zh) 全息投影设备、投影控制方法、装置、计算机设备和介质
JP7272764B2 (ja) 情報提供システム
KR101002071B1 (ko) 멀티 적외선 카메라 방식의 투영 영상 터치 장치
JPWO2019159760A1 (ja) 操作検出装置及び操作検出方法
JP2024004508A (ja) 空中操作装置
WO2023079879A1 (ja) 空中操作装置及び立ち上げ方法