JP2019191946A - Information processing device - Google Patents
Information processing device Download PDFInfo
- Publication number
- JP2019191946A JP2019191946A JP2018084268A JP2018084268A JP2019191946A JP 2019191946 A JP2019191946 A JP 2019191946A JP 2018084268 A JP2018084268 A JP 2018084268A JP 2018084268 A JP2018084268 A JP 2018084268A JP 2019191946 A JP2019191946 A JP 2019191946A
- Authority
- JP
- Japan
- Prior art keywords
- predetermined space
- unit
- information processing
- information
- recognition unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000010365 information processing Effects 0.000 title claims description 33
- 238000000034 method Methods 0.000 claims description 28
- 230000008569 process Effects 0.000 claims description 20
- 238000003672 processing method Methods 0.000 claims description 9
- 230000006870 function Effects 0.000 description 22
- 230000033001 locomotion Effects 0.000 description 19
- 230000008859 change Effects 0.000 description 16
- 230000004807 localization Effects 0.000 description 13
- 238000001514 detection method Methods 0.000 description 7
- 238000013459 approach Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 230000005236 sound signal Effects 0.000 description 5
- 238000005452 bending Methods 0.000 description 2
- 230000001934 delay Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 210000001015 abdomen Anatomy 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 230000005057 finger movement Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Landscapes
- Position Input By Displaying (AREA)
- Stereophonic System (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Description
本発明は、所定の処理を行う情報処理装置に関する。 The present invention relates to an information processing apparatus that performs predetermined processing.
例えば車載のオーディオシステムにおいて、複数のスピーカ各々の出力に遅延時間差を与えることにより、音像の定位位置を制御することは既に知られている。 For example, in a vehicle-mounted audio system, it is already known to control the localization position of a sound image by giving a delay time difference to the outputs of a plurality of speakers.
特許文献1には、定位位置受付ウインドウ300のダッシュボード画像350上の位置入力に応じて定位位置の指定を受け付け、受け付けた定位位置に音像が定位するように各スピーカ3に出力するオーディオ信号の遅延時間を設定することが記載されている。また、定位位置の指定は車両水平方向のレイアウト画像である車内レイアウト画像850を表示して定位位置の指定を受け付けることも記載されている。 Japanese Patent Laid-Open No. 2004-228688 accepts designation of a localization position in response to a position input on the dashboard image 350 of the localization position reception window 300, and outputs an audio signal output to each speaker 3 so that a sound image is localized at the received localization position. Setting the delay time is described. In addition, it is described that the localization position is specified by displaying an in-vehicle layout image 850 which is a layout image in the horizontal direction of the vehicle and accepting the localization position.
特許文献1に記載の発明の場合、二次元的な画像で定位位置を指定しているが、実際に音像が定位するのは三次元空間内の位置であるので、二次元的な画像による指定では厳密な指定が困難である。
In the case of the invention described in
本発明が解決しようとする課題としては、所定の処理についての位置の指定を正確かつ容易にすることが一例として挙げられる。 An example of a problem to be solved by the present invention is to make it easy to specify the position of a predetermined process accurately and easily.
上記課題を解決するために、請求項1に記載の発明は、所定空間に存在する物体に関する情報を取得する第1取得部と、前記物体に関する情報に基づいて、前記所定空間に存在する人物が身体の一部によって示した、前記所定空間における位置を認識する第1認識部と、前記第1認識部が認識した位置に基づいた処理を行う処理部と、を備えることを特徴としている。
In order to solve the above-mentioned problem, the invention according to
請求項5に記載の発明は、所定の処理を行う情報処理装置で実行される情報処理方法であって、所定空間に存在する物体に関する情報を取得する第1取得工程と、前記物体に関する情報に基づいて、前記所定空間に存在する人物が身体の一部によって示した、前記所定空間における位置を認識する第1認識工程と、前記第1認識工程で認識した位置に基づいた処理を行う処理工程と、を含むことを特徴としている。
The invention according to
請求項6に記載の発明は、請求項5に記載の情報処理方法を、コンピュータにより実行させることを特徴としている。
The invention described in claim 6 is characterized in that the information processing method described in
以下、本発明の一実施形態にかかる情報処理装置を説明する。本発明の一実施形態にかかる情報処理装置は、第1取得部が所定空間に存在する物体に関する情報を取得し、第1認識部が物体に関する情報に基づいて、所定空間に存在する人物が身体の一部によって示した、所定空間における位置を認識する。そして、処理部が第1認識部で認識した位置に基づいた処理を行う。このようにすることにより、第1認識部が認識した所定空間に存在する人物が身体の一部によって示した位置に基づいて処理をすることができる。そのため、三次元空間において直接位置の指定をすることができるので、所定の処理についての位置の指定を正確かつ容易にすることができる。 Hereinafter, an information processing apparatus according to an embodiment of the present invention will be described. In an information processing apparatus according to an embodiment of the present invention, a first acquisition unit acquires information related to an object existing in a predetermined space, and a first recognition unit detects a person existing in the predetermined space based on the information related to the object. The position in the predetermined space indicated by a part of is recognized. Then, the processing unit performs processing based on the position recognized by the first recognition unit. By doing in this way, it can process based on the position which the person who exists in the predetermined space recognized by the 1st recognition part showed by a part of body. Therefore, since the position can be directly specified in the three-dimensional space, the position can be specified accurately and easily for a predetermined process.
また、第1取得部は、所定空間内に電磁波を出射して当該所定空間内の物体によって反射された電磁波を受信することで物体までの距離を測定可能なセンサから所定空間に存在する物体に関する情報を取得してもよい。このようにすることにより、所定空間内に電磁波を出射して当該所定空間内の物体によって反射された電磁波を受信することで物体までの距離を測定可能なセンサを利用して容易に所定空間内に存在する物体に関する情報を取得することができる。また、物体までの距離を測定することができるので、正確な位置を特定することが容易となる。 In addition, the first acquisition unit relates to an object existing in the predetermined space from a sensor capable of measuring the distance to the object by emitting the electromagnetic wave in the predetermined space and receiving the electromagnetic wave reflected by the object in the predetermined space. Information may be acquired. This makes it easy to use a sensor that can measure the distance to an object by emitting the electromagnetic wave into the predetermined space and receiving the electromagnetic wave reflected by the object in the predetermined space. It is possible to acquire information related to an object existing in Further, since the distance to the object can be measured, it is easy to specify an accurate position.
また、発話音声を取得する第2取得部と、発話音声の内容を認識する第2認識部と、を備え、処理部は、第1認識部で認識した位置と、第2認識部で認識した内容と、に基づいた処理を行ってもよい。このようにすることにより、発話音声の内容も考慮して処理を実行することができるので、より精度良く位置を特定することができる。 In addition, a second acquisition unit that acquires uttered speech and a second recognition unit that recognizes the content of the uttered speech are provided, and the processing unit recognizes the position recognized by the first recognition unit and the second recognition unit. Processing based on the content may be performed. By doing so, the processing can be executed in consideration of the content of the uttered voice, so that the position can be specified with higher accuracy.
また、処理部は、複数スピーカから発せられる音により形成される所定空間内の音像を、第1認識部が認識した位置に定位させる処理を行ってもよい。このようにすることにより、音像を定位させる位置を室内等の三次元空間において直接指定をすることができるようになる。 The processing unit may perform a process of localizing a sound image in a predetermined space formed by sounds emitted from a plurality of speakers at a position recognized by the first recognition unit. In this way, the position where the sound image is localized can be directly designated in a three-dimensional space such as a room.
また、本発明の一実施形態にかかる情報処理方法は、第1取得工程で所定空間に存在する物体に関する情報を取得し、第1認識工程で物体に関する情報に基づいて、所定空間に存在する人物が身体の一部によって示した、所定空間における位置を認識する。そして、処理部工程で第1認識工程において認識した位置に基づいた処理を行う。このようにすることにより、第1認識工程で認識した所定空間に存在する人物が身体の一部によって示した位置に基づいて処理をすることができる。そのため、三次元空間において直接位置の指定をすることができるので、所定の処理についての位置の指定を正確かつ容易にすることができる。 In addition, the information processing method according to an embodiment of the present invention acquires information related to an object existing in a predetermined space in the first acquisition step, and a person existing in the predetermined space based on the information related to the object in a first recognition step. Recognizes a position in a predetermined space indicated by a part of the body. And the process based on the position recognized in the 1st recognition process at a process part process is performed. By doing in this way, it can process based on the position which the person who exists in the predetermined space recognized at the 1st recognition process showed by a part of body. Therefore, since the position can be directly specified in the three-dimensional space, the position can be specified accurately and easily for a predetermined process.
また、上述した情報処理方法を、コンピュータにより実行させてもよい。このようにすることにより、コンピュータを用いて、第1認識工程で認識した所定空間に存在する人物が身体の一部によって示した位置に基づいて処理をすることができる。そのため、三次元空間において直接位置の指定をすることができるので、所定の処理についての位置の指定を正確かつ容易にすることができる。 The information processing method described above may be executed by a computer. By doing in this way, it can process using the computer based on the position which the person who exists in the predetermined space recognized at the 1st recognition process showed by a part of body. Therefore, since the position can be directly specified in the three-dimensional space, the position can be specified accurately and easily for a predetermined process.
本発明の第1の実施例にかかる情報処理装置を有する音響システム図1〜図4を参照して説明する。音響システムは、例えば自動車等の車両に搭載されている。情報処理装置を有する音響システムの機能的構成を図1に示す。音響システムは、オーディオ機器1と、を遅延調整部2(2R、2L)と、スピーカ3(3R、3L)と、制御部4と、マイク5と、ライダ7と、備えている。また、音響システムは、本実施例では、車両に搭載されて、所定空間としての車室内の音響を制御する。
An acoustic system having an information processing apparatus according to a first embodiment of the present invention will be described with reference to FIGS. The acoustic system is mounted on a vehicle such as an automobile. A functional configuration of an acoustic system having an information processing apparatus is shown in FIG. The acoustic system includes an
オーディオ機器1は、CDプレイヤ、メモリーオーディオ、ラジオチューナ或いはストリーミング配信の受信装置などのユーザの聴取の目的となるオーディオ信号を出力する機器である。
The
遅延調整部2は、本実施例では、左チャンネル用の遅延調整部2Lと右チャンネル用の遅延調整部2Rからなる。遅延調整部2Lは、オーディオ機器1から左チャネルのスピーカ3Lに出力される左チャネルのオーディオ信号を設定された遅延時間だけ遅延させる。遅延調整部2Rは、オーディオ機器1から右チャネルのスピーカ3Rに出力される右チャネルオーディオ信号を設定された遅延時間だけ遅延させる。
In this embodiment, the delay adjustment unit 2 includes a left channel
制御部4は、位置認識部41と、音像制御部42と、音声認識部43と、を備えている。制御部4は、例えばCPUを有するマイクロコンピュータで構成されている。位置認識部41と、音像制御部42と、音声認識部43と、はCPUで実行されるコンピュータプログラムの機能として実現すればよい。制御部4は本実施例にかかる情報処理装置として機能する。
The
位置認識部41は、ライダ7が出力した点群情報に基づいてユーザが身体の一部(例えば指先)によって示した位置を認識する。位置認識部41による位置認識の例を図2を参照して説明する。図2は、ユーザ等の人物が人差し指IFで位置を指示している図である。
The
図2において、人差し指IFを含むユーザの手Hは、ライダ7によって走査されて点群情報として取得される。取得された点群情報は、位置認識部41において周知のオブジェクト認識により手Hや人差し指IFが認識される。人差し指IFが認識されると、点群情報には認識された人差し指IFの指先からライダ7までの距離と方向の情報が含まれているので車室空間における指先の位置を認識することができる。
In FIG. 2, the user's hand H including the index finger IF is scanned by the
なお、点群情報のみからオブジェクト認識するに限らず、例えば別途カメラを設けて、カメラが撮像した画像から人差し指IFを認識し、点群画像とカメラ画像とを照合して、人差し指IFに相当する点群を抽出してもよい。 Note that the present invention is not limited to point cloud information recognition alone. For example, a separate camera is provided, the index finger IF is recognized from an image captured by the camera, and the point cloud image is compared with the camera image to correspond to the index finger IF. A point cloud may be extracted.
音像制御部42は、位置認識部41で認識された指先の位置及び音声認識部43で認識された音声情報に基づいて、その位置にスピーカ3L、3Rから発せられる音により形成される車室内の音像を指定された位置(特定位置)に定位させるように遅延調整部2L、2Rの遅延量を調整して設定する。即ち、制御部4(音像制御部42)は、スピーカ3L、3Rから発せられる音により形成される車室内の音像を特定位置に定位させる定位制御部として機能する。
Based on the position of the fingertip recognized by the
音像制御部42における定位位置の調整について説明する。まず、位置認識部41で認識された指先の位置とスピーカ3L、3Rとの距離をそれぞれ求める。スピーカ3L、3Rは車室内に固定されているので、スピーカ3L、3Rからライダ7までの距離と方向は既知である。したがって、人差し指IFの指先からライダ7までの距離及び方向と、スピーカ3L、3Rからライダ7までの距離及び方向と、からスピーカ3Lからライダ7までの距離及びスピーカ3Rをからライダ7までの距離求めることができる。そして、求めた距離の短い方のスピーカ3L(3R)からの出力を距離の長い方のスピーカ3R(3L)との距離の差分に応じて遅延させる。
Adjustment of the localization position in the sound
音声認識部43は、マイク5で集音した音声の音声信号(発話内容)を周知の音声認識アルゴリズムにより認識して、認識された発話内容を音声情報として音像制御部42に出力する。
The
マイク5は、例えばダッシュボードや天井等の車室内のユーザの声が集音可能な位置に設置されている。マイク5は、ユーザ等が発話した内容を音声として集音し、電気信号に変換して音声信号として制御部4(音声認識部43)へ出力する。
The
ライダ7は、所定空間として車室内あるいは車室内を走査できる位置に設置されている。ライダ7は、当該ライダ7が走査する周囲に存在する物体を認識するセンサであり、LiDAR(Light Detection And Ranging)とも表記される。ライダ7は、レーザ光等の電磁波を照射してその電磁波の反射波(反射光)により、走査範囲に存在する物体までの方向と距離を離散的に測定し、当該物体の位置や形状等を三次元の点群として認識する公知のセンサである。したがって、ライダ7で認識された点群は所定空間に存在する物体に関する情報としての点群情報として出力される。
The
ライダ7は、1つに限らず、複数設置されていてもよい。ライダ7の数や設置位置は、例えば車両であれば、対象となる車室空間の大きさに応じて適宜定めればよい。
The number of
なお、図1では図示しないが、操作の確認や各種表示用の表示部を音響システムが備えていてもよい。 Although not shown in FIG. 1, the acoustic system may include a display unit for confirming operations and various displays.
次に、上述した構成の制御部4の動作(情報処理方法)について図3のフローチャートを参照して説明する。また、図3に示したフローチャートを制御部4が有するCPUで実行するプログラムとして構成することで情報処理プログラムとすることができる。
Next, the operation (information processing method) of the
まず、ステップS11において、位置認識部41は、点群情報をライダ7から取得する。即ち、位置認識部41は、所定空間に存在する物体に関する情報を取得する第1取得部として機能する。
First, in step S <b> 11, the
次に、ステップS12において、位置認識部41は、上述したように、ライダ7から取得した点群情報に基づいて、人差し指IFの指先の位置を認識する。即ち、位置認識部41は、物体に関する情報に基づいて、所定空間に存在する人物が身体の一部によって示した、所定空間における位置を認識する第1認識部として機能する。
Next, in step S <b> 12, the
次に、ステップS13において、音声認識部43は、マイク5から取得した音声信号に基づいて音声認識を行う。なお、ステップS13は、ステップS12と並行して行ってもよい。即ち、音声認識部43は、発話音声を取得する第2取得部及び発話音声の内容を認識する第2認識部として機能する。
Next, in step S <b> 13, the
次に、ステップS14において、音像制御部42は、ステップS13で認識した位置と、ステップS14で認識した音声と、に基づいて、指定された定位位置に音像が定位するように遅延調整部2L、2Rをそれぞれ調整する。本ステップでは、例えば、マイク5から、「ここ」や「ここに定位させて」といった特定の音声が入力された場合にのみ実行される。つまり、指で指し示すだけでなく、音声でも指示を与えることで音像を定位させる位置の指定を確実に認識できるようにしている。即ち、音像制御部42は、第1認識部で認識した位置と、第2認識部で認識した内容と、に基づいた処理を行う処理部として機能する。このような特定の音声の内容は、不図示の表示部からユーザに指示をするようにしてもよい。
Next, in step S14, the sound
次に、ステップS15において、音像制御部42は、例えば再調整の要否についてのメッセージ等を不図示の表示部等に表示させ、再調整が必要との入力がなされた場合(YESの場合)はステップS11に戻り、再度点群情報の取得を行う。一方、再調整が不要との入力がなされた場合(NOの場合)はフローチャートを終了する。
Next, in step S15, the sound
以上の説明から明らかなように、ステップS11が第1取得工程、ステップS12が第1認識工程、ステップS14が処理工程として機能する。 As is clear from the above description, step S11 functions as a first acquisition step, step S12 functions as a first recognition step, and step S14 functions as a processing step.
なお、上述した説明では、指で指し示す動作で定位位置を指定していたが、それに限らない。例えば、図4に示したように指である範囲を囲むように回転させるような指定方法でもよい。この場合は、指の位置の経時的変化から指が回転している範囲を特定し、その範囲の中心を定位位置と見做せばよい。 In the above description, the localization position is specified by the operation pointed by the finger, but the present invention is not limited to this. For example, as shown in FIG. 4, a designation method may be used in which the finger is rotated so as to surround a range that is a finger. In this case, a range in which the finger is rotating is identified from the change in the finger position over time, and the center of the range may be regarded as the localization position.
また、位置に基づいた処理としては、音像の定位位置だけでなく、特定位置における周波数特性の補正動作に利用してもよい。つまり、指等で指定した位置における周波数特性をフラットにするようにイコライザ等を調整する。このようにすることにより、ユーザの指定した位置において好適な周波数特性で音楽等を聴取することができる。 Further, the processing based on the position may be used not only for the localization position of the sound image but also for correcting the frequency characteristic at the specific position. That is, the equalizer or the like is adjusted so that the frequency characteristic at the position designated by the finger or the like is flat. By doing so, it is possible to listen to music or the like with a suitable frequency characteristic at a position designated by the user.
また、例えば、可動式指向性スピーカを利用してハンズフリーで通話中に、指向性がドライバに向けたものを「音声をあっちに向けて」との音声とともに手で方向を示した場合には、その方向にスピーカの指向性が向くように制御することができる。 In addition, for example, when a mobile directional speaker is used in a hands-free call, if the directionality is directed toward the driver and the direction is indicated by hand along with the voice "turn the voice away" It is possible to control the directivity of the speaker in that direction.
また、プロジェクタ等で例えばフロントガラスに表示している画像を、シートをリクライニングさせて仰向けになった場合には、手で天井を示すことで画像を車内天井面に移動させることができる。または、読書等のため指向性ライトのスポット位置の変更等にも利用できる。これらの位置の指定においては、人差し指IFに限らず他の指であってもよい。例えば、手を右から左に振った場合は、左端として手が検出された位置を指定位置とすればよい。 Further, when the image displayed on the windshield, for example, by a projector or the like is reclined and turned upside down, the image can be moved to the interior ceiling surface by showing the ceiling by hand. Alternatively, it can be used for changing the spot position of a directional light for reading or the like. In specifying these positions, not only the index finger IF but also other fingers may be used. For example, when the hand is swung from the right to the left, the position where the hand is detected as the left end may be set as the designated position.
本実施例によれば、制御部4は、位置認識部41が点群情報を取得し、点群情報に基づいて、人物が例えば指先によって示した、車室内における位置を認識する。そして、音像制御部42が位置認識部41が認識した位置に音像を定位させる。このようにすることにより、位置認識部41が認識した車室内に存在する人物が指等によって示した位置に基づいて音像を定位させることができる。そのため、車室内等の三次元空間において直接位置の指定をすることができるので、音像を定位させる位置の指定を正確かつ容易にすることができる。
According to the present embodiment, the
また、位置認識部41は、ライダ7から点群情報を取得している。このようにすることにより、ライダ7を利用して容易に点群情報を取得することができる。また、物体までの距離を測定することができるので、正確な位置を特定することが容易となる。
The
また、発話音声を取得し、その内容を認識する音声認識部43を備え、音像制御部42は、位置認識部41で認識した位置と、音声認識部43で認識した内容と、に基づいて音像を定位させている。このようにすることにより、発話音声の内容も考慮して処理を実行することができるので、より精度良く位置を特定することができる。
In addition, the
次に、本発明の第2の実施例にかかる情報処理装置を図5〜図9を参照して説明する。なお、前述した第1の実施例と同一部分には、同一符号を付して説明を省略する。 Next, an information processing apparatus according to a second embodiment of the present invention will be described with reference to FIGS. The same parts as those in the first embodiment described above are denoted by the same reference numerals and description thereof is omitted.
図5に本実施例にかかる情報処理装置としての制御部4Aを備えた入力装置の機能的構成を示す。入力装置は、制御部4Aと、ライダ7と、プロジェクタ8と、を備えている。ライダ7は、第1の実施例と同様である。
FIG. 5 shows a functional configuration of an input device including a
プロジェクタ8は、例えば車室内に設置され、フロントガラスや天井面等を表示面として各種操作用の画像等を表示させる。
The
制御部4Aは、動作認識部44と、入力制御部45と、を備えている。動作認識部44は、ライダ7が出力した点群情報に基づいて、ライダ7からユーザの身体の一部(例えば指先)までの距離の経時的変化に基づいてジェスチャ等の所定の動作を認識する。
The
入力制御部45は、動作認識部44で認識された動作に基づいて、プロジェクタ8が表示している画像を変更する。また、入力制御部45は、動作認識部44で認識された動作に基づいて、当該動作に応じた機能を実行するために入力装置外部の機器等へ命令等を出力する。
The
動作認識部44による動作認識及び入力制御部45による画像の変更等の例図6を参照して説明する。図6は、プロジェクタ8が表示面Dに表示させた操作画像Cに対する入力操作の検出の説明図である。
An example of motion recognition by the
図6に示したように、表示面Dには操作画像Cが表示されている。操作画像Cには、複数のアイコンI1〜I15が配置されている。各アイコンI1〜I15は、それぞれが操作されることで、操作されたアイコンに割り当てられている機能が実行される。しかしながら、表示面Dがフロントガラスや天井面等であった場合、ユーザの手が届かない場合もあり、そもそも表示面Dはタッチパネルではないので、シートに着席しているユーザがタッチ操作することはできない。 As shown in FIG. 6, the operation image C is displayed on the display surface D. In the operation image C, a plurality of icons I1 to I15 are arranged. Each of the icons I1 to I15 is operated to execute a function assigned to the operated icon. However, when the display surface D is a windshield, a ceiling surface, or the like, the user's hand may not reach, and since the display surface D is not a touch panel in the first place, a user sitting on the seat may perform a touch operation. Can not.
そこで、本実施例では、図6に示されたアイコンI1〜I15の選択操作を、ユーザの手Hで行うジェスチャをライダ7が取得する点群情報の経時的変化により認識して行うことで操作画像Cを遠隔操作する。まず、操作画像Cにおいて、入力制御部45は、例えば画面中央等の予め定めたデフォルト位置のアイコン(図6ではアイコンI8)をハイライト表示して選択状態とする。そして、例えばアイコンI8の左側のアイコンI7を選択したい場合は手Hを左に振る。このとき、ライダ7が検出した点群情報の複数フレームにおける手Hの位置の経時的変化を動作認識部44で検出することにより、手Hの移動方向(振られた方向)が判明しジェスチャ等の動作を認識することができる。なお、手Hは第1の実施例と同様に点群情報からオブジェクト認識により認識する。
Therefore, in this embodiment, the selection operation of the icons I1 to I15 shown in FIG. 6 is performed by recognizing the gesture performed by the user's hand H by the change over time of the point cloud information acquired by the
動作認識部44で手Hを左に振るジェスチャ等の動作を認識したことにより、入力制御部45はハイライト表示するアイコンを1つ左にずらす(アイコンI7をハイライト表示する)。なお、図6は左側のアイコンをハイライト表示する操作を説明したが、右側や上下のアイコンをハイライト表示する操作も同様にすることができる。
When the
次に、ハイライト表示したアイコンに割り当てられている機能を実行させる操作について図7を参照して説明する。本実施例では、ハイライト表示したアイコンに割り当てられている機能を実行させる操作としてはクリック操作或いはタップ操作に相当する動作を認識することにより行う。 Next, an operation for executing the function assigned to the highlighted icon will be described with reference to FIG. In this embodiment, the operation assigned to the highlighted icon is performed by recognizing an operation corresponding to a click operation or a tap operation.
クリック操作或いはタップ操作をする際は、図7に示したように、例えば人差し指IFを指の付け根から表示面Dに向かって曲げるようにする。つまり、指の腹の部分が表示面Dに近づくようにするのが一般的である。本実施例では、この動作をライダ7で検出する。
When the click operation or the tap operation is performed, for example, the index finger IF is bent from the base of the finger toward the display surface D as shown in FIG. That is, it is common that the belly portion of the finger approaches the display surface D. In the present embodiment, this operation is detected by the
図7において、ライダ7は、表示面Dの近傍に設置されているものとする。即ち、人物の指先が近づくことで、ライダ7と指先の距離が変化する位置に設置されている。
In FIG. 7, the
図7の場合においては、動作認識部44が人差し指IFを曲げる前の距離(図7実線d)と人差し指IFを曲げた後の距離(図7破線d’)との変化を検出することによりクリック操作或いはタップ操作に相当する動作を認識する。つまり、クリック操作或いはタップ操作の際には、経時的な変化としてd>d’となることから、このような変化を検出することで、クリック操作或いはタップ操作に相当する動作を認識することができる。
In the case of FIG. 7, the
なお、図7の説明はクリック操作やタップ操作であったが、ダブルクリック操作やダブルタップ操作も同様にして認識することができる。つまり、d>d’の経時的変化を2回連続して検出した場合はダブルクリック操作やダブルタップ操作と認識すればよい。 Although the description of FIG. 7 is a click operation and a tap operation, a double click operation and a double tap operation can be recognized in the same manner. That is, when a change with time of d> d ′ is detected twice in succession, it may be recognized as a double click operation or a double tap operation.
次に、上述した構成の制御部4Aの動作(情報処理方法)について図8のフローチャートを参照して説明する。また、図8に示したフローチャートを制御部4Aが有するCPUで実行するプログラムとして構成することで情報処理プログラムとすることができる。
Next, the operation (information processing method) of the
まず、ステップS21において、動作認識部44は、点群情報をライダ7から取得する。即ち、動作認識部44は、所定空間内に電磁波を出射し、所定空間内の物体によって反射された電磁波を受信することで物体までの距離を測定可能なセンサ(ライダ7)から距離情報を取得する取得部として機能する。
First, in step S <b> 21, the
次に、ステップS22において、動作認識部44は、上述したように、ライダ7から取得した点群情報に基づいて、ハイライト表示するアイコンの変更や、クリック操作等の手H(指)によってなされたジェスチャ等の動作を認識する。即ち、動作認識部44は、センサから人物の身体の一部(指先)までの距離の経時的変化に基づいて、画像の特定位置(特定のアイコン)に対する操作を認識する認識部として機能する。
Next, in step S22, as described above, the
次に、ステップS23において、入力制御部45は、ステップS22で動作認識部44が認識した動作に応じた処理を実行する。例えば、図6に示したような手を振る動作に応じてハイライト表示するアイコンを変更する。或いは図7に示したようなクリック操作等に応じてクリックされたアイコンに割り当てられている機能を実行する。即ち、入力制御部45は、認識部の認識結果に基づいて、表示部に表示されている画像に対して、所定の処理を行う処理部として機能する。
Next, in step S23, the
以上の説明から明らかなように、ステップS21が取得工程、ステップS22が認識工程、ステップS23が処理工程として機能する。 As is clear from the above description, step S21 functions as an acquisition process, step S22 functions as a recognition process, and step S23 functions as a processing process.
本実施例によれば、制御部4Aは、動作認識部44がライダ7から距離情報を取得し、ライダ7から人物の指までの距離の経時的変化に基づいて、表示面Dの表示された操作画像Cに対するクリック操作等の動作を認識する。そして、入力制御部45が動作認識部44の認識結果に基づいて、表示面Dに表示されている操作画像Cに対して、クリック操作等に対応する処理を行う。このようにすることにより、タッチパネルや押しボタン等の直接的な入力装置を介さずに、例えば指等の身体の一部の距離の経時的変化に基づいて、操作画像Cに対して遠隔入力を容易に行うことができる、つまり操作画像Cの操作を容易に行うことができる。
According to the present embodiment, in the
また、ジェスチャ等の動作で操作することができるので画像に対して直感的な操作をすることが可能となり操作性が向上する。また、ライダ7の検出範囲であれば、いかなる姿勢であっても動作の検出が可能となるので姿勢を問わず操作が可能となる。
In addition, since the operation can be performed by a gesture or the like, an intuitive operation can be performed on the image, and the operability is improved. In addition, since the motion can be detected in any posture within the detection range of the
また、人物の指先が近づくことで距離が変化する位置にライダ7が設置されている。このようにすることにより、カメラ等で撮像された画像では検出が困難な、クリック操作等を容易に検出することができる。人物の指先が近づくような位置にセンサを設置した場合、そのセンサがカメラであると、画像の変化が少なく検出が困難になる場合が多い。一方ライダ7の場合は、距離の変化により検出するので、人物の指先が近づくような位置に設置されても検出が可能となる。また、クリック操作は、指の動きが小さい場合があるので、カメラ等で撮像された画像では動きが捉えられない場合がある。それに対して、ライダ7を利用すれば、指までの距離の情報が得られるので、小さい動きであっても検出が可能である。
A
さらに、ライダ7を利用すると、暗い状態でも認識が可能となる。また、ライダ7のレーザ光は透過するためガラスに映ったものに対して誤認識しない。
Further, when the
なお、第2の実施例では、図6や図7に示したような方法で選択するアイコンの変更やクリック操作等を認識していたが、図9に示したような方法でもよい。図9は、表示面Dにおいて選択したいアイコンを人差し指IFで指し示すことで選択する方法の説明図である。 In the second embodiment, the change of the icon to be selected, the click operation, and the like are recognized by the method shown in FIGS. 6 and 7, but the method shown in FIG. 9 may be used. FIG. 9 is an explanatory diagram of a method of selecting an icon to be selected on the display surface D by pointing with the index finger IF.
図9に示した方法は、まず、ライダ7で取得した点群情報から、人差し指IFの先端位置IF1と根本位置IF2とを特定する。そして、先端位置IF1と根本位置IF2を結び、さらに表示面Dへ向けて延長した線Lと表示面Dとが交差する点Pを人差し指IFが指し示す位置と認識する。表示面Dは車室内に固定されているので、ライダ7との相対位置は予め求めることが可能である。したがって、ライダ7の位置を原点として、表示面Dの四隅の位置座標を予め求めておけば、点Pと四隅との相対位置から点Pが表示面D内のどこに位置するかを求めることは可能である。そして、点Pの表示面Dにおける位置に対応するアイコンが選択されたとしてハイライト表示すればよい。
The method shown in FIG. 9 first specifies the tip position IF1 and the root position IF2 of the index finger IF from the point cloud information acquired by the
選択するアイコンが決定した後は、図7に示した方法でクリック操作等を認識してもよいし、図9に示した手Hの状態のまま、人差し指IFを表示面Dへ近づけるような動作をしてクリック操作としてもよい。 After the icon to be selected is determined, the click operation or the like may be recognized by the method shown in FIG. 7, or the operation of bringing the index finger IF closer to the display surface D while the hand H is shown in FIG. It is good also as clicking operation.
また、本発明は上記実施例に限定されるものではない。即ち、当業者は、従来公知の知見に従い、本発明の骨子を逸脱しない範囲で種々変形して実施することができる。かかる変形によってもなお本発明の情報処理装置を具備する限り、勿論、本発明の範疇に含まれるものである。 Further, the present invention is not limited to the above embodiment. That is, those skilled in the art can implement various modifications in accordance with conventionally known knowledge without departing from the scope of the present invention. Of course, such modifications are included in the scope of the present invention as long as the information processing apparatus of the present invention is provided.
4 制御部
41 位置認識部(第1取得部、第1認識部)
42 音像制御部(処理部)
43 音声認識部(第2取得部、第2認識部)
4A 制御部
44 動作認識部(取得部、認識部)
45 入力制御部(処理部)
4
42 Sound image control unit (processing unit)
43 Voice recognition unit (second acquisition unit, second recognition unit)
45 Input control unit (processing unit)
Claims (6)
前記物体に関する情報に基づいて、前記所定空間に存在する人物が身体の一部によって示した、前記所定空間における位置を認識する第1認識部と、
前記第1認識部が認識した位置に基づいた処理を行う処理部と、
を備えることを特徴とする情報処理装置。 A first acquisition unit that acquires information about an object existing in a predetermined space;
A first recognition unit for recognizing a position in the predetermined space indicated by a part of a body of a person existing in the predetermined space based on information on the object;
A processing unit that performs processing based on the position recognized by the first recognition unit;
An information processing apparatus comprising:
前記発話音声の内容を認識する第2認識部と、を備え、
前記処理部は、前記第1認識部で認識した前記位置と、前記第2認識部で認識した前記内容と、に基づいた処理を行う、
ことを特徴とする請求項1または2に記載の情報処理装置。 A second acquisition unit for acquiring speech voice;
A second recognition unit for recognizing the content of the uttered voice,
The processing unit performs processing based on the position recognized by the first recognition unit and the content recognized by the second recognition unit.
The information processing apparatus according to claim 1, wherein the information processing apparatus is an information processing apparatus.
所定空間に存在する物体に関する情報を取得する第1取得工程と、
前記物体に関する情報に基づいて、前記所定空間に存在する人物が身体の一部によって示した、前記所定空間における位置を認識する第1認識工程と、
前記第1認識工程で認識した位置に基づいた処理を行う処理工程と、
を含むことを特徴とする情報処理方法。 An information processing method executed by an information processing apparatus that performs predetermined processing,
A first acquisition step of acquiring information related to an object existing in the predetermined space;
A first recognition step for recognizing a position in the predetermined space indicated by a part of a body of a person existing in the predetermined space based on information on the object;
A processing step for performing processing based on the position recognized in the first recognition step;
An information processing method comprising:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018084268A JP2019191946A (en) | 2018-04-25 | 2018-04-25 | Information processing device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018084268A JP2019191946A (en) | 2018-04-25 | 2018-04-25 | Information processing device |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2019191946A true JP2019191946A (en) | 2019-10-31 |
Family
ID=68389903
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018084268A Pending JP2019191946A (en) | 2018-04-25 | 2018-04-25 | Information processing device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2019191946A (en) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005178473A (en) * | 2003-12-17 | 2005-07-07 | Denso Corp | Interface for in-vehicle equipment |
JP2006196941A (en) * | 2005-01-11 | 2006-07-27 | Alpine Electronics Inc | Audio system |
JP2009092950A (en) * | 2007-10-09 | 2009-04-30 | Panasonic Electric Works Co Ltd | Display system |
JP2010541398A (en) * | 2007-09-24 | 2010-12-24 | ジェスチャー テック,インコーポレイテッド | Enhanced interface for voice and video communication |
JP2012137989A (en) * | 2010-12-27 | 2012-07-19 | Sony Computer Entertainment Inc | Gesture operation input processor and gesture operation input processing method |
JP2015526753A (en) * | 2012-06-15 | 2015-09-10 | 本田技研工業株式会社 | Scene recognition based on depth |
WO2016189390A2 (en) * | 2015-05-28 | 2016-12-01 | Eyesight Mobile Technologies Ltd. | Gesture control system and method for smart home |
-
2018
- 2018-04-25 JP JP2018084268A patent/JP2019191946A/en active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005178473A (en) * | 2003-12-17 | 2005-07-07 | Denso Corp | Interface for in-vehicle equipment |
JP2006196941A (en) * | 2005-01-11 | 2006-07-27 | Alpine Electronics Inc | Audio system |
JP2010541398A (en) * | 2007-09-24 | 2010-12-24 | ジェスチャー テック,インコーポレイテッド | Enhanced interface for voice and video communication |
JP2009092950A (en) * | 2007-10-09 | 2009-04-30 | Panasonic Electric Works Co Ltd | Display system |
JP2012137989A (en) * | 2010-12-27 | 2012-07-19 | Sony Computer Entertainment Inc | Gesture operation input processor and gesture operation input processing method |
JP2015526753A (en) * | 2012-06-15 | 2015-09-10 | 本田技研工業株式会社 | Scene recognition based on depth |
WO2016189390A2 (en) * | 2015-05-28 | 2016-12-01 | Eyesight Mobile Technologies Ltd. | Gesture control system and method for smart home |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20180046255A1 (en) | Radar-based gestural interface | |
EP2891955B1 (en) | In-vehicle gesture interactive spatial audio system | |
JP6124169B2 (en) | Display device | |
EP2911149B1 (en) | Determination of an operational directive based at least in part on a spatial audio property | |
US9487167B2 (en) | Vehicular speech recognition grammar selection based upon captured or proximity information | |
JP6584731B2 (en) | Gesture operating device and gesture operating method | |
US9818403B2 (en) | Speech recognition method and speech recognition device | |
US9641928B2 (en) | Microphone array control apparatus and microphone array system | |
US20160320900A1 (en) | Operating device | |
KR20140079159A (en) | System and method for providing a user interface using wrist angle in a vehicle | |
JP2017090614A (en) | Voice recognition control system | |
JP6401268B2 (en) | Non-contact operation detection device | |
JP7027552B2 (en) | Gesture recognition using mobile devices | |
JP2019191947A (en) | Information processing device | |
KR20200095460A (en) | Electronic device and method for managing a plurality of devices | |
JP2019191946A (en) | Information processing device | |
CN109545217B (en) | Voice signal receiving method and device, intelligent terminal and readable storage medium | |
JP2023030054A (en) | Sound apparatus | |
JP2013191979A (en) | On-vehicle apparatus, portable terminal, and program for portable terminal | |
WO2023272629A1 (en) | Interface control method, device, and system | |
KR102548369B1 (en) | Apparatus and method for assisting driver | |
KR20190074344A (en) | Dialogue processing apparatus and dialogue processing method | |
US20140184491A1 (en) | System and method for providing user interface using an optical scanning | |
JP6315443B2 (en) | Input device, input detection method for multi-touch operation, and input detection program | |
JP2017120664A (en) | Display device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210316 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220119 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220208 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220406 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220906 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20221027 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20230314 |