JP2013186646A - Information processor and method for controlling information processor - Google Patents

Information processor and method for controlling information processor Download PDF

Info

Publication number
JP2013186646A
JP2013186646A JP2012050669A JP2012050669A JP2013186646A JP 2013186646 A JP2013186646 A JP 2013186646A JP 2012050669 A JP2012050669 A JP 2012050669A JP 2012050669 A JP2012050669 A JP 2012050669A JP 2013186646 A JP2013186646 A JP 2013186646A
Authority
JP
Japan
Prior art keywords
voice
gesture
unit
recognition
recognizes
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2012050669A
Other languages
Japanese (ja)
Inventor
Yuji Irimoto
勇宇次 入本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2012050669A priority Critical patent/JP2013186646A/en
Publication of JP2013186646A publication Critical patent/JP2013186646A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Image Analysis (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

PROBLEM TO BE SOLVED: To prevent malfunction due to erroneous recognition in the case of operating an information processor by voice recognition and gesture recognition.SOLUTION: An information processor includes: gesture recognition means for recognizing the gesture of a person included in video data output from a camera; gesture operation execution means for, when a first gesture is recognized by the gesture recognition means, executing a first operation corresponding to the first gesture; voice recognition means for recognizing a voice on the basis of a voice signal output from a microphone; voice operation execution means for, when a first voice is recognized by the voice recognition means, executing the first operation corresponding to the first voice; and control means for permitting one of the gesture operation execution means and the voice operation execution means to execute the first operation, and for inhibiting the other of the gesture operation execution means and the voice operation execution means from executing the first operation.

Description

本発明の実施形態は、音声およびジェスチャによる操作が可能な情報処理装置および情報処理装置の制御方法に関する。   Embodiments described herein relate generally to an information processing apparatus that can be operated by voice and a gesture, and a control method for the information processing apparatus.

近年、ユーザが話した音声を認識し、認識結果に応じた操作を行うことが可能なコンピュータが発売されている。周囲の騒音が大きいと、音声の認識精度が落ち、コンピュータが誤った操作を行うことがあった。   In recent years, computers that can recognize a voice spoken by a user and perform an operation according to a recognition result have been put on the market. When the ambient noise is high, the voice recognition accuracy is reduced, and the computer may perform an incorrect operation.

また、ユーザの身振り（ジェスチャ）を認識し、認識結果に応じた操作を行うことが可能なコンピュータが発売されている。周りで人や物が頻繁に動いており、ジェスチャの認識精度が落ちる場合、コンピュータが誤った操作を行うことがあった。   Computers that can recognize a user's gesture (gesture) and perform an operation according to the recognition result have been put on the market. When people and things are moving around frequently and the recognition accuracy of gestures is reduced, the computer may be operated incorrectly.

特開２０１１−１２８７６６号公報JP 2011-128766 A

音声認識によってコンピュータの操作を行う場合、周囲の騒音が大きいと、音声認識の精度が落ち、コンピュータが誤った操作を行うことがあった。   When a computer is operated by voice recognition, if the ambient noise is large, the accuracy of voice recognition is reduced, and the computer may perform an incorrect operation.

ジェスチャ認識によってコンピュータの操作を行う場合、周りで人や物が頻繁に動いていると、ジェスチャ認識の精度が落ち、コンピュータが誤った操作を行うことがあった。   When operating a computer by gesture recognition, if people or objects are frequently moving around, the accuracy of gesture recognition is reduced, and the computer may perform an incorrect operation.

本発明の目的は、音声認識およびジェスチャ認識によって情報処理装置の操作を行う場合に、誤認識による誤動作を防止することが可能な情報処理装置および情報処理装置の制御方法を提供することにある。   An object of the present invention is to provide an information processing apparatus and an information processing apparatus control method capable of preventing a malfunction due to erroneous recognition when the information processing apparatus is operated by voice recognition and gesture recognition.

実施形態によれば、情報処理装置は、身振り認識手段と、身振り操作実行手段と、音声認識手段と、音声操作実行手段と、制御手段とを具備する。前記身振り認識手段は、カメラから出力された映像データ内に含まれる人物の身振りを認識する。前記身振り操作実行手段は、前記身振り認識手段が第１の身振りを認識した場合、前記第１の身振りに対応する第１の操作を実行する。前記音声認識手段は、マイクロフォンから出力された音声信号から音声を認識する。前記音声操作実行手段は、前記音声認識手段が第１の音声を認識した場合、前記第１の音声に対応する前記第１の操作を実行する。前記制御手段は、前記身振り操作実行手段および前記音声操作実行手段の一方が前記第１の操作を実行することを許可し、前記身振り操作実行手段および前記音声操作実行手段の他方が前記第１の操作を実行することを禁止する。   According to the embodiment, the information processing apparatus includes gesture recognition means, gesture operation execution means, voice recognition means, voice operation execution means, and control means. The gesture recognition means recognizes the gesture of a person included in the video data output from the camera. The gesture operation executing means executes a first operation corresponding to the first gesture when the gesture recognition means recognizes the first gesture. The voice recognition means recognizes voice from a voice signal output from a microphone. The voice operation execution means executes the first operation corresponding to the first voice when the voice recognition means recognizes the first voice. The control means permits one of the gesture operation executing means and the voice operation executing means to execute the first operation, and the other of the gesture operation executing means and the voice operation executing means is the first operation. Prohibit performing the operation.

実施形態の情報処理装置の外観の一例を示す斜視図。The perspective view which shows an example of the external appearance of the information processing apparatus of embodiment. 実施形態の情報処理装置のシステム構成の一例を示すブロック図。The block diagram which shows an example of the system configuration | structure of the information processing apparatus of embodiment. 実施形態のナビゲーションプログラムの構成の一例を示すブロック図。The block diagram which shows an example of a structure of the navigation program of embodiment. ナビゲーションプログラムのジェスチャ操作部および音声操作部がウェブブラウザに対して要求する操作の一例を示す図。The figure which shows an example of operation which the gesture operation part and audio | voice operation part of a navigation program request | require with respect to a web browser. “表示ページ中のリンク先への移動”操作のせつめいに用いる図。The figure used for the purpose of the “move to link destination in the display page” operation. ナビゲーションプログラムのメインメニュー表示部が表示するメインメニューウィンドウの一例を示す図。The figure which shows an example of the main menu window which the main menu display part of a navigation program displays. 音声操作の停止後に、ジェスチャ操作部によって操作可能な操作の一例を示す図。The figure which shows an example of operation which can be operated by a gesture operation part after a voice operation stops. 音声操作が停止されたことをユーザに通知する場合のメッセージの一例を示す図。The figure which shows an example of the message in the case of notifying a user that audio | voice operation was stopped. ナビゲーションプログラムのジェスチャ操作部が表示するリストメニューの一例を示す図。The figure which shows an example of the list menu which the gesture operation part of a navigation program displays. ジェスチャ操作が停止されたことをユーザに通知する場合のメッセージの一例を示す図。The figure which shows an example of the message in the case of notifying a user that gesture operation was stopped. ジェスチャ操作の停止後に、音声操作部によって操作可能な操作の一例を示す図。The figure which shows an example of operation which can be operated by the audio | voice operation part after stop of gesture operation. 音声操作およびジェスチャ操作の実行および終了の手順について示すフローチャート。The flowchart shown about the procedure of execution and completion | finish of voice operation and gesture operation. ジェスチャ操作実行時の動作について示すフローチャート。The flowchart shown about operation | movement at the time of gesture operation execution. 音声操作停止時に表示される、音声操作で行える操作の一覧を示す図。The figure which shows the list of operation which can be performed by voice operation displayed when voice operation is stopped. 音声操作実行時の動作について示すフローチャート。The flowchart shown about the operation | movement at the time of voice operation execution. ジェスチャ操作停止時に表示される、ジェスチャ操作で行える操作の一覧を示す図。The figure which shows the list of operation which can be performed by gesture operation displayed when gesture operation is stopped.

以下、実施の形態について図面を参照して説明する。   Hereinafter, embodiments will be described with reference to the drawings.

図１は、一実施形態に係る情報処理装置の外観を示す斜視図である。この情報処理装置は、例えばノートブックタイプのパーソナルコンピュータ１として実現される。また、この情報処理装置は、タブレットＰＣ、ＰＤＡ、スマートフォン等として実現され得る。   FIG. 1 is a perspective view illustrating an appearance of an information processing apparatus according to an embodiment. This information processing apparatus is realized as, for example, a notebook type personal computer 1. The information processing apparatus can be realized as a tablet PC, a PDA, a smartphone, or the like.

図１に示すように、本コンピュータ１は、コンピュータ本体２と、ディスプレイユニット３とから構成される。
ディスプレイユニット３には、ＬＣＤ（liquid crystal display）１５およびビデオカメラ３１が組み込まれている。ビデオカメラ３１は、ＬＣＤ１５の上に設けられている。ディスプレイユニット３は、コンピュータ本体２の上面が露出される開放位置とコンピュータ本体２の上面を覆う閉塞位置との間を回動自在にコンピュータ本体２に取り付けられている。 As shown in FIG. 1, the computer 1 includes a computer main body 2 and a display unit 3.
The display unit 3 incorporates an LCD (liquid crystal display) 15 and a video camera 31. The video camera 31 is provided on the LCD 15. The display unit 3 is attached to the computer main body 2 so as to be rotatable between an open position where the upper surface of the computer main body 2 is exposed and a closed position covering the upper surface of the computer main body 2.

コンピュータ本体２は、薄い箱形の筐体を有しており、その上面には、キーボード２６、本コンピュータ１を電源オン／電源オフするためのパワーボタン２８、後述するナビゲーションプログラムを起動／終了するための起動／終了ボタン２９、ポインティングデバイス２７、スピーカ１８Ａ，１８Ｂ、マイクロフォン３２などが配置されている。   The computer main body 2 has a thin box-shaped casing. On the upper surface of the computer main body 2, a keyboard 26, a power button 28 for powering on / off the computer 1, and starting / ending a navigation program to be described later. A start / end button 29, a pointing device 27, speakers 18A and 18B, a microphone 32, and the like are arranged.

図２は、本コンピュータ１のシステム構成を示す図である。
本コンピュータ１は、図２に示すように、ＣＰＵ１１、ノースブリッジ１２、主メモリ１３、グラフィクスプロセッシングユニット（ＧＰＵ）１４、ビデオメモリ（ＶＲＡＭ）１４Ａ、ＬＣＤ１５、サウスブリッジ１６、サウンドコントローラ１７、スピーカ１８Ａ，１８Ｂ、ＢＩＯＳ−ＲＯＭ１９、ＬＡＮコントローラ２０、ハードディスクドライブ（ＨＤＤ）２１、光ディスクドライブ（ＯＤＤ）２２、無線ＬＡＮコントローラ２３、ＵＳＢコントローラ２４、エンベデッドコントローラ／キーボードコントローラ（ＥＣ／ＫＢＣ）２５、キーボード（ＫＢ）２６、ポインティングデバイス２７、パワーボタン２８、起動／終了ボタン２９、ビデオカメラ３１、マイクロホン３２、および加速度センサ３３等を備えている。 FIG. 2 is a diagram showing a system configuration of the computer 1.
As shown in FIG. 2, the computer 1 includes a CPU 11, a north bridge 12, a main memory 13, a graphics processing unit (GPU) 14, a video memory (VRAM) 14A, an LCD 15, a south bridge 16, a sound controller 17, a speaker 18A, 18B, BIOS-ROM 19, LAN controller 20, hard disk drive (HDD) 21, optical disk drive (ODD) 22, wireless LAN controller 23, USB controller 24, embedded controller / keyboard controller (EC / KBC) 25, keyboard (KB) 26 A pointing device 27, a power button 28, a start / end button 29, a video camera 31, a microphone 32, an acceleration sensor 33, and the like.

ＣＰＵ１１は、本コンピュータ１の動作を制御するプロセッサである。ＣＰＵ１１は、ＨＤＤ２１から主メモリ１３にロードされる、オペレーティングシステム（ＯＳ）１３Ａ、ナビゲーションプログラム１３Ｂ、およびウェブブラウザ１３Ｃを実行する。ナビゲーションプログラム１３Ｂは、ユーザが手を使わずに、ジェスチャや音声でコンピュータを操作することを可能にするためのインタフェースである。ウェブブラウザ１３Ｃは、はWorld Wide Webを利用するために用いられるブラウザである。ジェスチャは、身振りや手振り等を含む。   The CPU 11 is a processor that controls the operation of the computer 1. The CPU 11 executes an operating system (OS) 13A, a navigation program 13B, and a web browser 13C that are loaded from the HDD 21 into the main memory 13. The navigation program 13B is an interface that enables the user to operate the computer with gestures and voices without using a hand. The web browser 13C is a browser used for using the World Wide Web. Gestures include gestures and hand gestures.

また、ＣＰＵ１１は、ＢＩＯＳ−ＲＯＭ１９に格納されたＢＩＯＳ（Basic Input/Output System）も実行する。ＢＩＯＳは、ハードウェア制御のためのプログラムである。   The CPU 11 also executes a basic input / output system (BIOS) stored in the BIOS-ROM 19. The BIOS is a program for hardware control.

ノースブリッジ１２は、ＣＰＵ１１のローカルバスとサウスブリッジ１６との間を接続するブリッジデバイスである。ノースブリッジ１２には、主メモリ１３をアクセス制御するメモリコントローラも内蔵されている。また、ノースブリッジ１２は、ＧＰＵ１４との通信を実行する機能も有している。   The north bridge 12 is a bridge device that connects the local bus of the CPU 11 and the south bridge 16. The north bridge 12 also includes a memory controller that controls access to the main memory 13. The north bridge 12 also has a function of executing communication with the GPU 14.

ＧＰＵ１４は、本コンピュータ１のディスプレイとして使用されるＬＣＤ１５を制御するデバイスである。このＧＰＵ１４によって生成される表示信号はＬＣＤ１５に送られる。ＬＣＤ１５は、表示信号に基づいて画像を表示する。   The GPU 14 is a device that controls the LCD 15 used as a display of the computer 1. A display signal generated by the GPU 14 is sent to the LCD 15. The LCD 15 displays an image based on the display signal.

サウスブリッジ１６は、ＰＣＩ（Peripheral Component Interconnect）バス上及びＬＰＣ（Low Pin Count）バス上の各デバイスを制御する。また、サウスブリッジ１６は、ＨＤＤ２１及びＯＤＤ２２を制御するためのＩＤＥ（Integrated Drive Electronics）コントローラ、及びＢＩＯＳ−ＲＯＭ１９をアクセス制御するメモリコントローラが内蔵されている。さらに、サウスブリッジ１６は、サウンドコントローラ１７及びＬＡＮコントローラ２０との通信を実行する機能も有している。   The south bridge 16 controls each device on a peripheral component interconnect (PCI) bus and a low pin count (LPC) bus. The south bridge 16 incorporates an IDE (Integrated Drive Electronics) controller for controlling the HDD 21 and ODD 22 and a memory controller for controlling access to the BIOS-ROM 19. Furthermore, the south bridge 16 also has a function of executing communication with the sound controller 17 and the LAN controller 20.

サウンドコントローラ１７は音源デバイスであり、再生対象のオーディオデータをスピーカ１８Ａ，１８Ｂに出力する。ＬＡＮコントローラ２０は、例えばＥｔｈｅｒｎｅｔ（登録商標）規格の有線通信を実行する有線通信デバイスであり、無線ＬＡＮコントローラ２３は、例えばＩＥＥＥ ８０２．１１規格の無線通信を実行する無線通信デバイスである。また、ＵＳＢコントローラ２４は、例えばＵＳＢ２．０規格のケーブルを介して外部機器との通信を実行する。   The sound controller 17 is a sound source device and outputs audio data to be reproduced to the speakers 18A and 18B. The LAN controller 20 is, for example, a wired communication device that executes wired communication of the Ethernet (registered trademark) standard, and the wireless LAN controller 23 is a wireless communication device that executes, for example, wireless communication of the IEEE 802.11 standard. The USB controller 24 executes communication with an external device via, for example, a USB 2.0 standard cable.

ＥＣ／ＫＢＣ２５は、電力管理を行うためのエンベデッドコントローラと、キーボード（ＫＢ）２６、及びポインティングデバイス２７を制御するためのキーボードコントローラとが集積された１チップマイクロコンピュータである。このＥＣ／ＫＢＣ２５は、ユーザの操作に応じて本コンピュータ１をパワーオン／パワーオフする機能を有している。   The EC / KBC 25 is a one-chip microcomputer in which an embedded controller for performing power management, a keyboard (KB) 26, and a keyboard controller for controlling a pointing device 27 are integrated. The EC / KBC 25 has a function of powering on / off the computer 1 in accordance with a user operation.

起動／終了ボタン２９は、ナビゲーションプログラム１３Ｂの停止時にナビゲーションプログラム１３Ｂを起動させるためのボタンであると共に、ナビゲーションプログラム１３Ｂの起動時にナビゲーションプログラム１３Ｂを停止させるためのボタンである。   The start / end button 29 is a button for starting the navigation program 13B when the navigation program 13B is stopped, and is a button for stopping the navigation program 13B when starting the navigation program 13B.

ビデオカメラ３１は、レンズを通した映像を、ＣＣＤイメージセンサやＣ−ＭＯＳイメージセンサなどの個体撮像素子に結像させて電気信号に変換し、変換された電気信号をデジタル化して映像データを出力する。   The video camera 31 forms an image through a lens on an individual image sensor such as a CCD image sensor or a C-MOS image sensor, converts the image into an electric signal, digitizes the converted electric signal, and outputs video data. To do.

マイクロフォン３２は、音を電気信号に変換し、変換結果をアナログ音声信号として、サウンドコントローラ１７に出力する。サウンドコントローラ１７は、アナログ音声信号をＡ／Ｄ変換によってデジタルデータに変換し、変換結果をデジタル音声データとして出力する。   The microphone 32 converts sound into an electrical signal and outputs the conversion result to the sound controller 17 as an analog audio signal. The sound controller 17 converts the analog audio signal into digital data by A / D conversion, and outputs the conversion result as digital audio data.

また、加速度センサ３３は、本体の加速度を測定するセンサである。   The acceleration sensor 33 is a sensor that measures the acceleration of the main body.

次に、ナビゲーションプログラム１３Ｂについて説明する。本実施形態では、ユーザが、ナビゲーションプログラム１３Ｂを用いてコンピュータ（情報処理装置）によって実行されるウェブブラウザ１３Ｃの操作を行う場合を説明する。   Next, the navigation program 13B will be described. In the present embodiment, a case will be described in which the user performs an operation of the web browser 13C executed by a computer (information processing apparatus) using the navigation program 13B.

図３は、ナビゲーションプログラム１３Ｂの構成を示すブロック図である。
図３に示すように、ナビゲーションプログラム１３Ｂは、ジェスチャ認識部３０１、ジェスチャ操作部３０２、音声認識部３１１、音声操作部３１２、および制御部３２０等を備えている。 FIG. 3 is a block diagram showing the configuration of the navigation program 13B.
As shown in FIG. 3, the navigation program 13B includes a gesture recognition unit 301, a gesture operation unit 302, a voice recognition unit 311, a voice operation unit 312, a control unit 320, and the like.

ジェスチャ認識部３０１は、ビデオカメラ３１から出力された映像データからユーザのジェスチャを認識する。ジェスチャ認識部３０１は、認識したジェスチャを示すジェスチャ情報をジェスチャ操作部３０２に送信する。ジェスチャ操作部３０２は、ジェスチャ情報に応じた操作コマンドをウェブブラウザ１３Ｃに送信し、ウェブブラウザ１３Ｃに認識したジェスチャに応じた操作（処理）を行うように要求する。   The gesture recognition unit 301 recognizes a user gesture from the video data output from the video camera 31. The gesture recognition unit 301 transmits gesture information indicating the recognized gesture to the gesture operation unit 302. The gesture operation unit 302 transmits an operation command corresponding to the gesture information to the web browser 13C, and requests the web browser 13C to perform an operation (processing) according to the recognized gesture.

音声認識部３１１は、サウンドコントローラ１７から出力されたデジタル音声データからユーザが話した音声を認識する。音声認識部３１１は、認識した音声を示す音声情報を音声操作部３１２に送信する。音声操作部３１２は、音声情報に応じた操作コマンドをウェブブラウザ１３Ｃに送信し、ウェブブラウザ１３Ｃに認識した音声に応じた操作（処理）を行うように要求する。   The voice recognition unit 311 recognizes the voice spoken by the user from the digital voice data output from the sound controller 17. The voice recognition unit 311 transmits voice information indicating the recognized voice to the voice operation unit 312. The voice operation unit 312 transmits an operation command corresponding to the voice information to the web browser 13C, and requests the web browser 13C to perform an operation (processing) corresponding to the recognized voice.

ジェスチャ操作部３０２および音声操作部３１２がウェブブラウザ１３Ｃに対して要求する操作を図４に示す。図４に示すように、一つの操作に対して、ジェスチャ操作および音声操作の一方が割り当てられている。   FIG. 4 shows an operation requested by the gesture operation unit 302 and the voice operation unit 312 to the web browser 13C. As shown in FIG. 4, one of the gesture operation and the voice operation is assigned to one operation.

図４に示すように、ジェスチャ操作によって“次のページ/前のページ”操作、“上下スクロール”操作、および“拡大/縮小”操作を行うことが可能である。“次のページ/前のページ”操作は、ジェスチャ情報が手のひらが左右に移動していることを示している場合に行われる。“上下スクロール”操作は、ジェスチャ情報が手のひらが上下に移動していることを示している場合に行われる。“拡大/縮小”操作は、ジェスチャ情報が二つの手のひらが「離れていく」／「近づいていく」ことを示している場合に行われる。   As shown in FIG. 4, a “next page / previous page” operation, an “up / down scroll” operation, and an “enlarge / reduce” operation can be performed by a gesture operation. The “next page / previous page” operation is performed when the gesture information indicates that the palm is moving left and right. The “up / down scroll” operation is performed when the gesture information indicates that the palm is moving up and down. The “enlarge / reduce” operation is performed when the gesture information indicates that the two palms “go away” / “approach”.

音声操作によって、“表示中のリンクへの移動”操作、“タブの切り替え”操作“印刷”操作、“お気に入り一覧表示”操作、“ページ設定”操作、および“メニューの名前”の操作を行うことが可能である。   Perform “go to displayed link” operation, “switch tab” operation “print” operation, “favorite list display” operation, “page setting” operation, and “menu name” operation by voice operation Is possible.

“表示ページ中のリンク先への移動”操作は、図５に示すように、ユーザが、ウェブブラウザ１３Ｃが表示しているウィンドウ５０１内に表示されている、下線が引かれているキーワード（LinkA、LinkB、LinkC、LinkD、LinkE、LinkF、LinkG）を呼ぶことで、ウィンドウ５０１内にキーワードに対応するリンク先のウェブページを表示させる操作である。下線が引かれているキーワードが呼ばれると、ウェブブラウザ１３Ｃがウィンドウ５０１内にキーワードに対応する対応するリンク先のデータを読み込む。ウェブブラウザ１３Ｃは、読み込んだデータに基づいたウェブページをウィンドウ５０１内に表示する。   As shown in FIG. 5, the “move to link destination in the display page” operation is performed by the user underlined keywords (LinkA displayed in the window 501 displayed by the web browser 13C). , LinkB, LinkC, LinkD, LinkE, LinkF, LinkG) to display the link destination web page corresponding to the keyword in the window 501. When the underlined keyword is called, the web browser 13C reads the corresponding link destination data corresponding to the keyword in the window 501. The web browser 13 </ b> C displays a web page based on the read data in the window 501.

“タブの切り替え”操作は、ウェブブラウザ１３Ｃが、一つのウィンドウ内に複数のウェブページを表示可能な場合に、表示するウェブページを切り替える操作である。   The “tab switching” operation is an operation for switching the web page to be displayed when the web browser 13C can display a plurality of web pages in one window.

“印刷”操作は、表示中のウェブページを印刷する操作である。   The “print” operation is an operation for printing the web page being displayed.

“お気に入り一覧表示”操作は、ウェブブラウザ１３Ｃのウィンドウ内にお気に入りの一覧を表示させるための操作である。   The “favorite list display” operation is an operation for displaying a list of favorites in the window of the web browser 13C.

“ページ設定”操作は、通常“ファイル”メニュー内の“ページ設定”を選択することで表示されるページ設定ウィンドウを表示させるための操作である。   The “page setting” operation is an operation for displaying a page setting window that is normally displayed by selecting “page setting” in the “file” menu.

“メニューの名前”操作は、ウェブブラウザ１３Ｃのウィンドウ内にメニューバーに表示される、ファイルメニュー、編集メニュー、表示メニュー、お気に入りメニュー、ツールメニュー、およびヘルプメニューの何れかを表示させるための操作である。ユーザが、ファイル、編集、表示、お気に入り、ツール、およびヘルプの何れかを呼ぶことで、対応するメニューが表示される。表示後、ユーザ、上または下を呼ぶことで、メニュー内の選択項目が移動する。また、ユーザが“決定”を呼ぶことで、選択項目に対応する処理がウェブブラウザ１３Ｃによって行われる。   The “menu name” operation is an operation for displaying one of a file menu, an edit menu, a display menu, a favorite menu, a tool menu, and a help menu displayed on the menu bar in the window of the web browser 13C. is there. When the user calls one of file, edit, display, favorite, tool, and help, a corresponding menu is displayed. After the display, the selection item in the menu moves by calling the user, up or down. Further, when the user calls “determine”, the process corresponding to the selected item is performed by the web browser 13C.

また、ユーザがメインメニューと呼ぶと、メインメニュー表示部３１３は、図６に示す、メインメニューウィンドウを表示する。この状態で、ユーザが下線が引かれているキーワード（天気予報、ニュース、急上昇ワードランキング、トレンドサーフィン）を呼ぶことで、ウェブブラウザ１３Ｃが対応するウェブページを表示する。また、ユーザが下線が引かれているキーワード（ソフトウェア、サポート）を呼ぶことで、メインメニュー表示部３１３がキーワードに対応するアプリケーションプログラムを起動する。   When the user calls the main menu, the main menu display unit 313 displays a main menu window shown in FIG. In this state, the web browser 13C displays the corresponding web page when the user calls an underlined keyword (weather forecast, news, soaring word ranking, trend surfing). In addition, when the user calls an underlined keyword (software, support), the main menu display unit 313 activates an application program corresponding to the keyword.

静的に決まっていて且つ直感的な操作をジェスチャ操作に割り当て、コンテンツなどにより動的に変わる操作や各機能の名前を音声操作に割り当て、ジェスチャ操作と音声操作とを同時に使用することで、ユーザの操作性が向上する。   Assign static operations and intuitive operations to gesture operations, assign operations that change dynamically depending on content, etc., and names of functions to voice operations, and use gesture operations and voice operations at the same time. Improved operability.

なお、ジェスチャ情報が音声操作を停止させるためのジェスチャを示している場合、ジェスチャ操作部３０２は、制御部３２０に音声操作の停止を要求する。また、音声情報が手振り操作を停止させるための音声を示している場合、音声操作部３１２は、制御部３２０にジェスチャ操作の停止を要求する。   When the gesture information indicates a gesture for stopping the voice operation, the gesture operation unit 302 requests the control unit 320 to stop the voice operation. When the voice information indicates a voice for stopping the hand gesture operation, the voice operation unit 312 requests the control unit 320 to stop the gesture operation.

制御部３２０は、ジェスチャ認識部３０１、ジェスチャ操作部３０２、音声認識部３１１、および音声操作部３１２を制御する。通常、制御部３２０は、ジェスチャ認識部３０１、ジェスチャ操作部３０２、音声認識部３１１、および音声操作部３１２を同時に動作させる。   The control unit 320 controls the gesture recognition unit 301, the gesture operation unit 302, the voice recognition unit 311, and the voice operation unit 312. Normally, the control unit 320 causes the gesture recognition unit 301, the gesture operation unit 302, the voice recognition unit 311, and the voice operation unit 312 to operate simultaneously.

ジェスチャ操作部３０２が音声操作の停止を制御部３２０に要求した場合、制御部３２０は、音声認識部３１１および音声操作部３１２の動作を停止させる。そして、制御部３２０は、音声操作部３１２に割り当てられていた操作をジェスチャ操作部３０２に割り当てる。   When the gesture operation unit 302 requests the control unit 320 to stop the voice operation, the control unit 320 stops the operations of the voice recognition unit 311 and the voice operation unit 312. Then, the control unit 320 assigns the operation assigned to the voice operation unit 312 to the gesture operation unit 302.

音声操作の停止後に、ジェスチャ操作部３０２に割り当てられている操作を図７に示す。図７に示すように、“表示ページ中のリンク先への移動”、“リスト”メニュー表示操作、操作、“タブの切り替え”操作、“印刷”操作、“お気に入り一覧表示”操作、“ページ設定”操作、“メニューの名前”操作、および“決定”操作がジェスチャ操作に追加されている。   FIG. 7 shows an operation assigned to the gesture operation unit 302 after the voice operation is stopped. As shown in FIG. 7, “move to link destination in display page”, “list” menu display operation, operation, “tab switching” operation, “print” operation, “favorite list display” operation, “page setting” “Operation”, “Menu Name” operation, and “Determine” operation have been added to the gesture operation.

音声操作の停止後、制御部３２０は、図８に示すように、吹き出し８０１内に「音声操作が無効になりました。ジェスチャ操作などで、やりたいことを選んでください。」と表示し、音声操作が停止されたことをユーザに通知する。   After the voice operation is stopped, the control unit 320 displays “Sound operation has been disabled. Please select what you want to do by gesture operation” in a balloon 801 as shown in FIG. Notify the user that the operation has been stopped.

また、制御部は、ジェスチャ操作部３０２は、リンク先リストウィンドウ８０２を表示する。リンク先リストウィンドウ８０２が表示されている場合、ジェスチャ操作部３０２は、ジェスチャ情報が拳が上下に移動していることを示している場合に、選択リンク先（白字表示部分）を変化させる。ジェスチャ情報が拳から手のひらに変わったことを示している場合、ジェスチャ操作部３０２は、選択リンク先のウェブページを表示するようにウェブブラウザ１３Ｃに要求する。   Further, the control unit displays the gesture destination unit 302 and the link destination list window 802. When the link destination list window 802 is displayed, the gesture operation unit 302 changes the selected link destination (white character display portion) when the gesture information indicates that the fist is moving up and down. If the gesture information indicates that the fist has changed to the palm, the gesture operation unit 302 requests the web browser 13C to display the web page of the selected link destination.

また、ジェスチャ情報が手のひらが円を描くように移動していることを示している場合、ジェスチャ操作部３０２は、図９に示すリストメニュー９０１を表示する。ジェスチャ情報が拳が上下に移動していることを示している場合に、選択項目（白字表示部分）を変化させる。ジェスチャ情報が拳から手のひらに変わったことを示している場合、ジェスチャ操作部３０２は、選択項目に応じた処理を行うようにウェブブラウザ１３Ｃに要求する。   When the gesture information indicates that the palm moves so as to draw a circle, the gesture operation unit 302 displays a list menu 901 shown in FIG. When the gesture information indicates that the fist is moving up and down, the selection item (white character display portion) is changed. When the gesture information indicates that the fist has changed to the palm, the gesture operation unit 302 requests the web browser 13C to perform processing according to the selected item.

音声操作部３１２がジェスチャ操作の停止を制御部３２０に要求した場合、制御部３２０は、ジェスチャ認識部３０１およびジェスチャ操作部３０２の動作を停止させる。そして、制御部３２０は、ジェスチャ操作部３０２に割り当てられていた操作を音声操作部３１２に割り当てる。   When the voice operation unit 312 requests the control unit 320 to stop the gesture operation, the control unit 320 stops the operations of the gesture recognition unit 301 and the gesture operation unit 302. Then, the control unit 320 assigns the operation assigned to the gesture operation unit 302 to the voice operation unit 312.

音声操作の停止後、制御部３２０は、図１０に示すように、吹き出し１００１内に「ジェスチャ操作が無効になりました。音声操作などで、やりたいことを選んでください。」と表示し、ジェスチャ操作が停止されたことをユーザに通知する。   After stopping the voice operation, as shown in FIG. 10, the control unit 320 displays in the balloon 1001 “The gesture operation has been disabled. Please select what you want to do with the voice operation.” Notify the user that the operation has been stopped.

ジェスチャ操作の停止後に、音声操作部３１２によって操作可能な操作を図１１に示す。図１１に示すように、拡大/縮小”操作、“上下スクロール”操作、および“次のページ/前のページ”操作が、音声操作に追加されている。   FIG. 11 shows operations that can be performed by the voice operation unit 312 after the stop of the gesture operation. As shown in FIG. 11, an “enlarge / reduce” operation, an “up / down scroll” operation, and a “next page / previous page” operation are added to the voice operation.

音声操作およびジェスチャ操作の実行および終了の手順について図１２を参照して説明する。
例えば起動／終了ボタン２９の操作によりナビゲーションプログラム１３Ｂの起動が要求されることによって、ジェスチャ認識部３０１、ジェスチャ操作部３０２、音声認識部３１１、音声操作部３１２、および制御部３２０の実行が開始される。音声認識部３１１および音声操作部３１２の実行開始により、音声操作が開始される(ステップＢ１２０１）。ジェスチャ認識部３０１およびジェスチャ操作部３０２の実行開始によりジェスチャ操作が開始される(ステップＢ１２０２）。例えば起動／終了ボタン２９の操作によりナビゲーションプログラム１３Ｂの終了が要求された場合（ステップＢ１２０１のＹｅｓ）、ジェスチャ操作部３０２、音声認識部３１１、音声操作部３１２、および制御部３２０の実行が終了される。音声認識部３１１および音声操作部３１２の実行停止により、音声操作が終了する（ステップＢ１２０４）。ジェスチャ認識部３０１およびジェスチャ操作部３０２の実行停止により、ジェスチャ操作が終了する（ステップＢ１２０５）。 A procedure for executing and ending voice operation and gesture operation will be described with reference to FIG.
For example, when the activation of the navigation program 13B is requested by operating the start / end button 29, execution of the gesture recognition unit 301, the gesture operation unit 302, the voice recognition unit 311, the voice operation unit 312, and the control unit 320 is started. The The voice operation is started by the execution of the voice recognition unit 311 and the voice operation unit 312 (step B1201). Gesture operation is started by the start of execution of the gesture recognition unit 301 and the gesture operation unit 302 (step B1202). For example, when the end of the navigation program 13B is requested by operating the start / end button 29 (Yes in step B1201), the execution of the gesture operation unit 302, the voice recognition unit 311, the voice operation unit 312 and the control unit 320 is ended. The When the execution of the voice recognition unit 311 and the voice operation unit 312 is stopped, the voice operation ends (step B1204). When the execution of the gesture recognition unit 301 and the gesture operation unit 302 is stopped, the gesture operation ends (step B1205).

次に、音声操作停止動作を含むジェスチャ操作の動作について図１３を参照して説明する。音声操作停止動作は、周りの騒音が大きく、音声の認識精度が落ちる環境であると判定したユーザがジェスチャ操作で要求した場合に行われる。   Next, gesture operation including voice operation stop operation will be described with reference to FIG. The voice operation stop operation is performed when a user who has determined that the surrounding noise is large and the voice recognition accuracy is deteriorated requests a gesture operation.

制御部３２０は、ジェスチャ操作の停止が要求されているかを判定する（ステップＢ１３０１）。ジェスチャ操作の停止が要求されていると判定した場合（ステップＢ１３０１のＹｅｓ）、制御部３２０は、ジェスチャ認識部３０１およびジェスチャ操作部３０２の実行停止により、ジェスチャ操作を終了させる。   The control unit 320 determines whether or not the stop of the gesture operation is requested (step B1301). When it is determined that the stop of the gesture operation is requested (Yes in Step B1301), the control unit 320 ends the gesture operation by stopping the execution of the gesture recognition unit 301 and the gesture operation unit 302.

ジェスチャ操作の停止が要求されていないと判定した場合（ステップＢ１３０１のＮｏ）に、ジェスチャ認識部３０１からジェスチャ操作部３０２にジェスチャ情報が入力されたら、ジェスチャ操作部３０２は、ジェスチャ情報が音声操作停止コマンドに対応しているかを判定する（ステップＢ１３０３）。つまり、ジェスチャ操作部３０２は、ジェスチャ情報が示すジェスチャが、音声操作停止コマンドに割り当てられているジェスチャであるかを判定する。音声操作停止コマンドに対応していると判定した場合（ステップＢ１３０３のＹｅｓ）、制御部３２０に音声操作の停止を要求する。制御部３２０は、図１４に示すような音声操作で行える操作の一覧を表示し、音声操作で操作可能であった操作コマンドがジェスチャ操作で行えることをユーザに通知する（ステップＢ１３０４）。また、制御部３２０は、音声操作に割り当てられていた操作コマンドを音声操作部３１２の代わりに、ジェスチャ操作部３０２に割り当てる。制御部３２０は、音声認識部３１１および音声操作部３１２の実行を停止し、音声操作を停止させる（ステップＢ１３０５）。   If it is determined that the stop of the gesture operation is not requested (No in step B1301), when the gesture information is input from the gesture recognition unit 301 to the gesture operation unit 302, the gesture operation unit 302 stops the gesture operation of the voice operation. It is determined whether the command is supported (step B1303). That is, the gesture operation unit 302 determines whether the gesture indicated by the gesture information is a gesture assigned to the voice operation stop command. If it is determined that the voice operation stop command is supported (Yes in step B1303), the control unit 320 is requested to stop the voice operation. The control unit 320 displays a list of operations that can be performed by voice operation as shown in FIG. 14, and notifies the user that an operation command that can be operated by voice operation can be performed by a gesture operation (step B1304). In addition, the control unit 320 assigns the operation command assigned to the voice operation to the gesture operation unit 302 instead of the voice operation unit 312. The control unit 320 stops the execution of the voice recognition unit 311 and the voice operation unit 312 and stops the voice operation (step B1305).

ステップＢ１３０３において、音声操作停止コマンドに対応していないと判定した場合（ステップＢ１３０３のＮｏ）、ジェスチャ操作部３０２は、ジェスチャ情報が音声操作開始コマンドに対応しているかを判定する（ステップＢ１３０６）。ジェスチャ情報が音声操作開始コマンドに対応していると判定した場合（ステップＢ１３０６のＹｅｓ）、ジェスチャ操作部３０２は、制御部３２０に音声操作の開始を要求する。制御部３２０は、音声認識部３１１および音声操作部３１２を実行させ、音声操作を開始する（ステップＢ１３０７）。このとき、制御部３２０は、ジェスチャ操作部３０２に追加割り当てした操作コマンドのジェスチャ操作部３０２への割り当てを解除する。ジェスチャ情報が音声操作開始コマンドに対応していないと判定した場合（ステップＢ１３０６のＮｏ）、ジェスチャ操作部３０２は、ジェスチャ情報が対応するジェスチャ操作コマンドに応じた処理を行う（ステップＢ１３０８）。   If it is determined in step B1303 that the voice operation stop command is not supported (No in step B1303), the gesture operation unit 302 determines whether the gesture information corresponds to the voice operation start command (step B1306). If it is determined that the gesture information corresponds to the voice operation start command (Yes in step B1306), the gesture operation unit 302 requests the control unit 320 to start the voice operation. The control unit 320 causes the voice recognition unit 311 and the voice operation unit 312 to be executed and starts a voice operation (step B1307). At this time, the control unit 320 cancels the assignment of the operation command additionally assigned to the gesture operation unit 302 to the gesture operation unit 302. When it is determined that the gesture information does not correspond to the voice operation start command (No in Step B1306), the gesture operation unit 302 performs processing according to the gesture operation command corresponding to the gesture information (Step B1308).

次に、ジェスチャ操作停止動作を含む音声操作の動作について図１５を参照して説明する。ジェスチャ操作停止動作は、周りで人や物が頻繁に動いており、ジェスチャの認識精度が落ちる環境であると判定したユーザが音声操作で要求した場合に行われる。   Next, the operation of the voice operation including the gesture operation stop operation will be described with reference to FIG. The gesture operation stop operation is performed when a user who has determined that the environment is in an environment in which gesture recognition accuracy is degraded due to frequent movements of people and objects around the user, and requested by voice operation.

制御部３２０は、音声操作の停止が要求されているかを判定する（ステップＢ１５０１）。音声操作の停止が要求されていると判定した場合（ステップＢ１５０１のＹｅｓ）、制御部３２０は、音声認識部３１１および音声操作部３１２の実行停止により、音声操作を終了させる。   The control unit 320 determines whether or not the stop of the voice operation is requested (step B1501). When it is determined that the stop of the voice operation is requested (Yes in step B1501), the control unit 320 ends the voice operation by stopping the execution of the voice recognition unit 311 and the voice operation unit 312.

音声操作の停止が要求されていないと判定した場合（ステップＢ１５０１のＮｏ）に、音声認識部３１１から音声操作部３１２に音声情報が入力されたら、音声操作部３１２は、音声情報がジェスチャ操作停止コマンドに対応しているかを判定する（ステップＢ１５０３）。つまり、音声操作部３１２は、音声情報が示す音声が、ジェスチャ操作停止コマンドに割り当てられている音声であるかを判定する。ジェスチャ操作停止コマンドに対応していると判定した場合（ステップＢ１５０３のＹｅｓ）、ジェスチャ操作停止コマンドが入力された旨を制御部３２０に通知する。制御部３２０は、図１６に示すようなジェスチャ操作で行えるコマンドの一覧を表示し、ジェスチャ操作で操作可能であった操作コマンドが音声操作で行えることをユーザに通知する（ステップＢ１５０４）。また、制御部３２０は、音声操作部３１２に、ジェスチャ操作に割り当てられていた操作コマンドをジェスチャ操作部３０２に割り当てる。制御部３２０は、ジェスチャ認識部３０１および音声操作部３１２の実行を停止し、ジェスチャ操作を停止させる（ステップＢ１５０５）。   When it is determined that the stop of the voice operation is not requested (No in Step B1501), when voice information is input from the voice recognition unit 311 to the voice operation unit 312, the voice operation unit 312 stops the gesture operation. It is determined whether the command is supported (step B1503). That is, the voice operation unit 312 determines whether the voice indicated by the voice information is a voice assigned to the gesture operation stop command. If it is determined that the gesture operation stop command is supported (Yes in step B1503), the control unit 320 is notified that the gesture operation stop command has been input. The control unit 320 displays a list of commands that can be performed by the gesture operation as shown in FIG. 16, and notifies the user that the operation command that can be operated by the gesture operation can be performed by the voice operation (step B1504). Also, the control unit 320 assigns the operation command assigned to the gesture operation to the voice operation unit 312 to the gesture operation unit 302. The control unit 320 stops execution of the gesture recognition unit 301 and the voice operation unit 312 and stops the gesture operation (step B1505).

ステップＢ１５０３において、ジェスチャ操作停止コマンドに対応していないと判定した場合（ステップＢ１５０３のＮｏ）、音声操作部３１２は、音声情報がジェスチャ操作開始コマンドに対応しているかを判定する（ステップＢ１５０６）。音声情報がジェスチャ操作開始コマンドに対応していると判定した場合（ステップＢ１５０６のＹｅｓ）、音声操作部３１２は、制御部３２０にジェスチャ操作開始コマンドが入力されたことを通知する。制御部３２０は、ジェスチャ認識部３０１およびジェスチャ操作部３０２を実行させ、ジェスチャ操作を開始する（ステップＢ１５０７）。   If it is determined in step B1503 that the gesture operation stop command is not supported (No in step B1503), the voice operation unit 312 determines whether the voice information corresponds to the gesture operation start command (step B1506). When it is determined that the voice information corresponds to the gesture operation start command (Yes in step B1506), the voice operation unit 312 notifies the control unit 320 that the gesture operation start command has been input. The control unit 320 causes the gesture recognition unit 301 and the gesture operation unit 302 to execute and starts the gesture operation (step B1507).

このとき、制御部３２０は、音声操作部３１２に追加割り当てした操作コマンドの音声操作部３１２への割り当てを解除する。音声情報がジェスチャ操作開始コマンドに対応していないと判定した場合（ステップＢ１５０６のＮｏ）、音声操作部３１２は、音声情報が対応する音声操作コマンドに応じた処理を行う（ステップＢ１５０８）。 At this time, the control unit 320 cancels the assignment of the operation command additionally assigned to the voice operation unit 312 to the voice operation unit 312. When it is determined that the voice information does not correspond to the gesture operation start command (No in Step B1506), the voice operation unit 312 performs processing according to the voice operation command corresponding to the voice information (Step B1508).

ジェスチャ操作部３０２および音声操作部３１２の一方がコンピュータ１に操作を要求することを許可し、ジェスチャ操作部３０２および音声操作部３１２の他方がコンピュータ１に操作を要求することを禁止することで、一方の操作部のみがコンピュータ１に操作を指示することが可能になる。例えば、認識精度が落ちる方の操作部がコンピュータ１に操作を要求することを禁止することで、誤認識による誤操作を防止することが可能になる。   By permitting one of the gesture operation unit 302 and the voice operation unit 312 to request an operation from the computer 1 and prohibiting the other of the gesture operation unit 302 and the voice operation unit 312 from requesting an operation from the computer 1, Only one operation unit can instruct the computer 1 to operate. For example, it is possible to prevent an erroneous operation due to erroneous recognition by prohibiting the operation unit with the lower recognition accuracy from requesting the computer 1 to perform an operation.

ジェスチャ操作停止のトリガーを音声操作とする、または音声操作停止のトリガーをジェスチャ操作とすることで、誤認識や待機中のＣＰＵやメモリの使用量を軽減することが可能になる。   By using a gesture operation stop trigger as a voice operation or a voice operation stop trigger as a gesture operation, it is possible to reduce misrecognition and the amount of CPU and memory used during standby.

また、ジェスチャ操作を無効にする際に、ジェスチャ操作で行える操作を音声操作に追加することで、音声操作のみでもユーザが操作可能になる。   Further, when the gesture operation is invalidated, an operation that can be performed by the gesture operation is added to the voice operation, so that the user can perform the operation only by the voice operation.

音声操作を無効にする際に、音声操作で行える操作をリスト形式で表示し、ジェスチャ操作にて選択可能にすることで、ジェスチャ操作のみでもユーザが操作可能になる。   When the voice operation is invalidated, the operations that can be performed by the voice operation are displayed in a list format and can be selected by the gesture operation, so that the user can perform the operation only by the gesture operation.

なお、加速度センサ３３の測定する加速度が設定値を超えている場合、移動していることが想定されるので、制御部３２０は、ジェスチャ操作を停止させても良い。   In addition, since it is assumed that it is moving when the acceleration which the acceleration sensor 33 measures exceeds a setting value, the control part 320 may stop gesture operation.

本実施形態のナビゲーションプログラムによって処理される手順はプログラムによって実現することができるので、このプログラムを格納したコンピュータ読み取り可能な記憶媒体を通じてこのプログラムを通常のコンピュータにインストールして実行することにより、本実施形態と同様の効果を容易に実現することができる。   Since the procedure processed by the navigation program of this embodiment can be realized by a program, this program is installed in a normal computer and executed through a computer-readable storage medium storing this program. The same effect as that of the embodiment can be easily realized.

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。   Although several embodiments of the present invention have been described, these embodiments are presented by way of example and are not intended to limit the scope of the invention. These novel embodiments can be implemented in various other forms, and various omissions, replacements, and changes can be made without departing from the scope of the invention. These embodiments and modifications thereof are included in the scope and gist of the invention, and are included in the invention described in the claims and the equivalents thereof.

１…パーソナルコンピュータ、１３Ａ…オペレーティングシステム、１３Ｂ…ナビゲーションプログラム、１３Ｃ…ウェブブラウザ、１７…サウンドコントローラ、３１…ビデオカメラ、３２…マイクロホン、３３…加速度センサ、３０１…ジェスチャ認識部、３０２…ジェスチャ操作部、３１１…音声認識部、３１２…音声操作部、３１３…メインメニュー表示部、３２０…制御部。   DESCRIPTION OF SYMBOLS 1 ... Personal computer, 13A ... Operating system, 13B ... Navigation program, 13C ... Web browser, 17 ... Sound controller, 31 ... Video camera, 32 ... Microphone, 33 ... Acceleration sensor, 301 ... Gesture recognition part, 302 ... Gesture operation part 311 ... Voice recognition unit, 312 ... Voice operation unit, 313 ... Main menu display unit, 320 ... Control unit.

Claims (7)

カメラから出力された映像データ内に含まれる人物の身振りを認識する身振り認識手段と、
前記身振り認識手段が第１の身振りを認識した場合、前記第１の身振りに対応する第１の操作を実行する身振り操作実行手段と、
マイクロフォンから出力された音声信号から音声を認識する音声認識手段と、
前記音声認識手段が第１の音声を認識した場合、前記第１の音声に対応する前記第１の操作を実行する音声操作実行手段と、
前記身振り操作実行手段および前記音声操作実行手段の一方が前記第１の操作を実行することを許可し、前記身振り操作実行手段および前記音声操作実行手段の他方が前記第１の操作を実行することを禁止する制御手段と、
を具備する情報処理装置。 Gesture recognition means for recognizing the gesture of a person included in the video data output from the camera;
A gesture operation executing means for executing a first operation corresponding to the first gesture when the gesture recognition means recognizes the first gesture;
Voice recognition means for recognizing voice from a voice signal output from a microphone;
Voice operation executing means for executing the first operation corresponding to the first voice when the voice recognition means recognizes the first voice;
One of the gesture operation executing means and the voice operation executing means is permitted to execute the first operation, and the other of the gesture operation executing means and the voice operation executing means executes the first operation. Control means for prohibiting,
An information processing apparatus comprising: 前記身振り認識手段が第２の身振りを認識した場合に、前記制御手段は、前記身振り操作実行手段が前記第１の操作を実行することを許可し、前記音声操作実行手段が前記第１の操作を実行することを禁止し、
前記音声認識手段が第２の音声を認識した場合に、前記制御手段は、前記音声操作実行手段が前記第１の操作を実行することを許可し、前記身振り操作実行手段が前記第１の操作を実行することを禁止する、
請求項１に記載の情報処理装置。 When the gesture recognition unit recognizes the second gesture, the control unit permits the gesture operation execution unit to execute the first operation, and the voice operation execution unit performs the first operation. Is prohibited to perform
When the voice recognition unit recognizes the second voice, the control unit permits the voice operation execution unit to execute the first operation, and the gesture operation execution unit performs the first operation. Prohibit to perform,
The information processing apparatus according to claim 1. 前記身振り認識手段が前記第２の身振りを認識した場合に、前記制御手段は、前記音声認識手段および前記音声操作実行手段の動作を停止させ、
前記音声認識手段が前記第２の音声を認識した場合に、前記制御手段は、前記身振り認識手段および前記身振り操作実行手段の動作を停止させる、
請求項２に記載の情報処理装置。 When the gesture recognition means recognizes the second gesture, the control means stops the operations of the voice recognition means and the voice operation execution means,
When the voice recognition means recognizes the second voice, the control means stops the gesture recognition means and the gesture operation execution means;
The information processing apparatus according to claim 2. 前記身振り認識手段が前記第２の身振りを認識した場合に、前記制御手段が、前記音声操作実行手段による操作が禁止されている旨を通知し、
前記音声認識手段が前記第２の音声を認識した場合に、前記制御手段が、前記身振り操作実行手段による操作が禁止されている旨を通知する通知手段を更に具備する請求項２に記載の情報処理装置。 When the gesture recognition unit recognizes the second gesture, the control unit notifies that the operation by the voice operation execution unit is prohibited,
The information according to claim 2, further comprising a notifying unit that notifies that the operation by the gesture operation executing unit is prohibited when the voice recognizing unit recognizes the second voice. Processing equipment. 前記音声操作実行手段は、前記音声認識手段が第３の音声を認識した場合、第２の操作を実行し、前記音声認識手段が第４の音声を認識した場合、第３の操作を実行し、
前記制御手段が、前記音声操作実行手段による操作を禁止し、前記身振り認識手段が第３の身振りを認識した場合、前記第２の操作および前記第３の操作の一方を前記人物に選択させるための選択ウィンドウを表示装置の表示画面上に表示する表示手段を更に具備し、
前記身振り操作実行手段は、前記身振り検出手段の認識結果に応じて前記第２の操作または前記第３の操作を実行する
請求項３に記載の情報処理装置。 The voice operation execution means executes the second operation when the voice recognition means recognizes the third voice, and executes the third operation when the voice recognition means recognizes the fourth voice. ,
When the control unit prohibits the operation by the voice operation executing unit and the gesture recognition unit recognizes the third gesture, the control unit causes the person to select one of the second operation and the third operation. Display means for displaying the selection window on the display screen of the display device,
The information processing apparatus according to claim 3, wherein the gesture operation execution unit executes the second operation or the third operation according to a recognition result of the gesture detection unit. 加速度センサを更に具備し、
前記加速度センサによって検出された加速度が設定値を超えている場合に、前記制御手段は、前記音声操作実行手段が前記第１の操作を実行することを許可し、前記身振り操作実行手段が前記第１の操作を実行することを禁止する
請求項１に記載の情報処理装置。 An acceleration sensor,
When the acceleration detected by the acceleration sensor exceeds a set value, the control unit permits the voice operation execution unit to execute the first operation, and the gesture operation execution unit performs the first operation. The information processing apparatus according to claim 1, wherein execution of one operation is prohibited. カメラから出力された映像データ内に含まれる人物の身振りを認識する身振り認識手段と、前記身振り認識手段が第１の身振りを認識した場合、前記第１の身振りに対応する第１の操作を実行する身振り操作実行手段と、マイクロフォンから出力された音声信号から音声を認識する音声認識手段と、前記音声認識手段が第１の音声を認識した場合、前記第１の音声に対応する第１の操作を実行する音声操作実行手段とを具備する情報処理装置の制御方法であって、
前記身振り操作実行手段および前記音声操作実行手段の一方が前記第１の操作を実行することを許可し、前記身振り操作実行手段および前記音声操作実行手段の他方が前記第１の操作を実行することを禁止する
情報処理装置の制御方法。 Gesture recognition means for recognizing the gesture of a person included in the video data output from the camera, and when the gesture recognition means recognizes the first gesture, the first operation corresponding to the first gesture is executed. Gesturing operation performing means, voice recognition means for recognizing voice from a voice signal output from a microphone, and a first operation corresponding to the first voice when the voice recognition means recognizes the first voice A control method of an information processing apparatus comprising voice operation executing means for executing
One of the gesture operation executing means and the voice operation executing means is permitted to execute the first operation, and the other of the gesture operation executing means and the voice operation executing means executes the first operation. Control method of information processing apparatus prohibiting
JP2012050669A 2012-03-07 2012-03-07 Information processor and method for controlling information processor Pending JP2013186646A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012050669A JP2013186646A (en) 2012-03-07 2012-03-07 Information processor and method for controlling information processor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012050669A JP2013186646A (en) 2012-03-07 2012-03-07 Information processor and method for controlling information processor

Publications (1)

Publication Number Publication Date
JP2013186646A true JP2013186646A (en) 2013-09-19

Family

ID=49388027

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012050669A Pending JP2013186646A (en) 2012-03-07 2012-03-07 Information processor and method for controlling information processor

Country Status (1)

Country Link
JP (1) JP2013186646A (en)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015108870A (en) * 2013-12-03 2015-06-11 富士通株式会社 Operation input device, operation input program, and operation input method
JP2015125670A (en) * 2013-12-27 2015-07-06 日立マクセル株式会社 Image projector
WO2017057106A1 (en) * 2015-09-28 2017-04-06 日本電気株式会社 Input device, input method, and program
JP2017207891A (en) * 2016-05-18 2017-11-24 ソニーモバイルコミュニケーションズ株式会社 Information processor, information processing system, information processing method
JP2020149054A (en) * 2019-03-13 2020-09-17 アイ−スクリーム メディア カンパニー，リミテッド Server and system for controlling smart microphone
JP2021103580A (en) * 2020-05-25 2021-07-15 ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッドＢｅｉｊｉｎｇ Ｂａｉｄｕ Ｎｅｔｃｏｍ Ｓｃｉｅｎｃｅ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．， Ｌｔｄ． Method for interaction of smart back mirror, device, electronic apparatus, and storage medium

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015108870A (en) * 2013-12-03 2015-06-11 富士通株式会社 Operation input device, operation input program, and operation input method
JP2015125670A (en) * 2013-12-27 2015-07-06 日立マクセル株式会社 Image projector
WO2017057106A1 (en) * 2015-09-28 2017-04-06 日本電気株式会社 Input device, input method, and program
CN108027656A (en) * 2015-09-28 2018-05-11 日本电气株式会社 Input equipment, input method and program
JPWO2017057106A1 (en) * 2015-09-28 2018-07-05 日本電気株式会社 Input device, input method, and program
US10168769B2 (en) 2015-09-28 2019-01-01 Nec Corporation Input apparatus, input method, and program
JP2017207891A (en) * 2016-05-18 2017-11-24 ソニーモバイルコミュニケーションズ株式会社 Information processor, information processing system, information processing method
JP2020149054A (en) * 2019-03-13 2020-09-17 アイ−スクリーム メディア カンパニー，リミテッド Server and system for controlling smart microphone
JP2021103580A (en) * 2020-05-25 2021-07-15 ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッドＢｅｉｊｉｎｇ Ｂａｉｄｕ Ｎｅｔｃｏｍ Ｓｃｉｅｎｃｅ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．， Ｌｔｄ． Method for interaction of smart back mirror, device, electronic apparatus, and storage medium
JP7204804B2 (en) 2020-05-25 2023-01-16 阿波▲羅▼智▲聯▼（北京）科技有限公司 Smart rearview mirror interaction method, device, electronic device and storage medium

Similar Documents

Publication Publication Date Title
CN105589555B (en) Information processing method, information processing apparatus, and electronic apparatus
US20220107771A1 (en) Devices, Methods, and Graphical User Interfaces for Wireless Pairing with Peripheral Devices and Displaying Status Information Concerning the Peripheral Devices
US20200225819A1 (en) Device, method, and graphical user interface for switching between two user interfaces
JP6999513B2 (en) Image display method and mobile terminal
US9286895B2 (en) Method and apparatus for processing multiple inputs
RU2675153C2 (en) Method for providing feedback in response to user input and terminal implementing same
WO2021057337A1 (en) Operation method and electronic device
US20140325443A1 (en) Method and apparatus for operating menu in electronic device including touch screen
JP2013186646A (en) Information processor and method for controlling information processor
US20130257780A1 (en) Voice-Enabled Touchscreen User Interface
CN106257410B (en) Method, electronic device and apparatus for multi-mode disambiguation of voice-assisted inputs
EP2645290A2 (en) Devices and methods for unlocking a lock mode
KR101474856B1 (en) Apparatus and method for generateg an event by voice recognition
EP2983068A1 (en) Electronic device and method for processing letter input in electronic device
US10159046B2 (en) Mobile terminal device
US20170357568A1 (en) Device, Method, and Graphical User Interface for Debugging Accessibility Information of an Application
US20140180698A1 (en) Information processing apparatus, information processing method and storage medium
JP5198548B2 (en) Electronic device, display control method and program
TWI681307B (en) Electronic device, storage medium and method for processing letter input in electronic device
JP5468640B2 (en) Electronic device, electronic device control method, electronic device control program
US9536526B2 (en) Electronic device with speaker identification, method and storage medium
JP5752759B2 (en) Electronic device, method, and program
KR20130108748A (en) Method for providing menu setting service an electronic device thereof
CN114631140A (en) Content capture experience driven by multi-modal user input
WO2014103355A1 (en) Information processing device, information processing method, and program

Legal Events

Date Code Title Description
RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20130730

RD07 Notification of extinguishment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7427

Effective date: 20140319