JP2018103646A - Vehicular information display device and vehicular information display program - Google Patents

Vehicular information display device and vehicular information display program Download PDF

Info

Publication number
JP2018103646A
JP2018103646A JP2016249189A JP2016249189A JP2018103646A JP 2018103646 A JP2018103646 A JP 2018103646A JP 2016249189 A JP2016249189 A JP 2016249189A JP 2016249189 A JP2016249189 A JP 2016249189A JP 2018103646 A JP2018103646 A JP 2018103646A
Authority
JP
Japan
Prior art keywords
display
gesture
driver
vehicle
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2016249189A
Other languages
Japanese (ja)
Other versions
JP2018103646A5 (en
Inventor
岡本 圭司
Keiji Okamoto
圭司 岡本
Original Assignee
株式会社デンソー
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社デンソー, Denso Corp filed Critical 株式会社デンソー
Priority to JP2016249189A priority Critical patent/JP2018103646A/en
Publication of JP2018103646A publication Critical patent/JP2018103646A/en
Publication of JP2018103646A5 publication Critical patent/JP2018103646A5/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Arrangement of adaptations of instruments
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/02Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer

Abstract

PROBLEM TO BE SOLVED: To prevent a front visual field of a driver from being disturbed in the case of displaying feedback information being information responding to a gesture of the driver with a head-up display.SOLUTION: A control circuit 2 displays a gesture locus in a stop state of a vehicle, and executes display suppression processing by erasing the gesture locus in a traveling state of the vehicle. Thus, the visibility of the gesture locus can be increased while taking safety into consideration. Also, the driver can concentrate on driving by refraining from a gesture input in the traveling state of the vehicle.SELECTED DRAWING: Figure 1

Description

本発明は車両用情報表示装置及び車両用情報表示プログラムに関する。   The present invention relates to a vehicle information display device and a vehicle information display program.

運転者が体の一部を使用してジェスチャを描くことで車載装置に指示する場合、何もフィードバックが無い場合より、様々なフィードバックがあるほうが容易に入力できることが知られている。例えば特許文献1のように、フィードバックはジェスチャの軌跡が代表的である。これにより、ユーザは自身が思い浮かべたジェスチャが正しく描けているかを認識できる。あるいは、ジェスチャが誤認識または失敗した場合にも、その理由を推測することができ、次回以降のジェスチャ入力を補正することができる。   It is known that when a driver instructs a vehicle-mounted device by drawing a gesture using a part of the body, it is easier to input when there is various feedback than when there is no feedback. For example, as in Patent Document 1, the feedback is typically a gesture trajectory. Thereby, the user can recognize whether the gesture which he envisioned can be drawn correctly. Alternatively, even when a gesture is erroneously recognized or failed, the reason can be estimated, and the gesture input after the next time can be corrected.

特開平6−149467号公報JP-A-6-149467 特許第2999335号公報Japanese Patent No. 2999335 特開2004−303207号公報JP 2004-303207 A 特許第5601045号公報Japanese Patent No. 5601405 特開2014−67388号公報JP 2014-67388 A 特開2002−149304号公報JP 2002-149304 A 特開2002−259046号公報JP 2002-259046 A

フィードバックには、ジェスチャの軌跡のほかにも、現在の入力時点で推測されるジェスチャ図形を表示するもの(特許文献2または特許文献3参照)、ジェスチャ入力の進捗を表示するもの(特許文献4参照)、ジェスチャ入力時の身体部位をアイコン表示するもの(特許文献5参照)、軌跡等をLEDで表示するもの(特許文献6参照)などがある。   In addition to the gesture trajectory, the feedback displays a gesture figure estimated at the current input time (see Patent Document 2 or Patent Document 3), and displays the progress of gesture input (see Patent Document 4). ), Those that display body parts at the time of gesture input as icons (see Patent Document 5), and those that display trajectories or the like with LEDs (see Patent Document 6).

一方、特許文献7ではウェアラブルコンピュータのディスプレイにフィードバックを表示しているが、車両に適用する場合、ジェスチャのフィードバックはヘッドアップディスプレイにより表示することが考えられる。   On the other hand, in Patent Document 7, feedback is displayed on a display of a wearable computer, but when applied to a vehicle, it is conceivable that the feedback of a gesture is displayed by a head-up display.

しかしながら、走行中に運転者の前方となる視界となる目の前にジェスチャに応じたフィードバック情報を表示した場合、運転者の前方視界がフィードバック情報により妨げられてしまう。   However, when feedback information corresponding to a gesture is displayed in front of the eyes that are in front of the driver while traveling, the driver's front view is obstructed by the feedback information.

本発明は上記事情に鑑みてなされたもので、その目的は、運転者のジェスチャに応答した情報であるフィードバック情報をヘッドアップディスプレイにより表示する場合に、運転者の前方視界を妨げることがない車両用情報表示装置及び車両用情報表示プログラムを提供することにある。   The present invention has been made in view of the above circumstances, and an object of the present invention is to provide a vehicle that does not obstruct the driver's forward view when feedback information, which is information in response to the driver's gesture, is displayed on the head-up display. An object information display apparatus and a vehicle information display program are provided.

請求項1の発明によれば、運転者が車両用情報表示装置(1)に指示するためにジェスチャすると、ジェスチャ検出部(2a)がジェスチャ入力を検出し、認識部(2b)がジェスチャ入力を認識するので、情報生成部(2c)がジェスチャ入力に応じた情報であるフィードバック情報を生成する。そして、表示抑制部(2d)は、フィードバック情報を運転者の前方視界を妨げない態様でヘッドアップディスプレイ(10)により表示する表示抑制処理を実行する。これにより、フィードバック情報により運転者の前方視界が妨げられることはないので、前方の交通状況を確実に確認しながらフィードバック情報をも確認することができる。   According to the first aspect of the present invention, when the driver makes a gesture to instruct the vehicle information display device (1), the gesture detection unit (2a) detects the gesture input, and the recognition unit (2b) performs the gesture input. Since it recognizes, the information generation part (2c) produces | generates the feedback information which is the information according to gesture input. And a display suppression part (2d) performs the display suppression process which displays feedback information on a head-up display (10) in the aspect which does not prevent a driver | operator's front view. Thereby, since the driver's front view is not hindered by the feedback information, the feedback information can also be confirmed while confirming the traffic condition ahead.

第1実施形態におけるナビゲーション装置の構成を示す機能ブロック図Functional block diagram showing the configuration of the navigation device in the first embodiment ヘッドアップディスプレイの構成を示す模式図Schematic diagram showing the configuration of the head-up display インストルメントパネル周りの斜視図Perspective view around the instrument panel 指先を示すステアリングホイールの正面図Front view of steering wheel showing fingertips ジェスチャ入力の一例を示す図Diagram showing an example of gesture input 退避領域へのジェスチャ軌跡の表示状態を示すステアリングホイールの正面図Front view of the steering wheel showing the display state of the gesture trajectory in the retreat area 制御回路の動作を示すフローチャートFlow chart showing operation of control circuit 第2実施形態における前方領域へのジェスチャ軌跡の表示状態を示す図The figure which shows the display state of the gesture locus | trajectory to the front area | region in 2nd Embodiment. ジェスチャ軌跡の非表示状態を示す図The figure which shows the non-display state of a gesture locus 制御回路の動作を示すフローチャートFlow chart showing operation of control circuit 第4実施形態における前方領域へのジェスチャ軌跡の表示状態を示す図The figure which shows the display state of the gesture locus | trajectory to the front area | region in 4th Embodiment. 制御回路の動作を示すフローチャートFlow chart showing operation of control circuit 第5実施形態におけるジェスチャ軌跡の退避領域への表示状態を示す図The figure which shows the display state to the evacuation area | region of the gesture locus | trajectory in 5th Embodiment. 制御回路の動作を示すフローチャートFlow chart showing operation of control circuit 第6実施形態におけるジェスチャ軌跡の表示を示す図(その1)The figure which shows the display of the gesture locus | trajectory in 6th Embodiment (the 1) ジェスチャ軌跡の表示を示す図(その2)The figure which shows the display of the gesture locus (the 2) ジェスチャ軌跡の表示を示す図(その3)A diagram showing the display of the gesture trajectory (Part 3) 第7実施形態におけるコマンドを前方領域への表示状態を示す図The figure which shows the display state to the front area | region in the command in 7th Embodiment コマンドを退避領域への表示状態を示す図Figure showing the display status of commands in the save area 制御回路の動作を示すフローチャートFlow chart showing operation of control circuit 第8実施形態におけるエラー表示を前方領域への表示状態で示す図The figure which shows the error display in 8th Embodiment in the display state to a front area | region エラー表示を退避領域の表示状態で示す図Figure showing the error display in the save area display state 制御回路の動作を示すフローチャートFlow chart showing operation of control circuit

(第1実施形態)
以下、本発明を車両用ナビゲーション装置に適用した実施形態について説明する。まず、第1実施形態について図1から図7を参照して説明する。
(First embodiment)
Embodiments in which the present invention is applied to a vehicle navigation device will be described below. First, a first embodiment will be described with reference to FIGS.

図1に示すナビゲーション装置1(車両用情報表示装置に相当)は、制御回路2、前方監視装置3、GPS受信機4、距離センサ5、操作スイッチ群6、表示装置7、音声出力装置8、ジェスチャ検出装置9、ヘッドアップディスプレイ(以下、HUDと称する)10、通信装置11、プログラムを格納する記憶装置12、運転者の運転状態を検出する運転状態検出装置13を備えて構成されている。尚、記憶装置12は、ハードディスクドライブやフラッシュメモリに代表される半導体メモリのような非遷移的実体的記録媒体であればよい。   A navigation device 1 (corresponding to a vehicle information display device) shown in FIG. 1 includes a control circuit 2, a forward monitoring device 3, a GPS receiver 4, a distance sensor 5, an operation switch group 6, a display device 7, a voice output device 8, A gesture detection device 9, a head-up display (hereinafter referred to as “HUD”) 10, a communication device 11, a storage device 12 that stores a program, and an operation state detection device 13 that detects a driver's operation state are configured. The storage device 12 may be a non-transitional tangible recording medium such as a semiconductor memory represented by a hard disk drive or a flash memory.

制御回路2はナビゲーション装置1の全体動作を制御するものでマイクロコンピュータを主体に構成されており、内部には周知のCPU、RAM、ROM、これらを接続するバスライン、電源回路等を備える。   The control circuit 2 controls the entire operation of the navigation apparatus 1 and is mainly composed of a microcomputer. The control circuit 2 includes a known CPU, RAM, ROM, a bus line for connecting them, a power supply circuit, and the like.

前方監視装置3は、車両の前方視野の像を画像解析用に取得するもので、前方監視カメラ3a、A/D変換器3b、画像処理回路3cを備えて構成される。前方監視カメラ3aは、車室内から車両前方に向けて取り付けられ、前方視野のアナログ画像を取得してA/D変換器3bに出力する。A/D変換器3bは前方監視カメラ3aからのアナログ画像信号をA/D変換してディジタル信号に変え、画像処理回路3cに出力する。画像処理回路3cはディジタルの画像信号を処理し、画像解析しやすいように被写体の輪郭線、主要形状線のみを抽出するなどして制御回路2に出力する。制御回路2は、前方監視装置3からの情報に基づいて例えば前方車両までの距離や前方に位置する障害物までの距離を測定し、危険度が高いと判断した場合はブレーキを作用させることで車両を減速や停止する。   The front monitoring device 3 acquires an image of the front visual field of the vehicle for image analysis, and includes a front monitoring camera 3a, an A / D converter 3b, and an image processing circuit 3c. The front monitoring camera 3a is attached from the passenger compartment toward the front of the vehicle, acquires an analog image of the front view, and outputs it to the A / D converter 3b. The A / D converter 3b performs A / D conversion on the analog image signal from the front monitoring camera 3a to convert it into a digital signal, and outputs it to the image processing circuit 3c. The image processing circuit 3c processes the digital image signal, and outputs only the contour line and main shape line of the subject to the control circuit 2 so as to facilitate image analysis. The control circuit 2 measures, for example, the distance to the vehicle ahead and the distance to the obstacle located ahead based on the information from the front monitoring device 3, and if it is determined that the risk is high, the brake is applied. Decelerate or stop the vehicle.

GPS受信機4は、複数のGPS用人工衛星からの電波を受信して車両の現在位置を算出して制御回路2に伝えるものである。距離センサ5は走行距離を計測するセンサで、例えばフロントホイ−ルの回転数を計数して走行距離を計測する。距離センサ5の計測値は、GPS受信機4により算出された現在位置座標の補正に使用される。このGPS受信機4と距離センサ5とが位置検出手段の位置検出用センサに相当するものであるが、位置検出手段にはこの他に車体方位センサ、速度センサ等も位置検出精度向上のために用いてもよい。   The GPS receiver 4 receives radio waves from a plurality of GPS artificial satellites, calculates the current position of the vehicle, and transmits it to the control circuit 2. The distance sensor 5 is a sensor for measuring the travel distance, and measures the travel distance by counting the number of rotations of the front wheel, for example. The measurement value of the distance sensor 5 is used for correcting the current position coordinates calculated by the GPS receiver 4. The GPS receiver 4 and the distance sensor 5 correspond to the position detection sensor of the position detection means. In addition to the position detection means, a vehicle body direction sensor, a speed sensor, and the like are also used for improving the position detection accuracy. It may be used.

操作スイッチ群6は、制御回路2にコマンドやデータを入力するためのもので、例えばカラー液晶ディスプレイ上に形成されたタッチスイッチ、リモコンスイッチ等で構成される。表示装置7は、位置検出手段にて検出した車両現在位置を道路地図に重畳して表示するためのもので、例えばカラー液晶ディスプレイで構成される。音声出力装置8は、制御回路2からの出力情報を人工音声に変えて運転者に伝える。   The operation switch group 6 is used to input commands and data to the control circuit 2 and includes, for example, a touch switch and a remote control switch formed on a color liquid crystal display. The display device 7 is for displaying the current vehicle position detected by the position detection unit in a superimposed manner on a road map, and is composed of, for example, a color liquid crystal display. The voice output device 8 changes the output information from the control circuit 2 to an artificial voice and transmits it to the driver.

通信装置11は、VICS(Vehicle Information & Communication System、登録商標)から渋滞状況、工事・交通規制、所要時間等の道路交通情報をディジタル信号で受信するためのものである。   The communication device 11 is for receiving road traffic information such as traffic conditions, construction / traffic regulations, and required time as digital signals from VICS (Vehicle Information & Communication System, registered trademark).

記憶装置12には道路地図を含む地図データが予め記憶されている。この地図データは、車両が走行している地図上の位置の確認、一般的なナビゲーション機能である経路探索や経路誘導等に使用される。   The storage device 12 stores map data including a road map in advance. This map data is used for confirmation of the position on the map where the vehicle is traveling, route search and route guidance, which are general navigation functions.

記憶装置12内には、一般的なナビゲーション機能を実行するためのプログラム、例えばGPS受信機4により算出された位置座標を距離センサ5の測定値で補正する機能、補正した位置座標を地図上に位置付けて車両の現在位置を確定するマップマッチング処理機能、目的地や経由地の指定を受けて現在位置から目的地までの経路を探索する経路探索機能、その経路探索結果に応じた走行経路を地図画面上に表示して誘導する経路誘導機能などを実行するプログラムが予め記憶されている。本実施形態では、これらのプログラムに加えて後述するジェスチャ認識プログラムを実行するようになっている。   In the storage device 12, a program for executing a general navigation function, for example, a function for correcting the position coordinates calculated by the GPS receiver 4 with the measured value of the distance sensor 5, and the corrected position coordinates on the map Map matching processing function to determine the current position of the vehicle by positioning, route search function to search the route from the current position to the destination upon receiving designation of the destination or waypoint, map the travel route according to the route search result A program for executing a route guidance function or the like displayed on the screen for guidance is stored in advance. In the present embodiment, a gesture recognition program described later is executed in addition to these programs.

運転状態検出装置13は、運転者を撮影するように車室内に設けられた図示しない監視カメラから映像を取得し、運転者の顔や動作などの運転者の状態を解析して運転状態を判定し、制御回路2に通知することで運転者に注意を促す機能を有する。運転状態とは、例えば運転者が漫然としていたり、眠気や疲労あるいは注意力低下または覚醒度低下を引き起こしていたり、反対に過覚醒あったりするなどである。このような運転状態は、運転に適さない状態つまり不適切運転状態であるから、適切な運転状態となることが望まれる。また、監視カメラからの情報だけではなく、前方監視装置3や車両の走行状態を検出する各種センサあるいは各種車両情報から得られる車両の状態からも運転状態を検出することができ、これらを運転状態検出装置13の構成要素とすることもできる。   The driving state detection device 13 obtains an image from a monitoring camera (not shown) provided in the passenger compartment so as to photograph the driver, and analyzes the driver's state such as the driver's face and movement to determine the driving state. And it has the function to call a driver | operator's attention by notifying to the control circuit 2. FIG. The driving state includes, for example, the driver being vague, causing drowsiness, fatigue, reduced attention, or arousal level, or conversely being over-awakened. Since such an operating state is a state that is not suitable for driving, that is, an inappropriate operating state, it is desired that the driving state be an appropriate operating state. The driving state can be detected not only from the information from the monitoring camera, but also from the state of the vehicle obtained from the forward monitoring device 3 and various sensors for detecting the traveling state of the vehicle or various vehicle information. It can also be used as a component of the detection device 13.

HUD10は、運転者が前方方向から視線を外すことなく情報を見ることができるようにするための装置である。このHUD10は、図2に示すように、インストルメントパネル14の裏側に設けられた光源10a、液晶パネル10b、凹状の反射鏡10c、防塵カバー10dとから構成されている。光源10aの光軸上に液晶パネル10bと反射鏡10cとが位置しており、光源から光軸上に照射された光が液晶パネル10bを通過して反射鏡10cで図示上方に集光状態で反射される。この反射鏡により反射された光は、防塵カバー10dを通して図3に示すフロントウインドシールド15上の所定の表示領域16に結像される。したがって、運転者は、フロントウインドシールド15を介して前方を見たまま表示領域16に結像した情報を視認することができる。   The HUD 10 is a device that allows a driver to view information without taking his / her line of sight from the front direction. As shown in FIG. 2, the HUD 10 includes a light source 10a, a liquid crystal panel 10b, a concave reflecting mirror 10c, and a dust cover 10d provided on the back side of the instrument panel 14. The liquid crystal panel 10b and the reflecting mirror 10c are located on the optical axis of the light source 10a, and the light irradiated on the optical axis from the light source passes through the liquid crystal panel 10b and is condensed by the reflecting mirror 10c upward in the figure. Reflected. The light reflected by this reflecting mirror forms an image on a predetermined display area 16 on the front windshield 15 shown in FIG. 3 through the dust cover 10d. Therefore, the driver can visually recognize the information formed on the display area 16 while looking forward through the front windshield 15.

ジェスチャ検出装置9はインストルメントパネル14に設けられており、図4に示すようにほぼ中立位置に位置したステアリングホイール17を握った手から前方に伸ばした指先の位置を検出する。この場合、運転者は、指先を動かすジェスチャにより所定の図形を描くことでナビゲーション装置1に対して各種操作を指示することができる。ジェスチャにより描く図形は、図5に示すように複数設定されており、例えば直角方向にジェスチャすることで次の曲に移動または選局したり、前の曲に移動または選局したりする操作を指示することができる。尚、図5に示す図形は一例であり、図示しない他の操作をジェスチャにより所定の図形を描くことで指示することができる。   The gesture detection device 9 is provided on the instrument panel 14 and detects the position of the fingertip extended forward from the hand holding the steering wheel 17 positioned at a substantially neutral position as shown in FIG. In this case, the driver can instruct the navigation device 1 to perform various operations by drawing a predetermined figure with a gesture for moving the fingertip. A plurality of figures drawn by gestures are set as shown in FIG. 5. For example, an operation of moving to or selecting the next song or moving to or selecting the previous song by gesturing in a perpendicular direction is performed. Can be directed. Note that the figure shown in FIG. 5 is an example, and other operations (not shown) can be instructed by drawing a predetermined figure using a gesture.

ジェスチャ検出装置9は、所定のジェスチャ検出エリアに赤外線を放射する発光素子、及びジェスチャ検出エリアに位置する指先で反射した赤外線を撮像するイメージセンサからなる受光素子等により構成されている。ジェスチャ検出エリアは、図4に示すようにステアリングホイール17を握っている手の指先が位置可能な範囲である。受光素子は、ジェスチャ検出エリアに位置して指先を撮像し、当該指先の位置を示す検出信号を生成して制御回路2に出力する。   The gesture detection device 9 includes a light-emitting element that emits infrared rays to a predetermined gesture detection area, a light-receiving element that includes an image sensor that captures infrared rays reflected by a fingertip located in the gesture detection area, and the like. The gesture detection area is a range in which the fingertip of the hand holding the steering wheel 17 can be positioned as shown in FIG. The light receiving element is located in the gesture detection area, images the fingertip, generates a detection signal indicating the position of the fingertip, and outputs the detection signal to the control circuit 2.

制御回路2は、ジェスチャ検出装置9から入力される検出信号を解析することにより、運転者の指先によりジェスチャが行われたか否かを判定する。つまり、指先の位置を追跡することにより指先の軌跡をジェスチャ入力として検出する。   The control circuit 2 analyzes the detection signal input from the gesture detection device 9 to determine whether or not a gesture has been performed by the driver's fingertip. That is, the locus of the fingertip is detected as a gesture input by tracking the position of the fingertip.

尚、本実施形態では、空中に指先で描くジェスチャでポインティングする構成について説明したが、指先ではなく腕や手首で描く場合、マウスやタッチパッド等を使用するようにしても良く、ポインティングするデバイスが限定されるものではない。あるいは、ステアリングホイール17を把持したまま描くだけではなく、ステアリングホイール17から手を離した状態で描いてもよい。   In this embodiment, the configuration for pointing with a gesture drawn with a fingertip in the air has been described. However, when drawing with an arm or a wrist instead of the fingertip, a mouse, a touch pad, or the like may be used, and a pointing device is used. It is not limited. Alternatively, the drawing may be performed not only with the steering wheel 17 being held but also with the hand released from the steering wheel 17.

制御回路2は、記憶装置12に格納されているジェスチャ認識プログラムを実行することで、ジェスチャ検出部2a、認識部2b、情報生成部2c、表示抑制部2d、イベント検出部2e、認識判定部2fの機能を実行する。   The control circuit 2 executes a gesture recognition program stored in the storage device 12 to thereby perform a gesture detection unit 2a, a recognition unit 2b, an information generation unit 2c, a display suppression unit 2d, an event detection unit 2e, and a recognition determination unit 2f. Perform the function.

さて、運転者がナビゲーション装置1を指先のジェスチャにより操作する場合は、図6に示すようにステアリングホィールを握った手の指先を前方に伸長した状態で、一筆書きの要領で指先を動かして所望のジェスチャを描く。すると、ジェスチャ検出装置9は、運転者によるジェスチャ入力を検出するようになる。尚、図6では、図5に示す更新のジェスチャを描いていることを示している。   Now, when the driver operates the navigation device 1 with a fingertip gesture, as shown in FIG. 6, the fingertip of the hand holding the steering wheel is extended forward and the fingertip is moved in the manner of a single stroke. Draw a gesture. Then, the gesture detection device 9 comes to detect a gesture input by the driver. FIG. 6 shows that the update gesture shown in FIG. 5 is drawn.

制御回路2は、図7に示すジェスチャ認識プログラムを実行しており、ジェスチャ入力を検出したかを判定しており(S101:NO)、指先によるジェスチャ入力を検出した場合は(S101:YES)、表示抑制処理を実行する(S102)。つまり、図6に示すようにジェスチャ軌跡18を運転者の前方視界を妨げない領域に描画する。前方視界とは、運転者が特に運転に集中するために注視する前方の視界を意味する。また、前方視界を妨げない領域(以下、退避領域19と称する)とは、図3に示す表示領域16において前方視界に対応する領域(以下、前方領域20と称する)から外れた領域である。   The control circuit 2 is executing the gesture recognition program shown in FIG. 7 and determines whether or not a gesture input is detected (S101: NO). If a gesture input by a fingertip is detected (S101: YES), A display suppression process is executed (S102). That is, as shown in FIG. 6, the gesture trajectory 18 is drawn in a region that does not obstruct the driver's forward view. The forward field of view means a forward field of view in which the driver focuses particularly on driving. Further, the area that does not obstruct the front view (hereinafter referred to as the retreat area 19) is an area that deviates from the area corresponding to the front view (hereinafter referred to as the front area 20) in the display area 16 shown in FIG.

また、ジェスチャ軌跡18を描画する場合、退避領域19の右下角部において指先の最初の検出位置に対応した位置(図6中に黒丸で示す)からジェスチャ軌跡18の描画を開始し、指先の現在位置(図6中に矢印で示す)までの移動軌跡が残るように描画する。この場合、ジェスチャ軌跡18の描画情報がフィードバック情報に相当する。   When drawing the gesture trajectory 18, the drawing of the gesture trajectory 18 is started from a position corresponding to the first detection position of the fingertip (indicated by a black circle in FIG. 6) in the lower right corner of the retreat area 19. Drawing is performed so that the movement locus to the position (indicated by an arrow in FIG. 6) remains. In this case, the drawing information of the gesture trajectory 18 corresponds to feedback information.

次にジェスチャ認識処理を実行し(S103)、ジェスチャ入力が確定したかを判定する(S104)。つまり、ジェスチャが図5に示すジェスチャパターンや図示しないジェスチャパターンの内の一つに一致するかを判定する。ジェスチャが確定した場合は(S104:YES)、ジェスチャが指示する操作を実行する(S105)。尚、ジェスチャ入力が確定した場合は、ジェスチャ軌跡18を消去する。   Next, gesture recognition processing is executed (S103), and it is determined whether the gesture input has been confirmed (S104). That is, it is determined whether the gesture matches one of the gesture patterns shown in FIG. 5 or a gesture pattern (not shown). When the gesture is confirmed (S104: YES), an operation instructed by the gesture is executed (S105). When the gesture input is confirmed, the gesture locus 18 is deleted.

以上のようにして、ステアリングホイール17を握った手の指先のジェスチャによりナビゲーション装置1に対して各種操作を指示することができる。このような指示は操作スイッチ群6に対する操作でも行うことができるが、操作スイッチ群6の位置を確認するには大きな視線の移動を伴う。これに対して、ジェスチャによる指示は前方を視認しながら行うことができることから、安全性に極めて優れている。   As described above, various operations can be instructed to the navigation device 1 by the gesture of the fingertip of the hand holding the steering wheel 17. Such an instruction can also be performed by operating the operation switch group 6, but checking the position of the operation switch group 6 involves a large line of sight movement. On the other hand, since the instruction by the gesture can be performed while viewing the front, the safety is extremely excellent.

このような実施形態によれば、制御回路2は、ジェスチャ軌跡18を常に退避領域19に表示することで表示抑制処理を実行するので、運転者は、前方の交通状況を常に確認しながら視線を大きく移動することなくジェスチャ軌跡18をも確認可能となる。   According to such an embodiment, the control circuit 2 performs the display suppression process by always displaying the gesture trajectory 18 in the retreat area 19, so that the driver can keep a gaze while always checking the traffic situation ahead. The gesture trajectory 18 can also be confirmed without moving greatly.

(第2実施形態)
次に、第2実施形態について図8から図10を参照して説明する。この第2実施形態は、運転状況に応じてジェスチャ軌跡18を消去することを特徴とする。
(Second Embodiment)
Next, a second embodiment will be described with reference to FIGS. The second embodiment is characterized in that the gesture trajectory 18 is erased according to the driving situation.

第1実施形態では、ジェスチャ軌跡18を常に退避領域19に表示することで安全性に配慮したが、退避領域19は運転者の前方視界から外れて設定されていることから視認性が劣ることから、運転者の負荷状態や車両の走行状態等の運転状況を認識し、運転状況に応じてジェスチャ軌跡18を退避領域19に表示することで安全に配慮しながらジェスチャ軌跡18の視認性を高めるのが望ましい。ジェスチャ軌跡18の視認性とは、前方を見ている運転者がジェスチャ軌跡18を視認する程度を示し、視認性が高い状態とは、運転者の前方視界がジェスチャ軌跡18により妨げ得る態様である。   In the first embodiment, safety is taken into consideration by always displaying the gesture trajectory 18 in the evacuation area 19, but the evacuation area 19 is set out of the driver's front field of view, so the visibility is poor. By recognizing the driving situation such as the driver's load condition and the driving condition of the vehicle, and displaying the gesture trajectory 18 in the retreat area 19 according to the driving situation, the visibility of the gesture trajectory 18 is improved while considering safety. Is desirable. Visibility of the gesture trajectory 18 indicates the degree to which the driver looking at the front visually recognizes the gesture trajectory 18, and the state of high visibility is an aspect in which the driver's front view can be hindered by the gesture trajectory 18. .

ここで、運転者の負荷状態とは、運転に集中しなければならない場合は負荷が高く、そうでない場合には低いものと考える。典型的には車両の走行状態であり、停止中であればよほどのことがない限り運転に集中する必要はないが、走行中は運転に集中する必要があり、その重要性は速度等に比例して増大する。運転者の負荷状態の把握は、運転状態検出装置13の判定により可能であるが、車両に設けられた各種ECU(Electronic Control Unit)から車両の走行状態を取得して判定するようにしてもよい。   Here, it is considered that the load state of the driver is high when the driver needs to concentrate on driving and is low otherwise. Typically, the vehicle is in a running state, and it is not necessary to concentrate on driving unless there is a problem, but it is necessary to concentrate on driving while driving, the importance of which is proportional to speed, etc. And increase. The load state of the driver can be grasped by the determination of the driving state detection device 13, but the driving state of the vehicle may be acquired and determined from various ECUs (Electronic Control Units) provided in the vehicle. .

制御回路2は、図10に示すように、ジェスチャ入力を検出した場合は(S201:YES)、車両が停止しているかを判定する(S202)。つまり、距離センサ5による検出情報に基づいて車両が停止しているかを判定する。車両が停止している場合は(S202:YES)、ジェスチャ軌跡18を前方領域20に描画する(S204)。つまり、図8に示すように、前方領域20において指先の最初の検出位置(図8中に黒丸で示す)からジェスチャ軌跡18の描画を開始し、指先の現在位置(図8中に矢印で示す)までの移動軌跡が残るように描画する。   As shown in FIG. 10, when detecting a gesture input (S201: YES), the control circuit 2 determines whether the vehicle is stopped (S202). That is, it is determined whether the vehicle is stopped based on the detection information from the distance sensor 5. When the vehicle is stopped (S202: YES), the gesture trajectory 18 is drawn on the front area 20 (S204). That is, as shown in FIG. 8, the drawing of the gesture locus 18 is started from the first detection position of the fingertip (indicated by a black circle in FIG. 8) in the front region 20, and the current position of the fingertip (indicated by an arrow in FIG. 8). Draw so that the movement trajectory up to

しかしながら、ジェスチャ軌跡18を前方領域20に表示した場合には、前方領域20にジェスチャ軌跡18が位置するので、前方の視認性を妨げるおそれがある。
そこで、制御回路2は、図10に示すように、車両の走行状態では(S202:NO)、表示抑制処理を実行する(S203)。この場合の表示抑制処理は、図9に示すようにジェスチャ軌跡18を非表示として消去する。
以後は、第1実施形態と同様に、ジェスチャ認識処理を実行し(S205)、ジェスチャ入力が確定すると(S206:YES)、ジェスチャ機能を実行する(S207)。
However, when the gesture trajectory 18 is displayed in the front area 20, the gesture trajectory 18 is located in the front area 20, which may hinder forward visibility.
Therefore, as shown in FIG. 10, the control circuit 2 executes a display suppression process (S203) when the vehicle is running (S202: NO). In this case, the display suppression process erases the gesture trajectory 18 as non-display as shown in FIG.
Thereafter, similarly to the first embodiment, the gesture recognition process is executed (S205), and when the gesture input is confirmed (S206: YES), the gesture function is executed (S207).

このような実施形態によれば、制御回路2は、車両の停止状態ではジェスチャ軌跡18を表示し、車両の走行状態では、ジェスチャ軌跡18を消去することで表示抑制処理を実行するので、安全性に配慮しながらジェスチャ軌跡18の視認性を高めることができる。また、運転者は、車両の走行状態では、ジェスチャ入力を控えるようになり、運転に集中することができる。   According to such an embodiment, the control circuit 2 displays the gesture trajectory 18 when the vehicle is stopped, and executes the display suppression process by deleting the gesture trajectory 18 when the vehicle is running. The visibility of the gesture trajectory 18 can be improved while considering the above. Also, the driver can refrain from gesturing input when the vehicle is running, and can concentrate on driving.

(第3実施形態)
次に、第3実施形態について説明する。この第3実施形態は、運転状況に応じてジェスチャ軌跡18を退避領域19に表示することを特徴とする。
(Third embodiment)
Next, a third embodiment will be described. The third embodiment is characterized in that the gesture trajectory 18 is displayed in the retreat area 19 according to the driving situation.

制御回路2は、図10のステップS203の表示抑制処理を実行する場合は、図6に示すようにジェスチャ軌跡18を消去するのに代えて退避領域19に描画する。
このような実施形態によれば、車両の停止状態ではジェスチャ軌跡18を前方領域20に表示し、車両の走行状態ではジェスチャ軌跡18を退避領域19に表示するので、安全性に配慮しながらジェスチャ軌跡18の視認性を高めることができる。
When executing the display suppression process of step S203 in FIG. 10, the control circuit 2 draws the evacuation area 19 instead of deleting the gesture trajectory 18 as shown in FIG.
According to such an embodiment, the gesture trajectory 18 is displayed in the front area 20 when the vehicle is stopped, and the gesture trajectory 18 is displayed in the retreat area 19 when the vehicle is running. The visibility of 18 can be improved.

(第4実施形態)
次に、第4実施形態について図11及び図12を参照して説明する。この第4実施形態は、運転状況に応じてジェスチャ軌跡18の視認性を低下させることを特徴とする。
(Fourth embodiment)
Next, a fourth embodiment will be described with reference to FIGS. The fourth embodiment is characterized in that the visibility of the gesture trajectory 18 is lowered according to the driving situation.

制御回路2は、図12に示すように、ジェスチャ入力を検出した場合に(S301:YES)、車両が停止している場合は(S302:YES)、ジェスチャ軌跡18を前方領域20に輝度を高めて描画する(S304)。そして、車両が走行開始すると(S302:NO)、表示抑制処理を実行する(S303)。この場合の表示抑制処理は、図11に示すようにジェスチャ軌跡18の輝度を運転者の前方視界を妨げない程度まで低下させる。
以後は、第1実施形態と同様に、ジェスチャ認識処理を実行し(S305)、ジェスチャ入力が確定すると(S306:YES)、ジェスチャ機能を実行する(S307)。
As shown in FIG. 12, when the gesture input is detected (S301: YES) and the vehicle is stopped (S302: YES), the control circuit 2 increases the brightness of the gesture trajectory 18 in the front area 20 as shown in FIG. To draw (S304). When the vehicle starts to travel (S302: NO), display suppression processing is executed (S303). In the display suppression process in this case, as shown in FIG. 11, the luminance of the gesture trajectory 18 is reduced to such an extent that the driver's front view is not hindered.
Thereafter, as in the first embodiment, the gesture recognition process is executed (S305), and when the gesture input is confirmed (S306: YES), the gesture function is executed (S307).

このような実施形態によれば、制御回路2は、車両が停止している場合はジェスチャ軌跡18を前方領域20に輝度を高めた状態で表示し、車両の走行状態ではジェスチャ軌跡18の輝度を低下させることで表示抑制処理を実行するので、運転者は、ジェスチャ軌跡18を常に確認することができながら、イベントの発生時は、前方の交通状況を確実に確認することができる。   According to such an embodiment, when the vehicle is stopped, the control circuit 2 displays the gesture trajectory 18 in the front area 20 in a state in which the luminance is increased, and the luminance of the gesture trajectory 18 in the traveling state of the vehicle. Since the display suppression process is executed by lowering, the driver can always check the gesture trajectory 18, but can surely check the traffic situation ahead when an event occurs.

尚、ジェスチャ軌跡18の輝度を低下するのに代えて、ジェスチャ軌跡18の透明度を高めることで表示抑制処理を実行するようにしても良い。透明度を高める方法としては、ジェスチャ軌跡18を粒子で表示したり、点滅表示したりすることで実現できる。   Instead of reducing the luminance of the gesture trajectory 18, the display suppression process may be executed by increasing the transparency of the gesture trajectory 18. A method for increasing the transparency can be realized by displaying the gesture trajectory 18 as particles or blinking.

(第5実施形態)
次に、第5実施形態について図13及び図14を参照して説明する。この第5実施形態は、ジェスチャ軌跡18を前方領域20に表示している状態で、運転者が特に運転に集中する必要性が高いイベントが発生した場合に表示抑制処理を実行することを特徴とする。イベントとしては、車両の走行開始時、または危険度が高い事象等が発生した場合である。危険度が高い事象とは、前方監視装置3により前方を走行する車両との距離が急激に低下したことを検出したり、車両の前方に走行の障害となる車両、自転車、人等を検出したりした場合である。尚、各種センサにより運転者の血圧が急激に上昇したり、単位時間の呼吸回数が急激に増加したりしたことを検出した場合や、外部から車両の進行方向に位置するブラインドに車両や障害物が存在する情報を受信した場合であっても良い。
(Fifth embodiment)
Next, a fifth embodiment will be described with reference to FIGS. The fifth embodiment is characterized in that display suppression processing is executed when an event that requires a driver to concentrate particularly on driving occurs in a state in which the gesture locus 18 is displayed in the front area 20. To do. The event is when the vehicle starts to run or when a high-risk event occurs. An event with a high degree of danger means that the forward monitoring device 3 detects that the distance from the vehicle traveling ahead has decreased sharply, or a vehicle, bicycle, person, etc. that obstructs traveling ahead of the vehicle. This is the case. Various sensors detect that the driver's blood pressure has suddenly increased or the number of breaths per unit time has suddenly increased, or if the vehicle or obstacle is blindly positioned in the direction of travel of the vehicle from the outside. May be received information.

即ち、上記各実施形態では、車両の走行状態では、車両の停止時に比較して運転者の負荷が高いことを考慮し、表示抑制処理を実行することによりジェスチャ軌跡18を消去したり、退避領域19に表示したりしたが、例えば高速道路を走行するような場合は、運転者の負荷は比較的小さいと考えられる。つまり、高速道路では交差点で停止したり人や自転車などが飛び出したりすることがないことから、運転者は、比較的リラックスした状態で運転できる。   That is, in each of the above-described embodiments, in consideration of the fact that the driver's load is higher than when the vehicle is stopped in the running state of the vehicle, the gesture trajectory 18 is deleted or the evacuation area is executed by executing the display suppression process. For example, when the vehicle travels on a highway, the load on the driver is considered to be relatively small. That is, on the expressway, the driver can drive in a relatively relaxed state because it does not stop at an intersection or jump out of people or bicycles.

そこで、制御回路2は、図14に示すように、ジェスチャ入力を検出した場合は(S401:YES)、高速道路上かを判定する(S402)。高速道路上かの判定は、車両の現在位置がインターチェンジから入場し、且つインターチェンジから退出していなことにより判定する。つまり、高速道路の本線を走行しているのは勿論のこと、サービスエリアやパーキングエリアに停止している状態を含めて高速道路上と判定する。高速道路上の場合は(S402:YES)、イベントが発生していないことを確認してから(S405:NO)、ジェスチャ軌跡18を前方領域20に描画する(S406)。一方、高速道路上でない場合は(S402:NO)、第2実施形態と同様に動作する(S403、S404、S407〜S409)。   Therefore, as shown in FIG. 14, when the gesture input is detected (S401: YES), the control circuit 2 determines whether it is on the highway (S402). Whether the vehicle is on a highway is determined by the fact that the current position of the vehicle has entered from the interchange and has not exited the interchange. In other words, it is determined that the vehicle is on the highway, including not only driving on the main road of the highway but also stopping in the service area or the parking area. If it is on the highway (S402: YES), after confirming that no event has occurred (S405: NO), the gesture locus 18 is drawn in the front area 20 (S406). On the other hand, when it is not on the expressway (S402: NO), it operates in the same manner as in the second embodiment (S403, S404, S407 to S409).

しかしながら、高速道路上であると判定した場合であっても、サービスエリアやパーキングエリアで停止状態から車両の走行を開始する場合や、ランプウェイから本線車道に合流したり本線車道からランプウェイに退出したりする場合や、走行中に前方車両との間隔が設定距離以下となった場合や、車線を変更する等、運転に集中する必要性が高い場合は、イベントが発生したと判定し(S405:YES)、表示抑制処理を実行する(S404)。この場合の表示抑制処理は、上記した第2〜4実施形態と同様である。即ち、第2実施形態と同様にジェスチャ軌跡18を消去したり、第3実施形態と同様にジェスチャ軌跡18を退避領域19に表示したり、第4実施形態と同様にジェスチャ軌跡18の視認性を低下させたりする。また、表示抑制処理を実行する際にジェスチャ軌跡18を描画する場合は、図13に示すようにジェスチャ軌跡18に隣接して危険であることを報知する危険情報を同時に描画する。   However, even when it is determined that the vehicle is on a highway, when the vehicle starts running from a stopped state in the service area or the parking area, the vehicle merges from the rampway to the main road or exits from the main road to the rampway. If it is necessary to concentrate on driving, such as when the distance to the vehicle ahead is less than the set distance during traveling, or when changing lanes, it is determined that an event has occurred (S405). : YES), display suppression processing is executed (S404). The display suppression process in this case is the same as that in the second to fourth embodiments described above. That is, the gesture trajectory 18 is deleted as in the second embodiment, the gesture trajectory 18 is displayed in the retreat area 19 as in the third embodiment, and the visibility of the gesture trajectory 18 is increased as in the fourth embodiment. To lower. In addition, when the gesture trajectory 18 is drawn when the display suppression process is executed, the danger information for notifying that the gesture trajectory 18 is dangerous is simultaneously drawn as shown in FIG.

このような実施形態によれば、制御回路2は、ジェスチャ軌跡18を前方領域20に表示している状態でイベントが発生した場合は、第2〜4実施形態と同様な表示抑制処理を実行するので、運転者は、ジェスチャ軌跡18を確認しながらイベントが発生した場合は前方の交通状況を確実に確認することができる。   According to such an embodiment, when an event occurs in a state where the gesture locus 18 is displayed in the front area 20, the control circuit 2 executes the same display suppression process as in the second to fourth embodiments. Therefore, the driver can surely confirm the traffic situation ahead when the event occurs while confirming the gesture locus 18.

尚、車両の走行状態で表示抑制処理を実行しない運転状況としては、高速道路に限定されることなく、交差点と交差点との間の距離が長い道路や郊外の道路のように前方の見通しが良い道路を走行する場合であっても良い。   The driving situation in which the display suppression process is not executed in the running state of the vehicle is not limited to the expressway, and a forward view is good, such as a road with a long distance between the intersection and a suburban road. It may be a case of traveling on a road.

(第6実施形態)
次に、第6実施形態について図15から図17を参照して説明する。この第6実施形態は、ジェスチャ軌跡18を前方領域20に常に表示することを特徴とする。
(Sixth embodiment)
Next, a sixth embodiment will be described with reference to FIGS. 15 to 17. The sixth embodiment is characterized in that the gesture trajectory 18 is always displayed in the front area 20.

ジェスチャ軌跡18は、上述したようにジェスチャ入力が認識されると消去される一時的な表示であることから、ジェスチャ軌跡18を前方領域20に表示するにしても、運転者の前方視界が妨げ得るのは一時的である。したがって、ジェスチャ軌跡18を前方領域20に常に表示することが考えられる。   Since the gesture trajectory 18 is a temporary display that is erased when the gesture input is recognized as described above, even if the gesture trajectory 18 is displayed in the front area 20, the driver's front view may be hindered. It is temporary. Therefore, it is conceivable to always display the gesture locus 18 in the front area 20.

しかしながら、ジェスチャ軌跡18に対して目立つような演出が行われている場合にイベントが発生したときは、ジェスチャ軌跡18が目立たないようにジェスチャ軌跡18の演出度を低下させるのが望ましい。   However, when an event occurs when an effect that stands out with respect to the gesture trajectory 18 is performed, it is desirable to lower the effect level of the gesture trajectory 18 so that the gesture trajectory 18 does not stand out.

ジェスチャ軌跡18の演出度を低下させる具体例としては、次のように挙げることができる。
(1)図15に示すように、ジェスチャ軌跡18を後端から全て残して描画する演出を行う制御を行っている場合にイベントが発生したときは、ジェスチャ軌跡18の後端を徐々に消去する制御に変更する。後端を徐々に消去する方法としては、時間の経過に従ってジェスチャ軌跡18の後端部を消去する方法と、ジェスチャ軌跡18の表示端部からの表示距離が一定となるようにジェスチャ軌跡18の後端部を消去する方法とが考えられる。
A specific example of reducing the effect level of the gesture trajectory 18 can be given as follows.
(1) As shown in FIG. 15, when an event is generated in a case where control is performed to perform rendering in which all the gesture trajectory 18 is left behind from the rear end, the rear end of the gesture trajectory 18 is gradually erased. Change to control. As a method of gradually erasing the rear end, there is a method of erasing the rear end of the gesture trajectory 18 as time elapses, and the rear of the gesture trajectory 18 so that the display distance from the display end of the gesture trajectory 18 is constant. A method of erasing the edge is conceivable.

(2)ジェスチャ軌跡18を目立つ色で描く制御を行っている場合にイベントが発生したときは、目立たない色で描画する。例えば赤色から薄緑色による描画に変更したり、前方監視装置3が撮影した画像中に最も占める色に対する補色から類似色での描画に変更したりする。   (2) When an event occurs when control is performed to draw the gesture trajectory 18 with a conspicuous color, the gesture trajectory 18 is drawn with an inconspicuous color. For example, the drawing is changed from red to light green, or the complementary color for the most occupied color in the image captured by the front monitoring device 3 is changed to drawing with a similar color.

(3)ジェスチャ軌跡18の描画に所定の装飾表示を行っている場合にイベントが発生したときは、その装飾表示を停止する。例えば、図16に示すように、ジェスチャ軌跡18をパーティクルの集合体で描画している場合にイベントが発生したときは、ジェスチャ軌跡18を上記各実施形態と同様に線で描画する。   (3) When an event occurs when a predetermined decoration display is performed for drawing the gesture trajectory 18, the decoration display is stopped. For example, as shown in FIG. 16, when an event occurs when the gesture trajectory 18 is drawn with an aggregate of particles, the gesture trajectory 18 is drawn with a line as in the above embodiments.

(4)図17に示すように、ジェスチャ軌跡18を描く仮想の手を付加して描画している場合にイベントが発生したときは、仮想の手の描画を停止する。
このような実施形態によれば、制御回路2は、ジェスチャ軌跡18を前方領域20に常に表示し、イベントが発生した場合は、ジェスチャ軌跡18の演出度を低下させることで表示抑制処理を実行するので、運転者は、ジェスチャ軌跡18を常に確認しながら、イベントの発生時は、車両の前方の交通状況を確実に確認することができる。
(4) As shown in FIG. 17, when an event occurs when a virtual hand that draws the gesture trajectory 18 is added and drawing is performed, the drawing of the virtual hand is stopped.
According to such an embodiment, the control circuit 2 always displays the gesture trajectory 18 in the front area 20 and, when an event occurs, executes the display suppression process by reducing the effect level of the gesture trajectory 18. Therefore, the driver can surely confirm the traffic situation ahead of the vehicle when the event occurs while constantly confirming the gesture locus 18.

(第7実施形態)
次に、第7実施形態について図18から図20を参照して説明する。この第7実施形態は、ジェスチャ入力の認識結果としてコマンドを認識した認識受付を表示することを特徴とする。
(Seventh embodiment)
Next, a seventh embodiment will be described with reference to FIGS. The seventh embodiment is characterized in that a recognition acceptance that recognizes a command is displayed as a recognition result of the gesture input.

ジェスチャ入力のフィードバック情報としてジェスチャ軌跡18に代えてジェスチャ認識結果のコマンドを表示する場合、コマンドを前方領域20に表示することが考えられるが、それでは、運転者の前方視界を妨げてしまうおそれがある。   When displaying a gesture recognition result command instead of the gesture trajectory 18 as gesture input feedback information, it may be possible to display the command in the front area 20, but this may hinder the driver's forward view. .

そこで、制御回路2は、図20に示すように、上記第2〜4実施形態と同様にジェスチャ入力を検出したことに応答した処理を実行することでジェスチャ入力を確定した場合は(S501〜S506)、車両が停止しているかを判定する(S507)。車両が停止している場合は(S507:YES)、コマンド21を前方領域20に描画する(S509)。   Therefore, as shown in FIG. 20, when the control circuit 2 determines the gesture input by executing a process in response to detecting the gesture input as in the second to fourth embodiments (S501 to S506). ), It is determined whether the vehicle is stopped (S507). When the vehicle is stopped (S507: YES), the command 21 is drawn on the front area 20 (S509).

図18は、車両の停止状態でジェスチャ入力が受付けられて「次の曲を選曲」コマンド21が認識されたことを示す認識受付を表示している。この場合、認識受付は前方領域20に表示されており、運転者の前方視界を妨げ得る態様となっている。   FIG. 18 shows a recognition acceptance indicating that a gesture input is accepted and the “select next song” command 21 is recognized when the vehicle is stopped. In this case, the recognition acceptance is displayed in the front area 20 and can interfere with the driver's front view.

制御回路2は、車両が走行すると(S507:NO)、表示抑制処理を実行する(S508)。この場合の表示抑制処理は、上記した第2〜4実施形態と同様である。即ち、第2実施形態と同様にジェスチャ軌跡18を消去したり、第3実施形態と同様にジェスチャ軌跡18を退避領域19に表示したり(図19参照)、第4実施形態と同様にジェスチャ軌跡18の視認性を低下させたりする。また、第5実施形態のように高速道路上でコマンド21を前方領域20に表示している状態でイベントが発生した場合に、表示抑制処理を実行するようにしても良い。さらに、第6実施形態のように、コマンド21を前方領域20に常に表示し、イベントが発生した場合にコマンドの演出度を低下させるようにしても良い。   When the vehicle travels (S507: NO), the control circuit 2 executes display suppression processing (S508). The display suppression process in this case is the same as that in the second to fourth embodiments described above. That is, the gesture trajectory 18 is deleted as in the second embodiment, the gesture trajectory 18 is displayed in the retreat area 19 as in the third embodiment (see FIG. 19), or the gesture trajectory is similar to that in the fourth embodiment. The visibility of 18 is reduced. Further, when an event occurs in a state where the command 21 is displayed on the front area 20 on the highway as in the fifth embodiment, the display suppression process may be executed. Further, as in the sixth embodiment, the command 21 may be always displayed in the front area 20, and the degree of command effect may be reduced when an event occurs.

このような実施形態によれば、ジェスチャ入力の認識結果であるコマンド21を前方領域20に表示する場合に、運転状況に応じて表示抑制処理を実行するようにしたので、運転者が特に運転に集中する必要性が高い場合にコマンド21が前方視認の妨げとなることを抑制することができる。   According to such an embodiment, when the command 21 that is the recognition result of the gesture input is displayed on the front area 20, the display suppression process is executed according to the driving situation. When the necessity of concentrating is high, it is possible to suppress the command 21 from obstructing forward viewing.

(第8実施形態)
次に、第8実施形態について図21から図23を参照して説明する。この第8実施形態は、ジェスチャ入力の認識結果を表示抑制処理により運転者に報知することを特徴とする。
(Eighth embodiment)
Next, an eighth embodiment will be described with reference to FIGS. The eighth embodiment is characterized in that the recognition result of the gesture input is notified to the driver by display suppression processing.

運転者が指先を空中で動かして入力するジェスチャ入力では、自身の描いたジェスチャ軌道をユーザが認識しにくいため、ジェスチャ検出装置9がジェスチャ入力の誤認識または失敗した時に、その理由を知ることが難しい。また、それに対してジェスチャ入力のフィードバック情報を前方領域20に表示することが考えられるが、それでは、運転者の前方視界を妨げてしまうおそれがある。   In the gesture input in which the driver moves his / her fingertip in the air to input, it is difficult for the user to recognize the gesture trajectory drawn by himself / herself. Therefore, the gesture detection device 9 can know the reason when the gesture input is erroneously recognized or failed. difficult. On the other hand, it is conceivable to display the feedback information of the gesture input in the front area 20, but this may disturb the driver's front view.

そこで、制御回路2は、図23に示すように、上記第2〜4実施形態と同様に、ジェスチャ入力の検出に応じた処理を実行すると(S601〜S604)、例えばタイムアウトによりジェスチャ入力を失敗したかを判定する(S605)。ジェスチャ入力を確定することなく(S607:NO)、ジェスチャ入力が失敗した場合は(S605:YES)、車両が停止しているかを判定する(S609)。車両が停止している場合は(S609:YES)、図21に示すようにジェスチャ認識結果を示すエラー22(エラー情報に相当)を前方領域20に表示する(S610)。車両が走行している場合は(S609:NO)、表示抑制動作を実行する(S611)。この場合の表示抑制処理は、上記した第2〜4実施形態と同様である。即ち、第2実施形態と同様にエラー22を消去したり、第3実施形態と同様にエラー22を退避領域19に表示したり(図22参照)、第4実施形態と同様にエラー22の視認性を低下させたりする。また、第5実施形態のように高速道路上でエラー22を前方領域20に表示している状態でイベントが発生した場合は、表示抑制処理を実行するようにしても良い。さらに、第6実施形態のように、エラー22を前方領域20に常に表示し、イベントが発生した場合にエラー22の演出度を低下させるようにしても良い。   Therefore, as shown in FIG. 23, when the control circuit 2 executes processing corresponding to the detection of the gesture input (S601 to S604) as in the second to fourth embodiments, the gesture input has failed due to a timeout, for example. Is determined (S605). If the gesture input fails without determining the gesture input (S607: NO) (S605: YES), it is determined whether the vehicle is stopped (S609). If the vehicle is stopped (S609: YES), an error 22 (corresponding to error information) indicating the gesture recognition result is displayed in the front area 20 as shown in FIG. 21 (S610). When the vehicle is traveling (S609: NO), display suppression operation is executed (S611). The display suppression process in this case is the same as that in the second to fourth embodiments described above. That is, the error 22 is deleted as in the second embodiment, the error 22 is displayed in the save area 19 as in the third embodiment (see FIG. 22), and the error 22 is visually recognized as in the fourth embodiment. Decrease the sex. Moreover, when an event occurs in a state where the error 22 is displayed on the front area 20 on the expressway as in the fifth embodiment, a display suppression process may be executed. Furthermore, as in the sixth embodiment, the error 22 may always be displayed in the front area 20 so that the stage of the error 22 is reduced when an event occurs.

このような実施形態によれば、ジェスチャ入力の認識結果であるエラー22を前方領域20に表示する場合に、運転状況に応じて表示抑制処理を実行するようにしたので、運転者が特に運転に集中する必要性が高い場合にエラー22が前方視認の妨げとなることを抑制することができる。   According to such an embodiment, when the error 22 that is the recognition result of the gesture input is displayed in the front area 20, the display suppression process is executed according to the driving situation. When the necessity of concentrating is high, it is possible to suppress the error 22 from obstructing forward viewing.

(第9実施形態)
次に、第9実施形態について説明する。この第9実施形態は、拡張現実を用いてジェスチャ軌跡を表示することを特徴とする。
(Ninth embodiment)
Next, a ninth embodiment will be described. The ninth embodiment is characterized in that a gesture trajectory is displayed using augmented reality.

上記各実施形態では、ジェスチャ軌跡18を前方領域20や退避領域19に表示するようにしたが、それでは運転者の指先の位置とジェスチャ軌跡18の位置とがずれており違和感を生じる。   In each of the above embodiments, the gesture trajectory 18 is displayed in the front area 20 and the retreat area 19. However, in this case, the position of the driver's fingertip is shifted from the position of the gesture trajectory 18, which causes a sense of discomfort.

このような事情から、運転者の指先とジェスチャ軌跡18との位置を合わせて表示するもので、このような作用を実現するための構成として拡張現実の技術を採用する。
この拡張現実の技術は、例えば特開2005−138755号公報により示されるように、運転者の視線方向を検出し、その視線方向と運転者の指先との延長線上となるHUD10にジェスチャ軌跡18を表示するものである。この場合、運転者の顔の位置が移動したり、視線が移動したりすると、それに伴ってジェスチャ軌跡18の位置も移動することで運転者の視線上に指先とジェスチャ軌跡18とが位置するようになるので、運転者は、ジェスチャ軌跡18を指先の位置が一致した状態で常に視認することができる。
Under such circumstances, the positions of the driver's fingertip and the gesture trajectory 18 are displayed together, and augmented reality technology is adopted as a configuration for realizing such an action.
This augmented reality technology detects the driver's line-of-sight direction as shown in, for example, Japanese Patent Application Laid-Open No. 2005-138755, and sets the gesture locus 18 on the HUD 10 that is an extension line between the line-of-sight direction and the driver's fingertip. To display. In this case, when the position of the driver's face moves or the line of sight moves, the position of the gesture track 18 also moves accordingly, so that the fingertip and the gesture track 18 are positioned on the driver's line of sight. Therefore, the driver can always visually recognize the gesture trajectory 18 in a state where the positions of the fingertips match.

このような実施形態によれば、運転者は、指先を動かした際に、あたかも指先でジェスチャ軌跡18を描いている感覚となるので、ジェスチャ軌跡18を円滑に描くことができ、ジェスチャ入力の失敗を抑制することができる。   According to such an embodiment, when the driver moves his / her fingertip, the driver feels as if he has drawn the gesture trajectory 18 with his / her fingertip. Therefore, the gesture trajectory 18 can be drawn smoothly, and the gesture input fails. Can be suppressed.

(その他の実施形態)
ヘッドアップディスプレイとして、ジェスチャ軌跡18等を車両のボンネットに投射したり、車両の前方に位置する路面に投射したりするようにしても良い。
表示抑制処理時のジェスチャ軌跡18等の表示位置は退避領域19の右下角部に限定されることなく、退避領域19であればいずれの部位でも良い。
上記第2〜4実施形態では、車両の走行状態では表示抑制処理を実行するようにしたが、車両の走行状態であっても、運転者がリラックスしている状態を検出した場合は表示抑制処理を停止するようにしても良い。
(Other embodiments)
As the head-up display, the gesture trajectory 18 or the like may be projected onto the hood of the vehicle or may be projected onto the road surface located in front of the vehicle.
The display position of the gesture trajectory 18 and the like during the display suppression process is not limited to the lower right corner of the evacuation area 19 and may be any part in the evacuation area 19.
In the second to fourth embodiments, the display suppression process is executed in the traveling state of the vehicle. However, the display suppression process is performed when the driver is in a relaxed state even when the vehicle is traveling. May be stopped.

ジェスチャ入力途中でジェスチャ入力を認識処理することで、ジェスチャ軌跡18を予測表示したり、予測したジェスチャ軌跡18ではなく当該ジェスチャ軌跡18を示す文字を表示したりするようにしても良い。   It is also possible to display the gesture trajectory 18 by predicting the gesture input in the middle of the gesture input, or to display characters indicating the gesture trajectory 18 instead of the predicted gesture trajectory 18.

ジェスチャ軌跡18を退避領域19に表示している状態でイベントが発生した場合は、ジェスチャ軌跡18を消去するようにしても良い。
コマンドを表示する場合、コマンドを示すアイコンを表示したり、複数の候補の中から可能性の高いアイテムをハイライト表示したりするようにしても良い。
If an event occurs while the gesture trajectory 18 is displayed in the retreat area 19, the gesture trajectory 18 may be deleted.
When displaying a command, an icon indicating the command may be displayed, or an item having a high possibility may be highlighted from a plurality of candidates.

フィードバック情報としてジェスチャ軌跡18ではなく、手のひらを回すと音量を調整するノブの絵を表示して回したり、指の本数で希望のメニュー画面を表示し、さらにメニュー画面の項目を指の本数で指定したりするようにしても良い。
本発明をナビゲーション装置以外の車載装置に適用するようにしても良い。
As the feedback information, instead of the gesture path 18, turning the palm displays a picture of the knob that adjusts the volume, displays the desired menu screen with the number of fingers, and specifies the menu screen items with the number of fingers. You may make it.
You may make it apply this invention to vehicle equipment other than a navigation apparatus.

本開示は、実施例に準拠して記述されたが、本開示は当該実施例や構造に限定されるものではないと理解される。本開示は、様々な変形例や均等範囲内の変形をも包含する。加えて、様々な組み合わせや形態、さらには、それらに一要素のみ、それ以上、あるいはそれ以下、を含む他の組み合わせや形態をも、本開示の範疇や思想範囲に入るものである。   Although the present disclosure has been described with reference to the embodiments, it is understood that the present disclosure is not limited to the embodiments and structures. The present disclosure includes various modifications and modifications within the equivalent range. In addition, various combinations and forms, as well as other combinations and forms including only one element, more or less, are within the scope and spirit of the present disclosure.

図面中、1はナビゲーション装置(車両用情報表示装置)、2は制御回路、2aはジェスチャ検出部、2bは認識部、2cは情報生成部、2dは表示抑制部、2eはイベント検出部、2fは認識判定部、10はヘッドアップディスプレイ、16は表示領域、21はコマンド、22はエラーである。
In the drawings, 1 is a navigation device (vehicle information display device), 2 is a control circuit, 2a is a gesture detection unit, 2b is a recognition unit, 2c is an information generation unit, 2d is a display suppression unit, 2e is an event detection unit, 2f Is a recognition determination unit, 10 is a head-up display, 16 is a display area, 21 is a command, and 22 is an error.

Claims (11)

  1. 運転者の前方方向となる視界に位置するように設けられた表示領域(16)にヘッドアップディスプレイ(10)により情報を表示する車両用情報表示装置(1)であって、
    運転者のジェスチャによる入力であるジェスチャ入力を検出するジェスチャ検出部(2a)と、
    前記ジェスチャ入力を認識する認識部(2b)と、
    前記認識に応答した情報であるフィードバック情報を生成する情報生成部(2c)と、
    前記フィードバック情報を運転者の前方視界を妨げない態様で前記ヘッドアップディスプレイにより表示する表示抑制処理を実行する表示抑制部(2d)と、
    を備えた車両用情報表示装置。
    A vehicle information display device (1) for displaying information by a head-up display (10) in a display area (16) provided so as to be positioned in a field of view in a forward direction of a driver,
    A gesture detection unit (2a) for detecting a gesture input which is an input by a driver's gesture;
    A recognition unit (2b) for recognizing the gesture input;
    An information generator (2c) that generates feedback information that is information in response to the recognition;
    A display suppression unit (2d) that executes a display suppression process for displaying the feedback information on the head-up display in a manner that does not interfere with the driver's forward view;
    A vehicle information display device comprising:
  2. 前記表示抑制部は、前記フィードバック情報を運転者の前方視界を妨げない領域に常に表示することで前記表示抑制処理を実行する請求項1に記載の車両用情報表示装置。   2. The vehicle information display device according to claim 1, wherein the display suppression unit performs the display suppression process by always displaying the feedback information in a region that does not obstruct a driver's forward view.
  3. 前記表示抑制部は、前記フィードバック情報を運転者の前方視界を妨げ得る領域に表示し、運転状況に応じて前記フィードバック情報を消去することで前記表示抑制処理を実行する請求項1に記載の車両用情報表示装置。   2. The vehicle according to claim 1, wherein the display suppression unit displays the feedback information in an area that can obstruct a driver's forward view, and executes the display suppression process by erasing the feedback information according to a driving situation. Information display device.
  4. 前記表示抑制部は、前記フィードバック情報を運転者の前方視界を妨げ得る領域に表示し、運転状況に応じて前記フィードバック情報を運転者の前方視界を妨げない領域に表示することで前記表示抑制処理を実行する請求項1に記載の車両用情報表示装置。   The display suppression unit displays the feedback information in a region where the driver's forward view can be blocked, and displays the feedback information in a region where the driver's forward view is not blocked according to a driving situation. The vehicle information display device according to claim 1, wherein:
  5. 前記表示抑制部は、前記フィードバック情報を運転者の前方視界を妨げ得る領域に常に表示し、運転状況に応じて前記フィードバック情報の視認性を低下させることで前記表示抑制処理を実行する請求項1に記載の車両用情報表示装置。   2. The display suppression unit always displays the feedback information in a region that can hinder the driver's forward visibility, and executes the display suppression process by reducing the visibility of the feedback information according to a driving situation. The vehicle information display device described in 1.
  6. 運転者が特に運転に集中する必要性が高いイベントが発生したことを検出するイベント検出部を備え、
    前記表示抑制部は、前記フィードバック情報を運転者の前方視界を妨げ得る領域に表示している状態で前記イベント検出部が前記イベントを検出した場合は、前記表示抑制処理を実行する請求項1または請求項3から5のいずれか一項に記載の車両用情報表示装置。
    It has an event detector that detects when an event has occurred that requires the driver to concentrate on driving.
    The display suppression unit executes the display suppression process when the event detection unit detects the event in a state where the feedback information is displayed in a region where the driver's front view can be blocked. The vehicle information display device according to any one of claims 3 to 5.
  7. 運転者が特に運転に集中する必要性が高いイベントが発生したことを検出するイベント検出部(2e)を備え、
    前記表示抑制部は、前記フィードバック情報を運転者の前方視界を妨げ得る領域に常に表示し、前記イベント検出部が前記イベントを検出した場合は、前記フィードバック情報の演出度を低下させることで前記表示抑制処理を実行する請求項1に記載の車両用情報表示装置。
    An event detector (2e) that detects that an event has occurred that requires a driver to concentrate particularly on driving,
    The display suppression unit always displays the feedback information in a region that can hinder the driver's forward view, and when the event detection unit detects the event, the display degree is reduced by reducing the presentation degree of the feedback information. The vehicle information display device according to claim 1, wherein a suppression process is executed.
  8. 前記認識部が前記ジェスチャ入力の認識を成功したか否かを判定する認識判定部(2f)を備え、
    前記表示抑制部は、前記認識判定部が前記ジェスチャ入力の認識を失敗したと判定した場合はエラーを表示し、運転状況に応じて前記エラーに対して前記表示抑制処理を実行する請求項1または請求項3から7のいずれか一項に記載の車両用情報表示装置。
    A recognition determination unit (2f) for determining whether the recognition unit has successfully recognized the gesture input;
    The display suppression unit displays an error when the recognition determination unit determines that recognition of the gesture input has failed, and executes the display suppression process for the error according to a driving situation. The vehicle information display device according to any one of claims 3 to 7.
  9. 前記フィードバック情報は、前記ジェスチャ入力に対応したジェスチャ軌跡である請求項1から8のいずれか一項に記載の車両用情報表示装置。   The vehicle information display device according to claim 1, wherein the feedback information is a gesture trajectory corresponding to the gesture input.
  10. 前記フィードバック情報は、前記ジェスチャ入力の認識結果であるコマンドである請求項1から8のいずれか一項に記載の車両用情報表示装置。   The vehicle information display device according to any one of claims 1 to 8, wherein the feedback information is a command that is a recognition result of the gesture input.
  11. 運転者の前方方向となる視界に位置するように設けられた表示領域にヘッドアップディスプレイにより情報を表示する車両用情報表示プログラムであって、
    運転者のジェスチャによる入力であるジェスチャ入力を検出する手順と、
    前記ジェスチャ入力を認識する手順と、
    前記認識に応答した情報であるフィードバック情報を生成する手順と、
    前記フィードバック情報を運転者の前方視界を妨げない態様で前記ヘッドアップディスプレイにより表示する表示抑制処理を実行する手順と、
    を実行する車両用情報表示プログラム。
    A vehicle information display program for displaying information by a head-up display in a display area provided to be located in a field of view in the forward direction of the driver,
    A procedure for detecting gesture input, which is input by a driver's gesture;
    Recognizing the gesture input;
    Generating feedback information that is information in response to the recognition;
    A procedure for executing a display suppression process for displaying the feedback information on the head-up display in a manner that does not interfere with the driver's forward view;
    Vehicle information display program for executing
JP2016249189A 2016-12-22 2016-12-22 Vehicular information display device and vehicular information display program Pending JP2018103646A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016249189A JP2018103646A (en) 2016-12-22 2016-12-22 Vehicular information display device and vehicular information display program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016249189A JP2018103646A (en) 2016-12-22 2016-12-22 Vehicular information display device and vehicular information display program
PCT/JP2017/034719 WO2018116565A1 (en) 2016-12-22 2017-09-26 Information display device for vehicle and information display program for vehicle

Publications (2)

Publication Number Publication Date
JP2018103646A true JP2018103646A (en) 2018-07-05
JP2018103646A5 JP2018103646A5 (en) 2019-02-21

Family

ID=62627637

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016249189A Pending JP2018103646A (en) 2016-12-22 2016-12-22 Vehicular information display device and vehicular information display program

Country Status (2)

Country Link
JP (1) JP2018103646A (en)
WO (1) WO2018116565A1 (en)

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63158426U (en) * 1987-04-06 1988-10-18
JP3394585B2 (en) * 1994-03-31 2003-04-07 マツダ株式会社 Vehicle display device
JP2005138801A (en) * 2003-11-10 2005-06-02 Calsonic Kansei Corp Head up display device
JP2014149640A (en) * 2013-01-31 2014-08-21 Tokai Rika Co Ltd Gesture operation device and gesture operation program
JP6369106B2 (en) * 2014-04-16 2018-08-08 株式会社デンソー Head-up display device
JP2016038621A (en) * 2014-08-05 2016-03-22 アルパイン株式会社 Space input system

Also Published As

Publication number Publication date
WO2018116565A1 (en) 2018-06-28

Similar Documents

Publication Publication Date Title
EP2826689B1 (en) Mobile terminal
JP6682574B2 (en) Method of using a communication terminal in a motor vehicle with an autopilot operating and motor vehicle
US9493169B2 (en) Method and control system for operating a motor vehicle
US9489500B2 (en) Manipulation apparatus
KR100930159B1 (en) Display method of vehicle mounted display device and vehicle mounted display device
EP2720929B1 (en) Method and device for assisting a driver in performing lateral guidance of a vehicle on a carriageway
JP5261554B2 (en) Human-machine interface for vehicles based on fingertip pointing and gestures
US9604573B2 (en) Transmissive information display apparatus for obstacle detection outside a vehicle
US20160034039A1 (en) Information processing apparatus, operation control method and program
JP3903968B2 (en) Non-contact information input device
CN103019524B (en) Vehicle operating input equipment and the control method for vehicle operating input equipment
JP4400659B2 (en) In-vehicle display device
KR101416378B1 (en) A display apparatus capable of moving image and the method thereof
US10656639B2 (en) Driving support device, driving support system, and driving support method
JP4783431B2 (en) Traffic information detection apparatus, traffic information detection method, traffic information detection program, and recording medium
JP4683380B2 (en) Lane change guidance device
JP5143235B2 (en) Control device and vehicle surrounding monitoring device
EP2295277B1 (en) Vehicle operator control input assistance
US8514276B2 (en) Apparatus for manipulating vehicular devices
WO2015037117A1 (en) Information display system, and information display device
US20110260965A1 (en) Apparatus and method of user interface for manipulating multimedia contents in vehicle
WO2012169229A1 (en) Vehicle operation device
US8284168B2 (en) User interface device
WO2014181543A1 (en) Line of sight input device
JP2004067031A (en) Operator determining device and on-vehicle device using the same

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190109

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190109

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200121

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20200804