JP2010179828A - Operation input device for vehicle - Google Patents

Operation input device for vehicle Download PDF

Info

Publication number
JP2010179828A
JP2010179828A JP2009026465A JP2009026465A JP2010179828A JP 2010179828 A JP2010179828 A JP 2010179828A JP 2009026465 A JP2009026465 A JP 2009026465A JP 2009026465 A JP2009026465 A JP 2009026465A JP 2010179828 A JP2010179828 A JP 2010179828A
Authority
JP
Japan
Prior art keywords
vehicle
hand
level
image
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2009026465A
Other languages
Japanese (ja)
Other versions
JP5382313B2 (en
Inventor
Kazunobu Nakanishi
一伸 中西
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to JP2009026465A priority Critical patent/JP5382313B2/en
Publication of JP2010179828A publication Critical patent/JP2010179828A/en
Application granted granted Critical
Publication of JP5382313B2 publication Critical patent/JP5382313B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Position Input By Displaying (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide an operation input device for a vehicle that surely displays an operating hand on a screen, only when the user has a will to operate. <P>SOLUTION: The operation input device 1 for vehicle includes a remote controller 10 for remote controlling an operating screen displayed on a display device 20, and displays the hand operating the remote controller 10 on the operating screen. This device detects the distance between the hand operating the remote controller 10 and the remote controller 10, and permits the display of the hand only when the distance detected is shorter than the predetermined distance threshold value (operation acceptance level). However, the distance threshold value is varied in accordance with the travelling condition of the vehicle. <P>COPYRIGHT: (C)2010,JPO&INPIT

Description

本発明は車両用操作入力装置に関する。   The present invention relates to a vehicle operation input device.

近年では、操作入力装置(特許文献1)として、遠隔的に機器操作を行う操作入力装置が開発されている。このような操作入力装置は、操作画面(メイン画面)を表示する表示装置とは別に、操作者の手元に遠隔操作部を設け、さらに、その遠隔操作部を操作する手を撮影・抽出し、得られた手画像および手操作を表示装置の操作画面(メイン画面)に反映して、あたかも操作画面を直接タッチ操作しているかのように表示制御するものである。また、このような操作入力装置のうち、車両に設けられるものについては、その操作性を増すために、遠隔操作部が座席に着座したユーザーの手元に設けられる。そして、その遠隔操作部は、タッチ操作面を有してなるタッチ操作式(接触操作式)の操作パネルを設けた構成とされることが多い。   In recent years, an operation input device that remotely operates a device has been developed as an operation input device (Patent Document 1). Such an operation input device is provided with a remote operation unit at the operator's hand separately from a display device that displays an operation screen (main screen), and further, photographs and extracts a hand that operates the remote operation unit, The obtained hand image and manual operation are reflected on the operation screen (main screen) of the display device, and display control is performed as if the operation screen is directly touch-operated. Among such operation input devices, those provided in the vehicle are provided with the remote operation unit at the user's seat on the seat in order to increase the operability. The remote operation unit is often configured to include a touch operation type (contact operation type) operation panel having a touch operation surface.

特開2000−6687号公報JP 2000-6687 A

上記のような操作パネルが車室内に設けられる場合には、ユーザーが遠隔操作部への操作の意思を持っている場合には、操作する手を表示装置の画面上に確実に表示することが操作性の観点から重要である一方で、操作意思の無い場合には、手画像の表示は無意味であるからこうした無駄な表示処理が実施されないようにすることが望ましい。   When the operation panel as described above is provided in the vehicle interior, if the user is willing to operate the remote control unit, the operating hand can be reliably displayed on the screen of the display device. While it is important from the viewpoint of operability, when there is no intention to operate, the display of hand images is meaningless, so it is desirable not to perform such useless display processing.

本発明の課題は、ユーザーが操作意思を有した時にのみ、操作する手を確実に画面表示できる車両用操作入力装置を提供することにある。   An object of the present invention is to provide an operation input device for a vehicle that can reliably display the operating hand only when the user has an intention to operate.

課題を解決するための手段および発明の効果Means for Solving the Problems and Effects of the Invention

上記課題を解決するために、本発明の車両用操作入力装置は、
車両が備える機器の操作などを行うための操作画面を表示する表示手段と、前記表示画面とは異なる位置に設けられ、前記操作画面における操作入力を遠隔的に行うための遠隔操作面を有した遠隔操作部と、前記遠隔操作面に対向する手の画像を撮影する手画像撮影手段と、当該手により位置指示された前記表示画面上の位置に前記撮影された手の画像に基づいて生成された位置指示画像を表示する位置指示画像表示手段と、を備える車両用操作入力装置であって、
撮影された手と前記遠隔操作部との間の近接レベルを検出する近接レベル検出手段と、
検出された近接レベルが予め定められた操作受付レベルを上回って近接する場合には前記位置指示画像の表示を許可する一方で、前記操作受付レベルを上回ることなく離間している場合には前記位置指示画像の表示を禁止する位置指示画像表示制御手段と、
前記車両の走行状態を検出する走行状態検出手段と、
検出された走行状態に応じて前記操作受付レベルを変更する操作受付レベル変更手段と、
を備えることを特徴とする。
In order to solve the above-described problems, an operation input device for a vehicle according to the present invention includes:
Display means for displaying an operation screen for operating a device provided in the vehicle, and a remote operation surface provided at a position different from the display screen for remotely performing operation input on the operation screen A remote operation unit, hand image photographing means for photographing an image of a hand facing the remote operation surface, and a hand image photographed at a position on the display screen instructed by the hand. A position instruction image display means for displaying the position instruction image, and a vehicle operation input device comprising:
Proximity level detection means for detecting the proximity level between the photographed hand and the remote control unit;
When the detected proximity level exceeds a predetermined operation reception level, the display of the position indication image is permitted while the position is not separated from the operation reception level. Position indication image display control means for prohibiting display of the indication image;
Traveling state detecting means for detecting the traveling state of the vehicle;
Operation reception level changing means for changing the operation reception level according to the detected traveling state;
It is characterized by providing.

上記本発明の構成によれば、ユーザーが操作意思を持って遠隔操作面に対し一定以上手を近づけない限りは位置指示画像が表示されないので、無駄な位置指示画像の表示を省略できる。さらに、車両用操作入力装置においては、走行状態に応じて、操作を制限するべきシーンや操作を支援するべきシーンがある。上記本発明の構成によれば、走行状態に応じて、位置指示画像の表示がされ易くなったり、表示がされ難くなったり切り替えることができるので、走行状態に応じた使い勝手のよい操作入力装置を実現できる。   According to the configuration of the present invention, since the position instruction image is not displayed unless the user has a willingness to operate and brings his / her hand closer to the remote operation surface, a useless display of the position instruction image can be omitted. Furthermore, in the vehicle operation input device, there are scenes that should be limited in operation and scenes that should support the operation depending on the running state. According to the configuration of the present invention, since the position indication image can be easily displayed or difficult to display depending on the traveling state, it is possible to switch the operation input device that is easy to use according to the traveling state. realizable.

なお、走行状態検出手段は、車両の車速を検出する車速検出手段とすることにより、車速に係る走行状態の特定が可能となり、車速に応じた位置指示画像の表示/非表示の切替が可能となる。   The traveling state detection means is a vehicle speed detection means for detecting the vehicle speed of the vehicle, so that the traveling state relating to the vehicle speed can be specified, and the display / non-display of the position instruction image can be switched according to the vehicle speed. Become.

本発明の操作受付レベル変更手段は、前記走行状態検出手段により前記車両の走行状態が予め定められた基準車速レベルを上回る高速走行状態と検出された場合よりも、当該基準車速レベルを上回らない低速走行状態にあると検出された場合に、前記操作受付レベルを低く設定するものとできる。この構成によると、車両の高速走行状態においては、遠隔操作部の操作を制限するべく位置指示画像の表示がされにくいよう操作受付レベルを遠隔操作部に近い位置に設定できる。また、車両の低速走行状態においては、位置指示画像の表示がされ易くなるよう操作受付レベルを遠隔操作部から遠い位置に設定して、操作をスムーズにできるようにすることができる。   The operation acceptance level changing means of the present invention is a low speed that does not exceed the reference vehicle speed level when the running condition detecting means detects that the vehicle is in a high speed running state that exceeds a predetermined reference vehicle speed level. When it is detected that the vehicle is in the running state, the operation reception level can be set low. According to this configuration, when the vehicle is traveling at high speed, the operation reception level can be set at a position close to the remote operation unit so that the position instruction image is not easily displayed to limit the operation of the remote operation unit. Further, when the vehicle is traveling at a low speed, the operation reception level can be set at a position far from the remote control unit so that the position instruction image can be easily displayed, so that the operation can be performed smoothly.

本発明の操作受付レベル変更手段は、前記走行状態検出手段により前記車両の走行状態が走行中と検出された場合よりも停車中と検出された場合に、前記操作受付レベルを低く設定するものとできる。この構成によると、車両の走行状態においては、遠隔操作部の操作を制限するべく位置指示画像の表示がされにくいよう操作受付レベルを遠隔操作部に近い位置に設定できる。また、車両の停車状態においては、位置指示画像を表示しやすくなるよう操作受付レベルを遠隔操作部から遠い位置に設定して、操作をよりスムーズにできるようにすることができる。   The operation acceptance level changing means of the present invention sets the operation acceptance level lower when the running state detecting means detects that the vehicle is in a stopped state than when the running state is detected as running. it can. According to this configuration, in the traveling state of the vehicle, the operation reception level can be set at a position close to the remote operation unit so that the position instruction image is not easily displayed so as to restrict the operation of the remote operation unit. In addition, when the vehicle is stopped, the operation reception level can be set at a position far from the remote control unit so that the position instruction image can be easily displayed, so that the operation can be performed more smoothly.

本発明の操作受付レベル変更手段は、前記走行状態検出手段により前記車両の走行状態が予め定められた基準車速レベルを上回る高速走行状態にある場合よりも、該基準車速レベルを上回らない前記車両の低速走行状態にある場合に、前記操作受付レベルを高く設定するものとできる。この構成によると、車両の高速走行状態において、位置指示画像を表示しやすくなるよう操作受付レベルを遠隔操作部に近い位置に設定することで、走行中の運転者でも容易に操作が可能となるよう操作の容易化を図ることができる。また、車両の低速走行状態においては、明らかに操作意思のある場合にのみ位置指示画像が表示されるよう操作受付レベルを遠隔操作部から遠い位置に設定することができる。   The operation acceptance level changing means according to the present invention is configured so that the vehicle state that does not exceed the reference vehicle speed level is higher than the case where the running state of the vehicle is in a high-speed driving state that exceeds a predetermined reference vehicle speed level by the driving state detection means. When the vehicle is running at a low speed, the operation acceptance level can be set high. According to this configuration, when the vehicle is traveling at high speed, the operation reception level is set to a position close to the remote control unit so that the position indication image can be easily displayed, so that even a traveling driver can easily perform the operation. Thus, the operation can be facilitated. Further, when the vehicle is traveling at a low speed, the operation reception level can be set at a position far from the remote operation unit so that the position instruction image is displayed only when there is an intention to operate.

本発明の操作受付レベル変更手段は、前記走行状態検出手段により前記車両の走行状態が走行中である場合よりも停車中である場合に、前記操作受付レベルを高く設定するとできる。この構成によると、車両の高速走行状態において、位置指示画像を表示しやすくなるよう操作受付レベルを遠隔操作部に近い位置に設定することで、走行中の運転者でも容易に操作が可能となるよう操作の容易化を図ることができる。また、車両の停車状態においては、明らかに操作意思のある場合にのみ位置指示画像が表示されるよう操作受付レベルを遠隔操作部から遠い位置に設定することができる。   The operation acceptance level changing means of the present invention can set the operation acceptance level higher when the running state of the vehicle is stopped than when the running state of the vehicle is running. According to this configuration, when the vehicle is traveling at high speed, the operation reception level is set to a position close to the remote control unit so that the position indication image can be easily displayed, so that even a traveling driver can easily perform the operation. Thus, the operation can be facilitated. Further, when the vehicle is stopped, the operation reception level can be set at a position far from the remote control unit so that the position instruction image is displayed only when there is an intention to operate.

本発明において、手画像撮影手段により撮影される手の、前記遠隔操作部への接近/離間方向における移動の向きを検出する手移動方向検出手段を備えて構成することができる。この場合、操作受付レベル変更手段は、前記手画像撮影手段により撮影される手の、前記遠隔操作部への接近/離間方向における移動の向きに応じて、前記操作受付レベルを変更するものとできる。手が操作受付レベル付近に位置する場合には、位置指示画像を表示したり消失させたりと無駄な処理が繰り返される可能性がある。遠隔操作部への接近/離間方向における手の移動はユーザーの操作意思を反映している可能性が高いので、その移動方向に応じて操作受付レベルを変更できるようにすることで、ユーザーの操作意思のある可能性が高い場合に位置指示画像をより表示しやすくし、そうでない場合には表示されにくいようにすることが可能となる。これにより、位置指示画像の無駄な表示を抑制できる。   In the present invention, it is possible to provide hand movement direction detecting means for detecting the direction of movement of the hand imaged by the hand image photographing means in the approach / separation direction to the remote control unit. In this case, the operation reception level changing means can change the operation reception level according to the direction of movement of the hand photographed by the hand image photographing means in the approach / separation direction to the remote operation unit. . When the hand is positioned near the operation acceptance level, there is a possibility that useless processing is repeated such as displaying or disappearing the position instruction image. The movement of the hand in the approach / separation direction to the remote control unit is likely to reflect the user's intention to operate, so the user operation can be changed by changing the operation acceptance level according to the movement direction. It is possible to make it easier to display the position indication image when there is a high possibility of intention, and to make it difficult to display otherwise. Thereby, useless display of the position indication image can be suppressed.

本発明の操作受付レベル変更手段は、前記手画像撮影手段により撮影される手の、前記遠隔操作部から離間移動中である場合を、前記遠隔操作部への接近移動中である場合よりも、前記操作受付レベルを高く設定するものとできる。遠隔操作部に対向する手が遠隔操作部から離れていく場合には操作の意思がないと判断できるから、離れていく場合には操作受付レベルを高く設定して位置指示画像が表示されにくいようにすることで、位置指示画像の無駄な表示を抑制できる。また、位置指示画像を表示したり消失させたりと無駄な処理が繰り返されるエリアもなくなる。   The operation acceptance level changing means of the present invention is a case where the hand photographed by the hand image photographing means is moving away from the remote operation part, than when the hand is moving closer to the remote operation part. The operation acceptance level can be set high. When the hand facing the remote control unit moves away from the remote control unit, it can be determined that there is no intention to operate. Therefore, when moving away from the remote control unit, it is difficult to display the position indication image by setting the operation acceptance level high. By doing so, useless display of the position indication image can be suppressed. Further, there is no area where wasteful processing is repeated such as displaying or disappearing the position indication image.

本発明において、近接レベル検出手段は、前記手画像撮影手段により撮影された手と前記遠隔操作部との間の距離を検出するものとし、位置指示画像表示制御手段は、検出される距離に対し定められた距離閾値を前記操作受付レベルとして使用するものとし、操作受付レベル変更手段は、前記距離閾値を、前記車両の高速走行状態よりも前記低速走行状態において長くなるように変更するものとできる。この構成によると、遠隔操作部と、これを操作する手との間の距離を検出するとともに、この距離に対し定められた操作受付レベル(距離閾値)を、走行状態に応じて可変する構成となる。走行状態に応じて変更される閾値と、検出される距離との比較により、位置指示画像の表示しやすさ/表示しにくさを容易に変更することができる。   In the present invention, the proximity level detecting means detects a distance between the hand imaged by the hand image photographing means and the remote control unit, and the position indicating image display control means is adapted to detect the distance. A predetermined distance threshold value is used as the operation reception level, and the operation reception level changing means can change the distance threshold value to be longer in the low-speed driving state than in the high-speed driving state of the vehicle. . According to this configuration, the distance between the remote control unit and the hand operating the remote control unit is detected, and the operation reception level (distance threshold) determined for the distance is variable according to the running state; Become. By comparing the threshold value that is changed according to the running state and the detected distance, it is possible to easily change the ease of displaying / the difficulty of displaying the position indication image.

また、本発明において、近接レベル検出手段は、前記手画像撮影手段により撮影された手と前記遠隔操作部との間の距離を反映した値を検出するものとし、位置指示画像表示制御手段は、前記検出値に対し定められた検出値閾値を前記操作受付レベルとして固定的に使用するものとし、操作受付レベル変更手段は、前記手画像撮影手段により撮影された手と前記遠隔操作部との間の距離が同一である場合に前記近接レベル特定手段により検出される検出値を増ずる又は減ずるよう予め定められた検出条件を変更するものであり、前記検出値閾値の距離換算後の値を変更させることにより前記操作受付レベルを変更するものとできる。この構成によると、検出閾値を変えずに検出条件を変えるだけで、遠隔操作部と手との間の距離に対し定められる操作受付レベルを容易に変更することができる。   Further, in the present invention, the proximity level detection means detects a value reflecting the distance between the hand imaged by the hand image imaging means and the remote operation unit, and the position indication image display control means The detection threshold value determined for the detection value is fixedly used as the operation reception level, and the operation reception level changing unit is provided between the hand photographed by the hand image photographing unit and the remote operation unit. When the distance is the same, the predetermined detection condition is changed so as to increase or decrease the detection value detected by the proximity level specifying means, and the value after the distance conversion of the detection value threshold is changed. By doing so, the operation acceptance level can be changed. According to this configuration, it is possible to easily change the operation reception level determined for the distance between the remote operation unit and the hand by simply changing the detection condition without changing the detection threshold.

ところで、本発明の表示手段は、車室内において、表示画面が前記遠隔操作部とは異なる位置に設けられ、かつ該遠隔操作部を操作可能な座席に着座したユーザーから画面視認可能に配置されるとともに、前記表示画面上に操作画像を表示可能に構成することができる。この場合の遠隔操作部は、前記操作パネルへの前記タッチ操作に基づいて、前記表示装置おいて画面表示される操作画像に対し遠隔的に操作入力が可能な操作部として構成される。この構成によると、より視認性に優れる位置に設けられた表示装置に表示された操作画像(操作アイコン等)を、手元に位置する遠隔操作部により操作可能となる。例えば操作者が運転者である場合には、表示装置の表示画面が車両前方側に位置していれば視認性も高いし、それを視認しながらとなる遠隔タッチ操作もスムーズに行いやすい。   By the way, the display means of the present invention is arranged in a vehicle interior so that the display screen is provided at a position different from the remote operation unit and the user who is seated on a seat capable of operating the remote operation unit can view the screen. In addition, an operation image can be displayed on the display screen. In this case, the remote operation unit is configured as an operation unit capable of remotely inputting an operation to an operation image displayed on the screen of the display device based on the touch operation on the operation panel. According to this configuration, an operation image (such as an operation icon) displayed on a display device provided at a position with higher visibility can be operated by a remote operation unit located at hand. For example, when the operator is a driver, if the display screen of the display device is positioned on the front side of the vehicle, the visibility is high, and the remote touch operation while visually recognizing it is easy to perform smoothly.

また、本発明における遠隔操作部は、車両乗員が背もたれにもたれた形で車両の座席に着座した状態にて操作可能な位置に固定配置された操作部とすることができ、それらは、別途設けられた主操作部(例えば表示画面上ないしは表示画面周辺の操作部)よりも予め定められた座席に近い位置に固定配置されたものとすることができる。   In addition, the remote control unit according to the present invention can be a control unit that is fixedly arranged at a position where the vehicle occupant can be operated in a state of being seated on the back of the vehicle seat and is provided separately. It may be fixedly arranged at a position closer to a predetermined seat than the main operation unit (for example, on the display screen or around the display screen).

また、本発明における表示手段は、少なくとも車両の運転席に着座した車両乗員から画面視認可能となるよう当該車両乗員よりも車両前方側に配置されたものとすることができる。さらに、上記主操作部を備える場合には、当該表示手段の表示画面上に設けられたタッチパネル(表示面接触型の操作部)を主操作部として備えた構成とできるし、上記遠隔操作部は、運転席の座部と助手席の座部との間に設けることができる。   Further, the display means in the present invention can be arranged at the front side of the vehicle relative to the vehicle occupant so that the screen can be seen by at least the vehicle occupant seated in the driver's seat of the vehicle. Further, when the main operation unit is provided, a touch panel (display surface contact type operation unit) provided on the display screen of the display unit may be provided as the main operation unit, and the remote operation unit may be It can be provided between the seat of the driver seat and the seat of the passenger seat.

なお、本発明における押圧操作部及び操作パネルは、車載電子機器の操作部とすることができ、例えば、エアコン操作部、オーディオ操作部、ナビゲーション操作部、パワーウィンドウ操作部、及びシート位置調整操作部のうち、1又は複数を兼用するものとすることができる。   Note that the pressing operation unit and the operation panel in the present invention can be used as an operation unit of an in-vehicle electronic device, for example, an air conditioner operation unit, an audio operation unit, a navigation operation unit, a power window operation unit, and a seat position adjustment operation unit. Of these, one or more of them can be used together.

本発明の一実施形態である車両用操作入力装置の構成を示すブロック図。The block diagram which shows the structure of the operation input apparatus for vehicles which is one Embodiment of this invention. 図1の車両用操作入力装置を搭載する車両の車室内外観図。FIG. 2 is an exterior view of a vehicle interior of the vehicle on which the vehicle operation input device of FIG. 1 is mounted. 図1の車両用操作入力装置の操作状態の一例を示す概略図。Schematic which shows an example of the operation state of the operation input apparatus for vehicles of FIG. 図1の車両用操作入力装置における遠隔操作部を示す概略斜視図。The schematic perspective view which shows the remote control part in the operation input apparatus for vehicles of FIG. 図4の遠隔操作部におけるタッチ操作部を示す概略断面図。The schematic sectional drawing which shows the touch operation part in the remote control part of FIG. 操作パネルに対向する手の撮影及び表示を説明する第一の図。The 1st figure explaining photography and display of the hand which opposes an operation panel. 操作パネルに対向する手の撮影及び表示を説明する第二の図。The 2nd figure explaining photography and a display of the hand which opposes an operation panel. 操作パネルに対向する手の撮影及び表示を説明する第三の図。The 3rd figure explaining imaging | photography and display of the hand which opposes an operation panel. 操作パネルに対向する手の撮影及び表示を説明する第四の図。FIG. 10 is a fourth diagram illustrating photographing and display of a hand facing the operation panel. 本発明の位置指示画像表示処理の流れを示すフローチャート。The flowchart which shows the flow of the position instruction | indication image display process of this invention. 本発明の操作受付レベルの設定変更処理の流れを示すフローチャート。The flowchart which shows the flow of the setting change process of the operation reception level of this invention. 操作受付レベルを説明する図。The figure explaining the operation reception level. 図11とは異なる本発明の操作受付レベルの設定変更処理の流れを示すフローチャート。The flowchart which shows the flow of the setting change process of the operation reception level of this invention different from FIG. 図11及び図13とは異なる本発明の操作受付レベルの設定変更処理の流れを示すフローチャート。14 is a flowchart showing a flow of setting change processing for an operation reception level according to the present invention, which is different from those in FIGS. 11 and 13. 図14における操作受付レベルを説明する図。The figure explaining the operation reception level in FIG. 近接レベルの検出方法の一例を説明する図。The figure explaining an example of the detection method of a proximity level. 操作パネルにタッチ操作がなされた位置を特定可能な撮影画像の一例。An example of the picked-up image which can pinpoint the position where touch operation was made to the operation panel. 本発明の一実施形態である車両用操作入力装置を、車載ナビゲーション装置の操作入力装置として適用した構成を示すブロック図。The block diagram which shows the structure which applied the operation input device for vehicles which is one Embodiment of this invention as an operation input device of a vehicle-mounted navigation apparatus. 位置指示画像の一表示例を説明する図。The figure explaining the example of a display of a position instruction | indication image. 位置指示画像の一表示例を説明する図。The figure explaining the example of a display of a position instruction | indication image.

以下、本発明の車両用操作入力装置の第一実施形態を、図面を参照して説明する。   Hereinafter, a first embodiment of a vehicle operation input device of the present invention will be described with reference to the drawings.

図1は、本発明の車両用操作入力装置の構成を示すブロック図である。本実施形態においては、遠隔操作部10と表示装置20と車速センサ30と外部記憶装置40とが制御部100に接続された構成を有する。   FIG. 1 is a block diagram showing a configuration of a vehicle operation input device of the present invention. In the present embodiment, the remote control unit 10, the display device 20, the vehicle speed sensor 30, and the external storage device 40 are connected to the control unit 100.

表示装置20は、周知のカラー表示装置(液晶ディスプレイ,プラズマディスプレイ,有機ELディスプレイ等)であり、表示画面上にタッチ操作用のスイッチ画像(操作アイコン)等の操作画像を表示する複数種の操作画面を切り替える形で表示することができる。本実施形態の表示装置20は、表示画面上に配置された表示面接触型の操作部であるタッチパネル22と、当該表示画面の周辺に配置されるスイッチ類21と、を有して構成されている。また、本実施形態の表示装置20は、運転席2D及び助手席2Pに着座した双方の車両乗員から画面視認可能であり、なおかつ双方の車両乗員からタッチパネル22及びスイッチ類21が操作可能となるようそれらの座席2D,2Pよりも車両前方側に配置されている。   The display device 20 is a known color display device (liquid crystal display, plasma display, organic EL display, etc.), and a plurality of types of operations for displaying operation images such as switch images (operation icons) for touch operation on the display screen. It can be displayed by switching the screen. The display device 20 of the present embodiment includes a touch panel 22 that is a display surface contact type operation unit arranged on a display screen, and switches 21 arranged around the display screen. Yes. Further, the display device 20 of the present embodiment can be visually recognized from both vehicle occupants seated in the driver's seat 2D and the passenger seat 2P, and the touch panel 22 and the switches 21 can be operated from both vehicle occupants. The seats 2D and 2P are arranged on the vehicle front side.

タッチパネル22は、表示装置20の画面上に取り付けられ、車室内に露出する主表面22a1がタッチ操作面となる形で配置される透明な操作パネル(例えば抵抗膜式タッチスイッチ)を有したタッチ操作部として構成されている。タッチ操作面22a1になされたタッチ操作位置を検知し、当該タッチ操作位置を反映したタッチ操作入力信号を制御部100に出力する。   The touch panel 22 is mounted on the screen of the display device 20 and has a transparent operation panel (for example, a resistive touch switch) arranged in such a manner that the main surface 22a1 exposed in the vehicle interior serves as a touch operation surface. It is configured as a part. The touch operation position made on the touch operation surface 22a1 is detected, and a touch operation input signal reflecting the touch operation position is output to the control unit 100.

遠隔操作部10は、上記した表示装置に画面表示される操作画像に対する操作入力を遠隔的に行うための補助操作部であって、タッチ操作部12と、押圧操作部11とを有して構成されている。つまり、遠隔操作部10は、表示装置20の操作部22,21を主操作部とし、それに代わる操作が可能な補助操作部であり、それら主操作部22,21よりも操作負担が小さくなるようユーザーにより近い位置に配置されている。ここでの遠隔操作部10は、図2及び図3に示すように、運転席2Dと助手席2Pに着座したユーザーが着座状態のまま操作可能な位置として、車両の運転席2Dの座部と助手席2Pの座部との間に位置するセンターコンソールCBに設けられている。より具体的にいえば、遠隔操作部10は、表示装置20よりもそれら座席の搭乗者に近い位置に固定配置されている。さらには、そのセンターコンソールCBのうち、運転席2Dの座部2D1と助手席2Pの座部2P1とに挟まれる領域の車両前方側の領域に設けられている。   The remote operation unit 10 is an auxiliary operation unit for remotely performing an operation input on the operation image displayed on the display device described above, and includes a touch operation unit 12 and a pressing operation unit 11. Has been. In other words, the remote operation unit 10 is an auxiliary operation unit that can be operated in place of the operation units 22 and 21 of the display device 20 as a main operation unit, and the operation load is smaller than those of the main operation units 22 and 21. Located closer to the user. As shown in FIGS. 2 and 3, the remote operation unit 10 here is configured so that a user seated in the driver's seat 2D and the passenger seat 2P can operate while sitting, It is provided in the center console CB located between the seat portion of the passenger seat 2P. More specifically, the remote control unit 10 is fixedly arranged at a position closer to the passenger of the seat than the display device 20. Furthermore, the center console CB is provided in a region on the front side of the vehicle in a region sandwiched between the seat 2D1 of the driver's seat 2D and the seat 2P1 of the passenger seat 2P.

また、図4に示すように、本実施形態の遠隔操作部10には、操作する手を載せておくための湾曲形状をなす載置台部14が設けられており、載せられた手が湾曲形状にフィットするようになっている。そして、載置台部14に置かれた手の指が位置するであろう車両前方側の位置に、タッチ操作部12(タッチ操作面12a1)と押圧操作部11が配置されている。さらに言えば、押圧操作部11がタッチ操作部12よりも車両後方側に配置されている。このため、タッチ操作部12(タッチ操作面12a1)の方が、押圧操作部11よりも操作対象者(ここでは運転者及び助手席搭乗者)の肩位置から遠い位置にあり、押圧操作部11の方が操作の容易な位置となっている。また、図5に示すように、押圧操作部13に対し車両後方側に隣接する車両後方側の領域には、当該押圧操作部11への操作が容易となるよう凹部13が形成されている。   As shown in FIG. 4, the remote control unit 10 of the present embodiment is provided with a mounting table 14 having a curved shape for placing a hand to be operated, and the placed hand is curved. To fit. And the touch operation part 12 (touch operation surface 12a1) and the press operation part 11 are arrange | positioned in the vehicle front side position where the finger | toe of the hand placed on the mounting base part 14 will be located. More specifically, the pressing operation unit 11 is disposed on the vehicle rear side with respect to the touch operation unit 12. For this reason, the touch operation unit 12 (touch operation surface 12a1) is located farther from the shoulder position of the person to be operated (here, the driver and the passenger on the passenger seat) than the press operation unit 11, and the press operation unit 11 The position is easier to operate. In addition, as shown in FIG. 5, a recess 13 is formed in a region on the vehicle rear side adjacent to the pressing operation unit 13 on the vehicle rear side so that the operation to the pressing operation unit 11 is easy.

押圧操作部11は、操作パネル12aに対し近接配置され、押圧操作により操作ノブが所定変位を生じたことを検知した場合に、押圧操作入力信号を出力するプッシュスイッチやシーソースイッチ等のスイッチである。この押圧操作入力信号を受信する制御部100は、受信した該押圧操作入力信号に基づいて、対応する制御を実行する制御実行手段として機能する。ここでは、2つのプッシュスイッチ11が設けられている。   The pressing operation unit 11 is a switch such as a push switch or a seesaw switch that is disposed close to the operation panel 12a and outputs a pressing operation input signal when it is detected that the operation knob has caused a predetermined displacement by the pressing operation. . The control unit 100 that receives the pressing operation input signal functions as a control execution unit that executes the corresponding control based on the received pressing operation input signal. Here, two push switches 11 are provided.

タッチ操作部12は、タッチ操作面となる主表面12a1が車室内上方を臨む形で配置される操作パネル(例えば抵抗膜式タッチスイッチ)12aを有し、当該タッチ操作面12aになされたタッチ操作による操作位置を検知し、当該操作位置を反映したタッチ操作入力信号を出力するものである。   The touch operation unit 12 includes an operation panel (for example, a resistive touch switch) 12a arranged such that a main surface 12a1 serving as a touch operation surface faces upward in the vehicle interior, and the touch operation performed on the touch operation surface 12a. Is detected, and a touch operation input signal reflecting the operation position is output.

なお、本実施形態においては、遠隔操作部10のタッチ操作面12a1上に定められる二次元操作座標系と、表示装置20の表示画面上に定められる二次元表示座標系との間にも一義的な対応関係が予め定められており、一方の面内位置に対応する他方の面内位置が一義的に特定可能とされており、タッチ操作面22a1にタッチ操作があった場合には、その対応関係に基づいて、当該タッチ操作がなされた位置座標に対応する、表示装置20の表示画面上の位置座標への操作入力が受け付けられる。同じく、表示装置20の表示画面上に定められる二次元表示座標系と、タッチパネル22のタッチ操作面22a1上に定められる二次元操作座標系との間には一義的な対応関係が予め定められており、一方の面内位置に対応する他方の面内位置が一義的に特定可能とされていて、遠隔操作部10のタッチ操作面12a1からも、タッチパネル22のタッチ操作面22a1と同様のタッチ操作入力が可能とされている。   In the present embodiment, it is also unique between the two-dimensional operation coordinate system defined on the touch operation surface 12a1 of the remote operation unit 10 and the two-dimensional display coordinate system defined on the display screen of the display device 20. If the other in-plane position corresponding to one in-plane position is uniquely identifiable and there is a touch operation on the touch operation surface 22a1, the corresponding Based on the relationship, an operation input to the position coordinates on the display screen of the display device 20 corresponding to the position coordinates where the touch operation is performed is accepted. Similarly, a unique correspondence between the two-dimensional display coordinate system defined on the display screen of the display device 20 and the two-dimensional operation coordinate system defined on the touch operation surface 22a1 of the touch panel 22 is determined in advance. The other in-plane position corresponding to the one in-plane position can be uniquely specified, and the touch operation similar to the touch operation surface 22a1 of the touch panel 22 can be performed from the touch operation surface 12a1 of the remote operation unit 10 as well. Input is allowed.

また、本実施形態におけるタッチ操作部12は、図5に示すように、車室内において車両上方に臨む開口12hを有した中空の筐体12Pの該開口12hに操作パネル12aが嵌め込まれており、その表面12a1がタッチ操作面(遠隔タッチ操作面)とされている。開口12hを形成する筐体開口周辺部12fの外縁からは、後方に向けて筒状の周壁部12eが設けられており、その後端部が回路基板12kに固定されている。この筐体12Pは、車室内のセンターコンソールCBの所定位置に固定配置されており、内部にカメラ12b及び光源12cが配置されている。   Further, as shown in FIG. 5, in the touch operation unit 12 in the present embodiment, an operation panel 12 a is fitted into the opening 12 h of a hollow housing 12 </ b> P having an opening 12 h that faces the upper side of the vehicle in the vehicle interior. The surface 12a1 is a touch operation surface (remote touch operation surface). A cylindrical peripheral wall portion 12e is provided rearward from the outer edge of the housing opening peripheral portion 12f that forms the opening 12h, and a rear end portion thereof is fixed to the circuit board 12k. The housing 12P is fixedly disposed at a predetermined position of the center console CB in the vehicle interior, and a camera 12b and a light source 12c are disposed inside.

光源12cは、同じく図5に示すように、操作パネル12aを裏面12a2から表面12a1に透過させる形で光を照射する。光源12cからの光(照射光)は、タッチ操作面12a1を被うように位置する接近対象物(例えば手等)が存在しない限り、該タッチ操作面12a1から外に通過していくが、該タッチ操作面12a1に対向する形で接近した接近対象物Hが存在する場合には、当該接近対象物Hに反射して、その光(反射光)の一部は裏面12a2側に戻り、カメラ12bに捉えられる。   Similarly, as shown in FIG. 5, the light source 12c irradiates light in such a manner that the operation panel 12a is transmitted from the back surface 12a2 to the front surface 12a1. Light (irradiation light) from the light source 12c passes outside from the touch operation surface 12a1 unless there is an approaching object (such as a hand) positioned so as to cover the touch operation surface 12a1, When there is an approaching object H that is approaching the touch operation surface 12a1, it is reflected by the approaching object H and part of the light (reflected light) returns to the back surface 12a2 side, and the camera 12b. To be captured.

カメラ12bは、光源12cから照射された光が接近対象物Hにて反射した反射光を捉える形で、当該接近対象物Hを操作パネル12aの裏面12a2側から撮影するものであり、予め定められた撮影範囲を撮影するよう車体側に固定されている。また、ここでのカメラ12bは、反射部材12rの反射面を撮影しており、当該反射面に映し出される画像(反射画像)に上記撮影範囲が含まれるように各々が配置されている。反射部材12rが無い場合は、当該撮影範囲をカメラ12bにより直接撮影する形となるから、撮影後の画像に左右反転処理を施す必要がある。   The camera 12b captures the reflected object reflected from the approaching object H by the light emitted from the light source 12c, and photographs the approaching object H from the back surface 12a2 side of the operation panel 12a. It is fixed on the vehicle body side to shoot the shooting range. Further, the camera 12b here images the reflection surface of the reflection member 12r, and each is arranged so that the image (reflection image) displayed on the reflection surface includes the imaging range. When there is no reflecting member 12r, the photographing range is directly photographed by the camera 12b. Therefore, it is necessary to perform left-right reversal processing on the photographed image.

本実施形態の光源12cは赤外光光源である。具体的にいえば、操作パネル12aの裏面側後方に位置するLEDである。一方で、本実施形態のカメラ12bは、暗所での撮影にも適した赤外線カメラ(可視光をシャットアウトする図示しない赤外線フィルタを備え、これを介して撮影を行う)であり、赤外光光源12cから照射された光(赤外線)が接近対象物Hにて反射した反射光をカメラ12bが捉える形で撮影がなされる。操作パネル12aは、光源12cの光に対してのみ透光性を有した材料にて構成され、筐体12Pの内部を外部から視認することができない。   The light source 12c of this embodiment is an infrared light source. More specifically, it is an LED located on the rear side of the operation panel 12a. On the other hand, the camera 12b of the present embodiment is an infrared camera suitable for shooting in a dark place (including an infrared filter (not shown) that shuts out visible light, and performs shooting through this). Photographing is performed in such a manner that the camera 12b captures the reflected light reflected by the approaching object H from the light (infrared rays) emitted from the light source 12c. The operation panel 12a is made of a material having translucency only with respect to the light from the light source 12c, and the inside of the housing 12P cannot be viewed from the outside.

なお、本実施形態において、撮影手段をなすカメラ12bは、操作パネル12aの表面12a1に対向する形で接近する接近対象物を撮影する接近対象物撮影手段として機能するものであり、接近対象物に手が含まれることを考慮すれば、その手の画像を撮影する手画像撮影手段として機能しているともいえる。   In the present embodiment, the camera 12b serving as an imaging unit functions as an approaching object imaging unit that captures an approaching object that approaches the surface 12a1 of the operation panel 12a. Considering that a hand is included, it can be said that it functions as a hand image photographing means for photographing an image of the hand.

車速センサ30は、周知のロータリエンコーダ等の回転検出部を含み、例えば車輪取り付け部付近に設置されて車輪の回転を検出してパルス信号として制御部100に送るものである。制御部100では、その車輪の回転数を車両の速度(車速)に換算する他に、車両の現在位置から所定の場所までの予想到達時間を算出したり、車両の走行区間毎の平均車速を算出したりする。本実施形態においては、この車速センサ30が車速検出手段(走行状態検出手段)であり、制御部100は、その検出結果を受けて車両の走行状態を特定する。なお、車両の走行状態を検出する手段としては、車速センサに限らず他のものでもよい。例えば、車両の走行状態を検出する手段として、シフトポジションセンサを設け、ドライブポジションを検出している場合を走行状態(走行中)、パーキングポジションを検出している場合を停車状態(停車中)等の様にして、車両の走行状態を検出してもよい。   The vehicle speed sensor 30 includes a rotation detection unit such as a known rotary encoder, and is installed near the wheel mounting unit, for example, to detect the rotation of the wheel and send it to the control unit 100 as a pulse signal. In addition to converting the number of rotations of the wheels into the speed of the vehicle (vehicle speed), the control unit 100 calculates an estimated arrival time from the current position of the vehicle to a predetermined location, and calculates an average vehicle speed for each travel section of the vehicle. Or calculate. In the present embodiment, the vehicle speed sensor 30 is vehicle speed detection means (running state detection means), and the control unit 100 receives the detection result and specifies the running state of the vehicle. The means for detecting the running state of the vehicle is not limited to the vehicle speed sensor, and other means may be used. For example, as a means for detecting the running state of the vehicle, a shift position sensor is provided. When the drive position is detected, the running state (running), when the parking position is detected, the stopped state (stopped), etc. In this manner, the traveling state of the vehicle may be detected.

制御部100は、図示しない周知のCPU,ROM,RAM,I/O(Input/Output)およびこれらの構成を接続するバスライン等からなる周知のマイクロコンピュータを中心に構成されており、ROMや外部記憶装置40等の記憶部に記憶されたプログラムに基づいて各種制御を実施する。また、LAN I/F及び車載LANを介して、例えば他のECU等、外部からのデータ取り込みを行うこともできる。また、他のECUの制御対象を駆動制御するための制御信号を、対応するECUに送信して、各種車載電子機器の機器機能を実行することができる。例えば、ナビゲーション機能や、車両空調機能、パワーウィンドウ機能、オーディオ機能等の車載機器機能を実行することが可能である。   The control unit 100 is configured around a well-known microcomputer including a well-known CPU, ROM, RAM, I / O (Input / Output) (not shown) and a bus line connecting these components. Various controls are performed based on a program stored in a storage unit such as the storage device 40. In addition, data can be taken in from outside such as another ECU via the LAN I / F and the in-vehicle LAN. In addition, it is possible to execute a device function of various in-vehicle electronic devices by transmitting a control signal for driving and controlling a control target of another ECU to the corresponding ECU. For example, it is possible to execute in-vehicle device functions such as a navigation function, a vehicle air conditioning function, a power window function, and an audio function.

駆動部30は、タッチ操作部12や押圧操作部11からの操作に基づいて制御される対象となる駆動部である。そうした対象としては、ナビゲーション機能等の各種車載電子機器の機器機能とすることができる。ナビゲーション機能のほかにも、車両空調機能や、パワーウィンドウ機能、オーディオ機能等を実行する各種の駆動部とすることができる。   The drive unit 30 is a drive unit to be controlled based on operations from the touch operation unit 12 and the press operation unit 11. Such a target can be a device function of various in-vehicle electronic devices such as a navigation function. In addition to the navigation function, various drive units that perform a vehicle air conditioning function, a power window function, an audio function, and the like can be used.

また、制御部100は、タッチ操作部12a、22から受信するタッチ操作入力信号に基づいて、対応する制御を実行する。具体的にいえば、タッチ操作面12a1,22a1のいずれかにタッチ操作があった場合、制御部100がそのタッチ操作がなされたタッチ操作面12a1,22a1上の位置座標を特定し、さらに、特定された当該位置座標に対応する、表示装置20の表示画面上の位置座標を特定して、その上で、特定された当該位置座標に対応する制御内容を実行する制御信号を出力する。表示装置20の表示画面には、複数の操作画像(操作アイコン等)160Iを表示する操作画面が表示可能であり、当該操作画面が表示されていた場合に、タッチ操作面22a1上において当該操作画像160Iに対応する位置にタッチ操作をすると、その操作画像160Iに対応するタッチ操作入力信号が制御部100に入力される。制御部100に入力されるタッチ操作入力信号には、タッチ操作面12a1,22a1上のタッチ位置を反映した操作位置情報が含まれているので、その入力を受けた制御部100は、当該操作位置情報に基づいてタッチ位置を特定し、さらにそのタッチ位置に対応する制御内容を特定し、実行する。   Moreover, the control part 100 performs corresponding control based on the touch operation input signal received from the touch operation parts 12a and 22. Specifically, when there is a touch operation on either of the touch operation surfaces 12a1 and 22a1, the control unit 100 specifies the position coordinates on the touch operation surfaces 12a1 and 22a1 on which the touch operation is performed, and further specifies The position coordinate on the display screen of the display device 20 corresponding to the specified position coordinate is specified, and then a control signal for executing the control content corresponding to the specified position coordinate is output. An operation screen for displaying a plurality of operation images (operation icons, etc.) 160I can be displayed on the display screen of the display device 20. When the operation screen is displayed, the operation image is displayed on the touch operation surface 22a1. When a touch operation is performed at a position corresponding to 160I, a touch operation input signal corresponding to the operation image 160I is input to the control unit 100. Since the touch operation input signal input to the control unit 100 includes operation position information reflecting the touch position on the touch operation surfaces 12a1 and 22a1, the control unit 100 that has received the input receives the operation position information. The touch position is specified based on the information, and the control content corresponding to the touch position is specified and executed.

なお、制御部100のROMや外部記憶装置40等の記憶部には、操作画像160Iを表示するための操作画像データが記憶されており、操作画像160Iの重ね表示ないし合成表示に用いられている。一方で、同じく制御部100の記憶部には、各操作画像160Iに対応付けた形で、各々への操作入力(対応するタッチ操作面12a1,22a1上の領域へのタッチ入力)により実施される制御内容も記憶されている。これにより、制御部100は、メイン画像(背景画像)160B上にスイッチ画像160Iが重なった画像160を表示する際には、タッチ操作面12a1,22a1における当該スイッチ画像160Iの表示位置に対応する領域に操作入力受付範囲(操作入力位置)を設定する(操作入力位置設定手段)。   Note that operation image data for displaying the operation image 160I is stored in a storage unit such as the ROM of the control unit 100 or the external storage device 40, and is used for overlapping display or composite display of the operation image 160I. . On the other hand, the storage unit of the control unit 100 is also implemented by operation input to each of them (touch input to the area on the corresponding touch operation surface 12a1, 22a1) in a form associated with each operation image 160I. The control content is also stored. Thus, when the control unit 100 displays the image 160 in which the switch image 160I is superimposed on the main image (background image) 160B, the area corresponding to the display position of the switch image 160I on the touch operation surfaces 12a1 and 22a1. An operation input reception range (operation input position) is set in (operation input position setting means).

また、制御部100は、遠隔操作部10をなすタッチ操作部12を操作するための手がタッチ操作面12a1に対向する場合に、その手が位置指示しているタッチ操作面12a1上の位置に対応する表示装置20の画面位置に、所定の位置指示画像が表示される。具体的にいえば、カメラ12bにより撮影された撮影画像に基づいて、制御部100が、表示装置20に表示されている背景画像160B(160B1,160B2)上に、位置指示画像160Hを重ね表示あるいは合成表示する。   In addition, when the hand for operating the touch operation unit 12 constituting the remote operation unit 10 faces the touch operation surface 12a1, the control unit 100 is positioned at the position on the touch operation surface 12a1 where the hand is pointing. A predetermined position indication image is displayed at the screen position of the corresponding display device 20. Specifically, based on the photographed image photographed by the camera 12b, the control unit 100 superimposes the position instruction image 160H on the background image 160B (160B1, 160B2) displayed on the display device 20, or Composite display.

位置指示画像とは、カメラ12bによる撮影画像150から抽出される手の画像150Hにおいて、少なくともその指が指示している位置に対応する画面位置に表示される画像である。ここでは、図6〜図9の(b)のように二値化して抽出された手画像150Hに基づいて、位置指示画像160Hとして、図6及び図7の(c)のように、少なくとも手画像150Hの輪郭(外形形状)が表示されるような画像を、背景画像160Bが半透過状態で視認できるような状態で表示する。操作パネル12aに対向する手・指が移動すると、これに合わせて、表示装置20の表示画面に表示される位置指示画像(加工画像)160Hの表示位置も移動する。なお、位置指示画像160Hは、必ずしも撮影された手形状・指形状の輪郭を反映していなくともよく、少なくとも撮影された手の指が指し示す位置を指示する画像であればよく、例えばポインタ画像等のシンボル画像であってもよい。また、位置指示画像160Hとして、カメラ12bにより撮影された手の画像(ないし指の画像)150Hを加工せずにそのまま表示(重畳表示や合成表示)しても問題はないが、これと重なる位置に表示されるはずのメイン画像160Bの一部分が見えなくなること等を考慮すると、より操作がし易くなるような加工(例えば半透過合成)を施しておいた方がより望ましい。   The position indication image is an image displayed at a screen position corresponding to at least the position indicated by the finger in the hand image 150H extracted from the captured image 150 by the camera 12b. Here, based on the hand image 150H binarized and extracted as shown in FIG. 6B to FIG. 9B, as the position instruction image 160H, as shown in FIG. 6 and FIG. An image in which the outline (outer shape) of the image 150H is displayed is displayed in a state where the background image 160B can be viewed in a semi-transparent state. When the hand / finger facing the operation panel 12a moves, the display position of the position instruction image (processed image) 160H displayed on the display screen of the display device 20 also moves accordingly. Note that the position instruction image 160H does not necessarily reflect the captured hand shape / finger-shaped contour, and may be an image that indicates at least the position indicated by the finger of the captured hand. The symbol image may be used. In addition, there is no problem if the hand image (or finger image) 150H photographed by the camera 12b is displayed as it is without being processed (superimposed display or composite display) as the position instruction image 160H, but the position overlapping image is displayed. In view of the fact that a part of the main image 160B that should be displayed on the screen becomes invisible, it is more desirable to perform processing (for example, translucent synthesis) that makes the operation easier.

図6〜図9は、操作パネル12aの表面12a1に対向する手(指)Hの撮影及び表示を説明する図である。各図の(a)は、操作パネル12aと、その表面12a1に対向する手の状態(指の状態)を示しており、各図の(b)は、(a)の状態の手(指)をカメラ12bにて撮影した映像150であり、操作パネル12a全体を撮影領域として撮影された画像である。ただし、本実施形態における(b)の映像150は、撮影後にその映像を2値化したものである。(b)において、符号150Hは接近対象物Hが映った領域、符号150Bは何も映らなかった領域である。符号150Bの領域は本来、操作パネル12aが映る領域であるが、該操作パネル12aが光源12cの光に対し透光性を有するので映らない。また、それであっても、その操作パネル12a越しに背景(本実施形態でいえば車両の天井面等)が映っていてもおかしくないが、赤外反射光を十分に捉えることができずに映像として映らなかったか、多少の赤外反射光が捉えられたものの2値化処理により背景と同一化されたかのいずれかである。各図の(c)は、(b)の映像150が撮影されているときの、表示装置20における画面表示の一例である。図6及び図8の(c)に示す表示画面は、メイン画像160B1として50音入力画面が表示されている。他方、図7及び図9(c)に示す表示画面は、メイン画像160B2としてナビゲーション装置において表示される地図画面(地図操作用画像)が表示されている。   6 to 9 are views for explaining photographing and display of the hand (finger) H facing the surface 12a1 of the operation panel 12a. (A) of each figure has shown the state (finger state) of the hand which opposes the operation panel 12a and its surface 12a1, and (b) of each figure shows the hand (finger) of the state of (a). Is an image 150 captured by the camera 12b, and is an image captured using the entire operation panel 12a as a capturing area. However, the video 150 of (b) in this embodiment is a binarized version of the video after shooting. In (b), reference numeral 150H is an area where the approaching object H is reflected, and reference numeral 150B is an area where nothing is reflected. The region denoted by reference numeral 150B is originally a region where the operation panel 12a is reflected, but is not reflected because the operation panel 12a has translucency with respect to the light from the light source 12c. Even so, it is not strange that the background (the ceiling surface of the vehicle in the present embodiment) is reflected through the operation panel 12a, but the image cannot be captured sufficiently from the infrared reflected light. Or some of the reflected infrared light was captured, but it was made identical to the background by the binarization process. (C) of each figure is an example of the screen display in the display apparatus 20 when the image | video 150 of (b) is image | photographed. The display screen shown in FIG. 6 and FIG. 8C shows a 50-sound input screen as the main image 160B1. On the other hand, the display screen shown in FIGS. 7 and 9C displays a map screen (map operation image) displayed on the navigation device as the main image 160B2.

ところで、本発明においては、タッチ操作部12を操作する手を検出する操作手検出部(タッチ操作手検出手段)12bが設けられている。この操作手検出部12bは、タッチ操作面12a1に近接対向する手を検出するものであり、ここでは、図5に示すように、予め定められた波長帯の光を照射する光源12cと、操作パネル12aを撮影範囲に含む形で該操作パネル12aの裏面12a2側から表面12a1側を撮影するカメラ(接近対象物撮影手段)12bと、を備えて構成されている。なお、操作パネル12aは、カメラ12bによる撮影が可能となるように、光源12cからの照射光が裏面12a2側から表面12a1側に向けて透過するよう透光性を有している。カメラによる撮影画像データは制御部100に入力され、画像解析部100aによる解析処理に基づいて手の存在を判定する(操作手特定手段)。   By the way, in the present invention, an operation hand detecting unit (touch operation hand detecting means) 12b for detecting a hand operating the touch operation unit 12 is provided. The operation hand detection unit 12b detects a hand that is close to and faces the touch operation surface 12a1, and here, as shown in FIG. 5, a light source 12c that emits light in a predetermined wavelength band, and an operation And a camera (approaching object photographing means) 12b for photographing the front surface 12a1 side from the back surface 12a2 side of the operation panel 12a so as to include the panel 12a in the photographing range. Note that the operation panel 12a has translucency so that irradiation light from the light source 12c is transmitted from the back surface 12a2 side to the front surface 12a1 side so that the camera 12b can perform photographing. Image data taken by the camera is input to the control unit 100, and the presence of a hand is determined based on analysis processing by the image analysis unit 100a (operating hand specifying means).

そして、制御部100では、カメラ12bに撮影された手と遠隔操作部10の操作パネル12aとの間の近接レベルを検出し、検出された近接レベルが予め定められた操作受付レベルを上回って近接する場合には位置指示画像の表示を許可する一方で、前記操作受付レベルを上回ることなく離間している場合には位置指示画像160Hの表示を禁止する。なお、ここでの近接レベルは、手と操作パネル12aとの間の近接距離として検出されるものとする。具体的にいえば、光源12cから照射光を間欠的に照射し、各照射の反射光がカメラ12bにより捉えられるまでの時間を計測して、計測された時間から、手と操作パネル12aとの間の近接距離を算出する。近接距離の算出は光源12cから光が照射される毎に実施され、算出結果は距離情報として外部記憶装置40の所定記憶領域(距離情報記憶部)に記憶される。   Then, the control unit 100 detects the proximity level between the hand photographed by the camera 12b and the operation panel 12a of the remote operation unit 10, and the detected proximity level exceeds the predetermined operation reception level. In this case, the display of the position instruction image is permitted, while the display of the position instruction image 160H is prohibited if the position instruction image is separated without exceeding the operation reception level. Here, the proximity level is detected as a proximity distance between the hand and the operation panel 12a. Specifically, the irradiation light is intermittently emitted from the light source 12c, the time until the reflected light of each irradiation is captured by the camera 12b is measured, and the hand and the operation panel 12a are measured from the measured time. The proximity distance between is calculated. The proximity distance is calculated every time light is emitted from the light source 12c, and the calculation result is stored as distance information in a predetermined storage area (distance information storage unit) of the external storage device 40.

さらに、制御部100では、車両の走行状態を検出して、検出された走行状態に応じて操作受付レベルを変更する。図11は、操作受付レベルの設定変更処理の一例を示すフローチャートであり、制御部100のROMや外部記憶装置40に記憶された所定のプログラムをCPUが実行する形で実施される。なお、制御部100は、この位置指示画像の表示処理を実行することにより、操作受付レベル変更手段として機能する。   Further, the control unit 100 detects the traveling state of the vehicle, and changes the operation reception level according to the detected traveling state. FIG. 11 is a flowchart showing an example of the operation acceptance level setting change process, and is executed in such a manner that the CPU executes a predetermined program stored in the ROM of the control unit 100 or the external storage device 40. The control unit 100 functions as an operation acceptance level changing unit by executing the display process of the position instruction image.

S101では、制御部100が車両の走行状態を特定する。具体的には、制御部100が、車速センサ30の検出結果を取得し、取得した検出結果から車両の走行状態を特定する。ここでは、予め定められた車速閾値が制御部100のROMに記憶されており、車速センサ30の検出した車速が、当該車速閾値を上回る場合を車両の高速走行状態、上回らない場合を車両の低速走行状態として特定する。続くS102にて、制御部100が、車両を上記高速走行状態にあると判定した場合にはS103に進み、車両を上記低速走行状態にあると判定した場合にはS104に進む。   In S101, the control unit 100 specifies the traveling state of the vehicle. Specifically, the control unit 100 acquires the detection result of the vehicle speed sensor 30, and specifies the traveling state of the vehicle from the acquired detection result. Here, a predetermined vehicle speed threshold value is stored in the ROM of the control unit 100, and when the vehicle speed detected by the vehicle speed sensor 30 exceeds the vehicle speed threshold value, the vehicle is running at a high speed, and when the vehicle speed is not exceeded, the vehicle speed is low. Identified as a running state. In S102, when the control unit 100 determines that the vehicle is in the high speed running state, the process proceeds to S103, and when it is determined that the vehicle is in the low speed running state, the process proceeds to S104.

S103では、制御部100が、上記高速走行状態にある車両において、操作受付レベルとして予め定められた第一の操作受付レベルを設定する。他方、S104では、制御部100が、上記低速走行状態にある車両において、操作受付レベルとして予め定められた第二の操作受付レベルを設定する。これらの操作受付レベルは制御部100のROMに記憶されており、これを読み出して設定する。ここでは、図12に示すように、S102にて高速走行状態にあると判定された場合には、手と操作パネル12aとの間の近接距離がより短い位置に距離閾値(第一の操作受付レベル)が設定される、即ち近接レベルの高い位置に操作受付レベルが設定される一方、S102にて低速走行状態にあると判定された場合には、手と操作パネル12aとの間の近接距離がより長い位置に距離閾値(第二の操作受付レベル)が設定される、即ち近接レベルの低い位置に操作受付レベルが設定される。設定された操作受付レベルは、外部記憶装置40の所定記憶領域(操作受付レベル記憶部)に記憶される。   In S103, the control unit 100 sets a first operation reception level that is set in advance as the operation reception level in the vehicle in the high-speed traveling state. On the other hand, in S104, the control unit 100 sets a second operation reception level that is set in advance as the operation reception level in the vehicle in the low-speed traveling state. These operation reception levels are stored in the ROM of the control unit 100, and are read and set. Here, as shown in FIG. 12, when it is determined in S102 that the vehicle is in a high-speed running state, a distance threshold (first operation acceptance) is set at a position where the proximity distance between the hand and the operation panel 12a is shorter. Level) is set, that is, the operation reception level is set at a position with a high proximity level, but if it is determined in S102 that the vehicle is in a low-speed traveling state, the proximity distance between the hand and the operation panel 12a The distance threshold (second operation reception level) is set at a position where is longer, that is, the operation reception level is set at a position where the proximity level is low. The set operation reception level is stored in a predetermined storage area (operation reception level storage unit) of the external storage device 40.

S103又はS104の終了により本処理も終了となるが、本処理は終了後も所定周期で実施され、外部記憶装置40に記憶される操作受付レベルは随時更新される。   Although this process is also ended by the end of S103 or S104, this process is performed in a predetermined cycle even after the end, and the operation reception level stored in the external storage device 40 is updated as needed.

なお、車速閾値としては、車両の0km/h〜30km/hの間に定めることができる。また、車速閾値として、車両が0km/h以上10km/h未満の間に定め、該車速閾値を上回る高速走行状態において第一の操作受付レベルを設定し、該車速閾値を下回らない徐行走行状態において第二の操作受付レベルを設定することができる。また、車速閾値として、車両が0km/hの状態を定め、車両の走行状態(走行中)において第一の操作受付レベルを設定し、停車中(停車状態)において第二の操作受付レベルを設定してもよい。   In addition, as a vehicle speed threshold value, it can set between 0 km / h-30 km / h of a vehicle. In addition, the vehicle speed threshold is set between 0 km / h and less than 10 km / h, the first operation acceptance level is set in a high-speed driving state exceeding the vehicle speed threshold, and in a slow-running state where the vehicle speed threshold is not lower than the vehicle speed threshold. A second operation acceptance level can be set. Also, the vehicle speed threshold is set to 0 km / h, the first operation acceptance level is set when the vehicle is running (running), and the second operation acceptance level is set when the vehicle is stopped (stopped). May be.

図10は、図11にて設定された操作受付レベルに基づいて実施される位置指示画像表示処理の一例を示すフローチャートであり、制御部100のROMや外部記憶装置40に記憶された所定のプログラムをCPUが実行する形で実施される。なお、制御部100は、この位置指示画像表示処理を実行することにより、位置指示画像表示制御手段として機能する。   FIG. 10 is a flowchart illustrating an example of the position indication image display process performed based on the operation reception level set in FIG. 11, and a predetermined program stored in the ROM of the control unit 100 or the external storage device 40. Is executed by the CPU. The control unit 100 functions as a position instruction image display control unit by executing the position instruction image display process.

S1では、制御部100が、カメラ12bによって撮影された撮影画像に基づいて、操作者の手の画像を取得したか否かを判定する。カメラ12bは、操作パネル12aの裏面12a2側から該操作パネル12aを介してタッチ操作面(表面)12a1側に接近する接近対象物(例えば運転者等の操作者の手)Hを常時撮影しており、その撮影画像は常に制御部100の画像処理部18aに入力されている。タッチ操作面12a1と対面する位置に接近対象物Hが進入してくると、当然その接近対象物Hを含む撮影画像150が画像処理部18aに入力される。入力された撮影画像150は、画像解析部100aにて公知の画像解析手法によって解析され、色の相違、輝度の相違等に基づいて接近対象物画像150Hが抽出される。そして、周知のパターンマッチング等により、抽出された接近対象物画像150Hが人の手の画像であるか否かを判定する。判定結果は制御部100に出力され、手の画像が認識されたと判定された場合にはS2に進み、判定されなければ本処理を終了する。   In S1, the control unit 100 determines whether an image of the operator's hand has been acquired based on the captured image captured by the camera 12b. The camera 12b always shoots an approaching object (for example, an operator's hand such as a driver) H that approaches the touch operation surface (front surface) 12a1 side from the back surface 12a2 side of the operation panel 12a via the operation panel 12a. The captured image is always input to the image processing unit 18a of the control unit 100. When the approaching object H enters the position facing the touch operation surface 12a1, the captured image 150 including the approaching object H is naturally input to the image processing unit 18a. The input captured image 150 is analyzed by a known image analysis method in the image analysis unit 100a, and the approaching object image 150H is extracted based on the difference in color, the difference in luminance, and the like. Then, it is determined by known pattern matching or the like whether or not the extracted approaching object image 150H is an image of a human hand. The determination result is output to the control unit 100. If it is determined that the hand image has been recognized, the process proceeds to S2, and if not determined, the process ends.

なお、本実施形態においては、光源12cが配置されており、カメラ12bは、当該光源12cの反射光を捉える形で撮影を行っている。従って、撮影映像150に現れる色の階調には反射光強度が反映されており、高強度の反射光を捉えたところほど階調レベルが高く現れる。つまり、本実施形態のカメラ12bにより撮影される撮影映像150は多階調の撮影画像(本実施形態ではモノクロの撮影画像)であるから、画像処理部18aでは、これを予め定められた階調閾値を用いて各画素の階調レベルを2値化して、図6〜図9の(b)のようにし、当該階調閾値を上回る領域を接近対象物画像150Hとして抽出する。また、画像処理部18aでは、抽出された接近対象物画像150Hから人の手の画像を特定するために、当該接近対象物画像150Hの形状と、制御部100の記憶部に記憶された手形状パターンと比較して、それらパターンに合致する接近対象物画像150Hを手の画像として認識する(手画像認識手段:操作手特定手段)。   In the present embodiment, the light source 12c is disposed, and the camera 12b performs imaging in a manner that captures the reflected light of the light source 12c. Therefore, the reflected light intensity is reflected in the gradation of the color appearing in the captured image 150, and the higher the reflected light intensity, the higher the gradation level. That is, since the captured video 150 captured by the camera 12b of the present embodiment is a multi-gradation captured image (monochrome captured image in the present embodiment), the image processing unit 18a converts the captured image 150 into a predetermined gradation. The gradation level of each pixel is binarized using the threshold value, and the area exceeding the gradation threshold value is extracted as the approaching object image 150H as shown in FIGS. Further, in the image processing unit 18a, the shape of the approaching object image 150H and the hand shape stored in the storage unit of the control unit 100 are specified in order to identify the image of the human hand from the extracted approaching object image 150H. Compared with patterns, the approaching object image 150H that matches those patterns is recognized as a hand image (hand image recognition means: operating hand specifying means).

S2では、制御部100が、カメラ12bに撮影された手と遠隔操作部10の操作パネル12aとの間の近接レベルを反映した距離情報を取得する。ここでは既に述べたように、S1での撮影のために光源12cから光が照射されてから、その反射光として手画像が捉えられるまでの時間の計測結果を取得して、計測された時間から、手と操作パネル12aとの間の近接距離を算出する。   In S <b> 2, the control unit 100 acquires distance information reflecting the proximity level between the hand photographed by the camera 12 b and the operation panel 12 a of the remote operation unit 10. Here, as described above, the measurement result of the time from when the light is emitted from the light source 12c for photographing at S1 until the hand image is captured as the reflected light is obtained, and from the measured time The proximity distance between the hand and the operation panel 12a is calculated.

続くS3では、制御部100が、S2で取得した距離情報に基づいて、カメラ12bに撮影された手と遠隔操作部10の操作パネル12aとの間の近接レベルが、予め定められた操作受付レベルを上回って近接するか否かを判定する。操作受付レベルは、外部記憶装置40の所定記憶部に記憶されているので、これを読み出して使用する。ここでは、S2で取得した距離情報に基づいて得られる、カメラ12bに撮影された手と遠隔操作部10の操作パネル12aとの間の距離が、読み出された操作受付レベルをなす距離閾値よりも短い場合を、操作受付レベルを上回った近接状態と判定してS4に進み、当該距離閾値よりも短くない場合を、操作受付レベルを上回っていない離間状態と判定してS7に進む。   In subsequent S3, based on the distance information acquired in S2, the control unit 100 sets the proximity level between the hand photographed by the camera 12b and the operation panel 12a of the remote operation unit 10 to a predetermined operation reception level. It is determined whether or not they are close to each other. Since the operation acceptance level is stored in the predetermined storage unit of the external storage device 40, it is read and used. Here, the distance between the hand photographed by the camera 12b and the operation panel 12a of the remote operation unit 10 obtained based on the distance information acquired in S2 is based on the distance threshold value that forms the read operation reception level. If the distance is shorter than the distance threshold, the process proceeds to S4. If the distance is not shorter than the distance threshold, the process proceeds to S7.

S4では、制御部100が、表示モードとして、位置指示画像160Hの表示を許可する表示許可モードを設定し、S5に進む。なお、設定された表示モードは、制御部100の記憶部に設けられた所定記憶領域(表示モード記憶部)には記憶される。S4では、当該記憶領域に表示許可モードを記憶する。   In S4, the control unit 100 sets a display permission mode for permitting display of the position instruction image 160H as the display mode, and the process proceeds to S5. The set display mode is stored in a predetermined storage area (display mode storage unit) provided in the storage unit of the control unit 100. In S4, the display permission mode is stored in the storage area.

S5では、制御部100が、表示装置15の表示画面と、撮影された手との位置関係を特定する。つまり、撮影された手の画像Hが、表示画面上のどの位置に対向しているかを特定する。本実施形態においては、カメラ12bによって撮影された撮影画像上に、タッチ操作面12aが位置する操作パネル画像領域を特定するとともに、当該操作パネル画像領域上にタッチ操作面12aの操作座標系を設定し、その上で、撮影された手画像Hの位置を、設定された該操作座標系上で特定する。そして、表示装置15の表示画面上に定められた表示座標系において、当該操作座標系上で特定された該手画像Hの位置に対応する位置を特定する。本実施形態においては、図6〜図9の(b)に示す撮影画像(2値化画像)150が、タッチ操作面12a1の全体を撮影した操作パネル画像領域となっている。   In S5, the control unit 100 specifies the positional relationship between the display screen of the display device 15 and the photographed hand. That is, the position on the display screen where the photographed hand image H faces is specified. In the present embodiment, the operation panel image area where the touch operation surface 12a is located is specified on the captured image captured by the camera 12b, and the operation coordinate system of the touch operation surface 12a is set on the operation panel image area. Then, the position of the captured hand image H is specified on the set operation coordinate system. Then, in the display coordinate system defined on the display screen of the display device 15, a position corresponding to the position of the hand image H specified on the operation coordinate system is specified. In the present embodiment, the captured image (binarized image) 150 shown in FIGS. 6 to 9B is an operation panel image area obtained by capturing the entire touch operation surface 12a1.

さらにS6では、図6及び図7の(c)に示すように、表示装置15の表示画面の、上記操作パネル画像領域上にて特定された該手画像Hに対応する位置に、位置指示画像160Hを表示する(位置指示画像表示手段)。   Further, in S6, as shown in FIG. 6 and FIG. 7C, the position indicating image is displayed at the position corresponding to the hand image H specified on the operation panel image area on the display screen of the display device 15. 160H is displayed (position indication image display means).

他方、S7では、表示モードを、位置指示画像の表示を禁止する表示禁止モードに設定する。これにより、S5及びS6にて実施される位置指示画像の表示が実行されず、表示装置15の表示画面には、例えば図8及び図9の(c)に示すように、位置指示画像160Hが表示されない。なお、設定された表示禁止モードは、制御部100の記憶部に設けられた所定記憶領域(表示モード記憶部)に記憶される。   On the other hand, in S7, the display mode is set to a display prohibition mode for prohibiting display of the position indicating image. As a result, the display of the position indication image performed in S5 and S6 is not executed, and the position indication image 160H is displayed on the display screen of the display device 15 as shown in FIG. 8C and FIG. 9C, for example. Do not show. The set display prohibition mode is stored in a predetermined storage area (display mode storage unit) provided in the storage unit of the control unit 100.

S6及びS7の終了により本処理は終了となる。なお、本処理は終了後も所定周期で繰り返し実施され、操作パネル12aに対向する手が移動すると、これに合わせて、表示装置15の表示画面に表示される位置指示画像160Hの表示位置も移動する。ただし、操作パネル12aに対向する手と遠隔操作部10の操作パネル12aとの間の近接レベルが、予め定められた操作受付レベルを上回って近接しなくなった際には、位置指示画像160Hの表示は消える。   This process is ended by the end of S6 and S7. Note that this process is repeatedly performed at a predetermined cycle after the end, and when the hand facing the operation panel 12a moves, the display position of the position instruction image 160H displayed on the display screen of the display device 15 also moves accordingly. To do. However, when the proximity level between the hand facing the operation panel 12a and the operation panel 12a of the remote operation unit 10 exceeds the predetermined operation reception level, the position instruction image 160H is displayed. Disappears.

この処理により、位置指示画像160Hは、車両が上記高速走行状態にある場合に表示されにくく、上記低速走行状態にある場合に表示されやすくなる。従って、車両が上記高速走行状態にある場合には、位置指示画像160Hが表示されにくいことで遠隔操作部10への運転者等による操作を抑制させることができるし、車両が上記低速走行状態にある場合には、位置指示画像160Hがすぐに表示されるから遠隔操作部10へのスムーズな操作が可能となる。   By this processing, the position instruction image 160H is difficult to be displayed when the vehicle is in the high speed running state, and is easily displayed when the vehicle is in the low speed running state. Therefore, when the vehicle is in the high speed running state, the position instruction image 160H is difficult to be displayed, so that the operation by the driver or the like to the remote control unit 10 can be suppressed, and the vehicle is put in the low speed running state. In some cases, since the position instruction image 160H is displayed immediately, the remote operation unit 10 can be smoothly operated.

以上、本発明の一実施形態を説明したが、これはあくまでも例示にすぎず、本発明はこれに限定されるものではなく、特許請求の範囲の趣旨を逸脱しない限りにおいて、当業者の知識に基づく種々の変更が可能である。以下、上記実施形態とは異なる実施形態について説明する。なお、共通する構成については、同符号を用いることで説明を略する。   Although one embodiment of the present invention has been described above, this is merely an example, and the present invention is not limited to this, and the knowledge of those skilled in the art can be used without departing from the spirit of the claims. Various modifications based on this are possible. Hereinafter, an embodiment different from the above embodiment will be described. In addition, about a common structure, description is abbreviate | omitted by using the same code | symbol.

第二実施形態について説明する。   A second embodiment will be described.

上記第一実施形態の場合、位置指示画像160Hは、車両が上記高速走行状態にある場合に表示されにくく、上記低速走行状態にある場合に表示されやすくなっているが、これを逆にして、車両が上記高速走行状態にある場合に遠隔操作部10への操作がスムーズにできるようにし、車両が上記低速走行状態にある場合に、位置指示画像160Hが無駄に表示されることを抑制できるようにしてもよい。具体的には、図13のような操作受付レベルの設定変更処理を実施することで実現できる。   In the case of the first embodiment, the position instruction image 160H is less likely to be displayed when the vehicle is in the high speed running state, and is easier to be displayed when the vehicle is in the low speed running state. The remote operation unit 10 can be smoothly operated when the vehicle is in the high speed running state, and the position indication image 160H can be prevented from being displayed wastefully when the vehicle is in the low speed running state. It may be. More specifically, this can be realized by performing an operation reception level setting change process as shown in FIG.

第三実施形態について説明する。   A third embodiment will be described.

上記した実施形態の場合、操作パネル12aに対向する手と遠隔操作部10の操作パネル12aとの間の近接レベルが、操作受付レベル付近に位置する場合に、位置指示画像が表示されたり消失したりを繰り返す可能性がある。こうした無駄な処理を省略するために、カメラ12bに撮影される手の、操作パネル12aへの接近/離間方向における移動の向きを検出し、検出された移動の向きに応じて操作受付レベルを変更するように構成できる。具体的には、カメラ12bに撮影される手が操作パネル12aにむけて接近移動している場合よりも操作パネル12aから離間移動している場合に、操作受付レベルが高く設定されるように構成する。これにより、操作パネル12aから離れていくては操作の意思がないとみなして位置指示画像が表示されにくくなる。このため、カメラ12bに撮影される手が操作受付レベル付近に位置している場合に、手が操作パネル12aから離れていくときには表示されなくなる。図13は、このような第二実施形態における操作受付レベル設定処理の一例を示すものである。   In the case of the above-described embodiment, when the proximity level between the hand facing the operation panel 12a and the operation panel 12a of the remote operation unit 10 is located near the operation reception level, the position instruction image is displayed or disappears. May repeat. In order to omit such useless processing, the direction of movement of the hand photographed by the camera 12b in the approach / separation direction to the operation panel 12a is detected, and the operation reception level is changed according to the detected direction of movement. Can be configured to Specifically, the configuration is such that the operation acceptance level is set higher when the hand photographed by the camera 12b moves away from the operation panel 12a than when the hand moves closer to the operation panel 12a. To do. As a result, it is difficult to display the position instruction image on the assumption that there is no intention to operate when leaving the operation panel 12a. For this reason, when the hand photographed by the camera 12b is located near the operation acceptance level, it is not displayed when the hand moves away from the operation panel 12a. FIG. 13 shows an example of the operation reception level setting process in the second embodiment.

まず、S120にて、制御部100が車両の走行状態を特定し、S121にて、制御部100が、車両が予め定められた基準車速レベルを上回らない上記低速走行状態にあると判定した場合にはS122に進み、車両が当該基準車速レベルを上回る上記高速走行状態にあると判定した場合にはS126に進む。S120及びS121は、図11のS1及びS2と同様の処理である。   First, when the control unit 100 specifies the traveling state of the vehicle at S120, and when the control unit 100 determines at S121 that the vehicle is in the low-speed traveling state that does not exceed a predetermined reference vehicle speed level. The process proceeds to S122, and if it is determined that the vehicle is in the high speed traveling state exceeding the reference vehicle speed level, the process proceeds to S126. S120 and S121 are the same processes as S1 and S2 in FIG.

S122では、制御部100が、カメラ12bに撮影されている手の、操作パネル12aへの接近/離間方向Aにおける移動方向を特定する。具体的には、新たな撮影の実施を待ち、撮影が実施されるに伴い当該撮影時における手と操作パネル12aとの間の近接距離を、既に述べた実施形態と同様にして算出する一方で、外部記憶装置40の所定記憶領域(距離情報記憶部)に記憶した前回撮影時の距離情報を読み出し、前回撮影時の近接距離を取得し、双方の差から手と操作パネル12aとの間の距離が縮小したのか拡大したのかを判断することにより、カメラ12bに撮影されている手の、操作パネル12aへの接近/離間方向における移動方向を特定する。   In S122, the control unit 100 specifies the moving direction in the approach / separation direction A toward the operation panel 12a of the hand photographed by the camera 12b. Specifically, while waiting for the execution of a new shooting, the proximity distance between the hand and the operation panel 12a at the time of shooting is calculated in the same manner as in the above-described embodiment. The distance information at the time of the previous photographing stored in the predetermined storage area (distance information storage unit) of the external storage device 40 is read, the proximity distance at the time of the previous photographing is obtained, and the difference between the hand and the operation panel 12a is obtained. By determining whether the distance is reduced or enlarged, the moving direction of the hand taken by the camera 12b in the approach / separation direction to the operation panel 12a is specified.

続くS123にて、カメラ12bに撮影されている手の、操作パネル12aから離れる方向への移動が特定されない場合にはS124に進み、上記操作受付レベルとして、制御部100が予め定められた第一の操作受付レベルを設定する。他方、S123にて、カメラ12bに撮影されている手の、操作パネル12aから離れる方向への移動が特定された場合にはS125に進み、上記操作受付レベルとして、制御部100が予め定められた第三の操作受付レベルを設定する。   In S123, if the movement of the hand taken by the camera 12b in the direction away from the operation panel 12a is not specified, the process proceeds to S124, in which the control unit 100 is set to a predetermined first as the operation reception level. Set the operation acceptance level for. On the other hand, when the movement of the hand taken by the camera 12b in the direction away from the operation panel 12a is specified in S123, the process proceeds to S125, and the control unit 100 is predetermined as the operation reception level. Set the third operation acceptance level.

他方、S126でも、S122と同様にして、カメラ12bに撮影されている手の、操作パネル12aへの接近/離間方向Aにおける移動方向を特定する。続くS127にて、カメラ12bに撮影されている手の、操作パネル12aから離れる方向への移動が特定されない場合にはS128に進み、上記操作受付レベルとして、制御部100が予め定められた第二の操作受付レベルを設定する。他方、S127にて、カメラ12bに撮影されている手の、操作パネル12aへの接近方向の移動が特定された場合にはS129に進み、上記操作受付レベルとして、制御部100が予め定められた第四の操作受付レベルを設定する。   On the other hand, in S126, as in S122, the moving direction in the approach / separation direction A toward the operation panel 12a of the hand photographed by the camera 12b is specified. In subsequent S127, if the movement of the hand taken by the camera 12b in the direction away from the operation panel 12a is not specified, the process proceeds to S128, and the control unit 100 determines a second predetermined value as the operation reception level. Set the operation acceptance level for. On the other hand, when the movement of the hand taken by the camera 12b in the approaching direction to the operation panel 12a is specified in S127, the process proceeds to S129, and the control unit 100 is preset as the operation reception level. Set the fourth operation acceptance level.

これらの操作受付レベルは制御部100のROMに記憶されており、これを読み出して設定する。ここでは、図15に示す各操作受付レベルが設定されるようになっている。即ち、車両が所定の高速走行状態にあると判定され(S121:No)、なおかつ操作パネル12aに対向する手が操作パネル12aから離れていかない場合には(S123:No)、手と操作パネル12aとの間の近接距離がより最も短くなる予め定められた位置に距離閾値が設定される、即ち近接レベルの最も高い位置に第一の操作受付レベルが設定される一方、車両が所定の高速走行状態にあると判定され(S121:No)、なおかつ操作パネル12aに対向する手が操作パネル12aから離れていく場合には(S123:Yes)、手と操作パネル12aとの間の近接距離が上記第一の操作受付レベルにおける距離閾値よりも長くなる予め定められた位置に、距離閾値が設定される、即ち近接レベルが第一の操作受付レベルよりも低い位置の第二の操作受付レベルが設定される。これにより、車両が上記高速走行状態にあると判定された場合において、位置指示画像160Hは、手が操作パネル12aから離れていく場合に表示されにくく、手が操作パネル12aから離れていかない場合に表示されやすくなる。   These operation reception levels are stored in the ROM of the control unit 100, and are read and set. Here, each operation reception level shown in FIG. 15 is set. That is, when it is determined that the vehicle is in a predetermined high-speed traveling state (S121: No) and the hand facing the operation panel 12a is not separated from the operation panel 12a (S123: No), the hand and the operation panel 12a The distance threshold is set at a predetermined position where the proximity distance between the vehicle and the vehicle is the shortest, that is, the first operation acceptance level is set at the position with the highest proximity level, while the vehicle is traveling at a predetermined high speed. When it is determined that the state is in the state (S121: No) and the hand facing the operation panel 12a moves away from the operation panel 12a (S123: Yes), the proximity distance between the hand and the operation panel 12a is as described above. The distance threshold is set at a predetermined position that is longer than the distance threshold at the first operation reception level, that is, at the position where the proximity level is lower than the first operation reception level. Of the operation reception level is set. As a result, when it is determined that the vehicle is in the high speed running state, the position instruction image 160H is difficult to be displayed when the hand moves away from the operation panel 12a, and when the hand does not move away from the operation panel 12a. It becomes easy to be displayed.

また、車両が所定の低速走行状態にあると判定され(S121:Yes)、なおかつ操作パネル12aに対向する手が操作パネル12aから離れていかない場合には(S127:No)、手と操作パネル12aとの間の近接距離が上記第一の操作受付レベルにおける距離閾値よりも最も長くなる予め定められた位置に距離閾値が設定される、即ち近接レベルが第一の操作受付レベルよりも低い位置に第三の操作受付レベルが設定される一方、車両が所定の低速走行状態にあると判定され(S121:Yes)、なおかつ操作パネル12aに対向する手が操作パネル12aから離れていく場合には(S127:Yes)、手と操作パネル12aとの間の近接距離が最も長くなる予め定められた位置に、距離閾値が設定される、即ち近接レベルが最も低い位置に第四の操作受付レベルが設定される。これにより、車両が上記低速走行状態にあると判定された場合において、位置指示画像160Hは、手が操作パネル12aから離れていく場合に表示されにくく、手が操作パネル12aから離れていかない場合に表示されやすくなる。   If it is determined that the vehicle is in a predetermined low speed traveling state (S121: Yes) and the hand facing the operation panel 12a is not separated from the operation panel 12a (S127: No), the hand and the operation panel 12a The distance threshold is set at a predetermined position where the proximity distance between the first operation acceptance level and the first operation acceptance level is the longest, that is, the proximity level is lower than the first operation acceptance level. When the third operation acceptance level is set, it is determined that the vehicle is in a predetermined low-speed traveling state (S121: Yes), and the hand facing the operation panel 12a moves away from the operation panel 12a ( S127: Yes), a distance threshold is set at a predetermined position where the proximity distance between the hand and the operation panel 12a is the longest, that is, at the position where the proximity level is the lowest. Fourth operation reception level is set. Thereby, when it is determined that the vehicle is in the low-speed traveling state, the position instruction image 160H is difficult to be displayed when the hand moves away from the operation panel 12a, and when the hand does not move away from the operation panel 12a. It becomes easy to be displayed.

なお、図15に示す操作受付レベルにおいて、第三の操作受付レベルは、第二の操作受付レベルよりも低い近接レベルに設定されていてもよく、さらには第四の操作受付レベルよりも低い近接レベルに設定されていてもよい。   In the operation reception level shown in FIG. 15, the third operation reception level may be set to a proximity level lower than the second operation reception level, and further, the proximity lower than the fourth operation reception level. It may be set to a level.

第四実施形態について説明する。   A fourth embodiment will be described.

上記した実施形態の場合、カメラ12bに撮影された手と操作パネル12aとの距離は、間欠的に点灯する光源12cの反射応答速度に基づいて算出しているが、これ以外の方法が採用されてもよい。例えば、図16に示すように、制御部100に接続するカメラ60(構成とする)を、タッチ操作面12a1と該タッチ操作面12a1に対向する手との距離dが映るように配置し、その撮影画像から距離dを算出することができる。ここでは、タッチ操作面12a1の上方空間を側方から撮影するよう、例えばセンターコンソールCB等に設けることができる。   In the case of the above-described embodiment, the distance between the hand photographed by the camera 12b and the operation panel 12a is calculated based on the reflection response speed of the light source 12c that is intermittently lit, but other methods are employed. May be. For example, as shown in FIG. 16, the camera 60 (configured) connected to the control unit 100 is arranged so that the distance d between the touch operation surface 12a1 and the hand facing the touch operation surface 12a1 is reflected. The distance d can be calculated from the captured image. Here, the space above the touch operation surface 12a1 can be provided, for example, in the center console CB or the like so as to photograph from the side.

第五実施形態について説明する。   A fifth embodiment will be described.

上記した実施形態の場合、カメラ12bに撮影された手と操作パネル12aとの直接的な距離を算出し、その距離に対して操作受付レベルを定める閾値が設けられているが、距離ではなく、カメラ12bに撮影された手と操作パネル12aとの間の距離を反映した値としてもよい。この場合、操作受付レベルをなす閾値(検出値閾値)として、検出値に対し固定的に定められた値を使用する。そして、カメラ12bに撮影された手と操作パネル12aとの間の距離が同一である場合であっても、当該検出値そのものが増加又は減少するように、検出条件を変更する。これにより、当該検出値を距離に換算する算出方法が変わるから、検出値閾値も距離換算後の値が変わり、その結果として操作受付レベルが変更される。   In the case of the above-described embodiment, a direct distance between the hand photographed by the camera 12b and the operation panel 12a is calculated, and a threshold value that determines an operation reception level with respect to the distance is provided. The value may reflect the distance between the hand photographed by the camera 12b and the operation panel 12a. In this case, a value fixedly set for the detected value is used as the threshold value (detected value threshold value) that forms the operation acceptance level. And even if it is a case where the distance between the hand image | photographed with the camera 12b and the operation panel 12a is the same, a detection condition is changed so that the said detected value itself may increase or decrease. Thereby, since the calculation method for converting the detected value into the distance is changed, the detected value threshold value is also changed after the distance conversion, and as a result, the operation reception level is changed.

例えば、カメラ12bに撮影された手と操作パネル12aとの間の距離を、カメラ12bに撮影された撮影画像の各画素の輝度から特定する構成の場合、光源12cの発光強度を増すことでその反射光の受光強度も増すから、同一位置の手を撮影したとしても、撮影画像中の各画素の輝度の平均レベルが増す。従って、輝度に対し操作受付レベルをなす閾値が定められているならば、光源12cの発光強度を増減することにより、操作受付レベルをなす輝度閾値を距離に換算した値は変更される。これにより、光源12cの発光強度の調整のみで、簡易に操作レベルを変更することができる。即ち、操作受付レベルを高くしたい場合は光源12cの発光強度を増し、操作受付レベルを低くしたい場合は光源12cの発光強度を減じればよい。なお、ここでは、輝度に対し定められる閾値は、撮影画像の二値化処理において二値化の振り分けの際の基準値として使用される値である。   For example, in the case of a configuration in which the distance between the hand photographed by the camera 12b and the operation panel 12a is specified from the luminance of each pixel of the photographed image photographed by the camera 12b, the light emission intensity of the light source 12c can be increased. Since the received light intensity of the reflected light also increases, even if a hand at the same position is photographed, the average level of luminance of each pixel in the photographed image increases. Therefore, if a threshold value that defines the operation acceptance level with respect to the luminance is determined, the value obtained by converting the luminance threshold value that constitutes the operation acceptance level into a distance is changed by increasing or decreasing the light emission intensity of the light source 12c. Thereby, the operation level can be easily changed only by adjusting the light emission intensity of the light source 12c. That is, if it is desired to increase the operation acceptance level, the light emission intensity of the light source 12c may be increased, and if it is desired to reduce the operation acceptance level, the light emission intensity of the light source 12c may be decreased. Here, the threshold value determined for the luminance is a value used as a reference value in binarization distribution in the binarization processing of the captured image.

他の実施形態について説明する。   Another embodiment will be described.

上記実施形態において、表示装置20に設けられたタッチパネル22や他のスイッチ類21は本発明に必須の構成ではない。このため、本発明における表示装置20は、図2及び図3に示すようなセンターコンソールCB内に配置されるものに限られず、例えばフロントガラスFG下縁よりも上方に設置されるものであってもよい。具体的には、車両のフロントガラスFGに、上述の画像・データを表示するヘッドアップディスプレイ(HUD)や、ステアリングホイール6の車両前方側の奥に位置するメーター表示装置等を例示することもできる。   In the above embodiment, the touch panel 22 and other switches 21 provided in the display device 20 are not essential components of the present invention. For this reason, the display device 20 according to the present invention is not limited to the one arranged in the center console CB as shown in FIGS. 2 and 3, and is installed above the lower edge of the windshield FG, for example. Also good. Specifically, a head-up display (HUD) for displaying the above-described images and data on the windshield FG of the vehicle, a meter display device located behind the steering wheel 6 on the vehicle front side, and the like can also be exemplified. .

また、上記実施形態において、遠隔操作部10や表示装置20にはタッチ操作部として抵抗膜式のタッチパネルが設けられているが、他の方式のタッチパネルでもよい。例えば、操作パネル12aとして、タッチ操作の位置検出を、カメラ12b等の撮影手段により撮影された撮影画像への画像処理により行うものを、タッチパネルに代わって採用してもよい。具体的にいえば、操作パネル12aを、表面12a1がタッチ操作面をなす透光性を有したパネルとし、この操作パネル12aにタッチ操作面12a1側から接近する接近対象物に予め定められた波長帯の光を、当該操作パネル12aを介して照射する光源12cを設ける。そして、撮影手段をなすカメラ12bを、少なくともその光源12cから照射された光が接近対象物にて反射した反射光を捉える形で、当該接近対象物を操作パネル12a1の裏面12a2側から撮影する撮影手段とする。さらに、図17に示すように、制御部100を、このカメラ12bにより撮影された画像170H上において、反射光の強度が予め定められた閾強度を上回る光反射領域171Hを特定する光反射領域特定手段として機能させるとともに、特定されたこの光反射領域171Hの位置を特定して、その位置に対応するタッチ入力を受け付ける入力受付手段としても機能させるように構成する。なお、画像170Hは、上記の画像150のような2値化処理が施されたものではなく、撮影されたままの画像であり、領域全体に様々な輝度レベルの違いを有している。操作パネル12aに手が接触している領域は、他の領域に比べて反射光強度が格段に高くなるから、これにより、操作パネル12aへの操作の有無を、さらには操作された位置を特定することができる。   In the above embodiment, the remote operation unit 10 and the display device 20 are provided with a resistive touch panel as a touch operation unit, but other types of touch panels may be used. For example, an operation panel 12a that detects the position of a touch operation by performing image processing on a photographed image photographed by photographing means such as the camera 12b may be employed instead of the touch panel. Specifically, the operation panel 12a is a translucent panel whose surface 12a1 forms a touch operation surface, and a wavelength predetermined for an approaching object that approaches the operation panel 12a from the touch operation surface 12a1 side. A light source 12c for irradiating the band light through the operation panel 12a is provided. Then, the camera 12b serving as a photographing unit captures the approaching object from the back surface 12a2 side of the operation panel 12a1 in such a manner that at least the light emitted from the light source 12c is reflected by the approaching object. Means. Further, as shown in FIG. 17, the control unit 100 specifies a light reflection area 171H that specifies a light reflection area 171H whose reflected light intensity exceeds a predetermined threshold intensity on an image 170H photographed by the camera 12b. In addition to functioning as a means, the position of the specified light reflection region 171H is specified, and it is also configured to function as an input receiving means for receiving a touch input corresponding to the position. Note that the image 170H is not subjected to the binarization process like the image 150 described above, and is an image as it is taken, and has various luminance level differences in the entire area. Since the region where the hand is in contact with the operation panel 12a has a significantly higher reflected light intensity than other regions, it is possible to determine whether or not the operation panel 12a has been operated, and further identify the operated position. can do.

この構成によると、カメラ12bの撮影画像に予め定められた閾強度を上回る光反射領域171Hが特定された場合に、その特定された領域にタッチ操作入力があったと判定して入力が受け付けられる。つまり、カメラ12bの撮影画像は、上記した実施形態と同様の、操作する手の検出や、位置指示画像の表示に利用されるだけでなく、上記光反射領域171Hの有無判定や、上記光反射領域171Hの位置(操作位置)の特定にも利用される構成となっている。また、この場合、特定された光反射領域171Hの面積が予め定められた閾面積を上回った場合に限り、当該光反射領域171Hへのタッチ操作入力を受け付けるようにすることもできる。   According to this configuration, when a light reflection area 171H exceeding a predetermined threshold intensity is specified in a captured image of the camera 12b, it is determined that a touch operation input has been made in the specified area, and the input is accepted. That is, the captured image of the camera 12b is not only used for detection of the operating hand and display of the position instruction image, as in the above-described embodiment, but also the presence / absence determination of the light reflection region 171H and the light reflection. This configuration is also used for specifying the position (operation position) of the area 171H. In this case, it is also possible to accept a touch operation input to the light reflection region 171H only when the area of the specified light reflection region 171H exceeds a predetermined threshold area.

また、上記実施形態において、押圧操作部11及びタッチ操作部12は、運転席及び助手席から操作可能な操作部とされているが、他の座席から操作可能な操作部に設定することもできるし、運転席及び助手席の一方からのみ操作可能な操作部であってもよい。   Moreover, in the said embodiment, although the press operation part 11 and the touch operation part 12 are made into the operation part which can be operated from a driver's seat and a passenger seat, it can also be set to the operation part which can be operated from another seat. However, an operation unit that can be operated only from one of the driver seat and the passenger seat may be used.

また、上記実施形態における制御部100は、例えば車載ナビゲーション装置の制御部に兼用させることができる。図18は、その車載ナビゲーション装置の構成の一例を示すブロック図である。図18に示すように、ナビゲーション装置50は、車両の現在位置を検出する位置検出器57と、運転者等の操作者からの各種指示を入力するための操作部51と、地図データや各種の情報を記録した外部記録媒体から地図データ等を入力する地図データ入力器55と、地図表示画面やTV(Television)画面等の各種表示を行うための表示装置52と、各種のガイド音声等を出力したり運転者等の操作者の音声を入力したりするための音声入出力装置53と、ナビゲーション機能に必要となる地図データや車両情報等の各種情報を記憶するためのハードディスク記憶装置(外部記憶装置)54と、車両情報の授受を行うための車両I/F(Interface)部56と、これら51〜57と接続する制御部59とを備えている。位置検出器57は、GPS受信機、ジャイロスコープ、距離センサ、地磁気センサとを備えた周知のものである。   Moreover, the control part 100 in the said embodiment can be combined with the control part of a vehicle-mounted navigation apparatus, for example. FIG. 18 is a block diagram showing an example of the configuration of the in-vehicle navigation device. As shown in FIG. 18, the navigation device 50 includes a position detector 57 that detects the current position of the vehicle, an operation unit 51 for inputting various instructions from an operator such as a driver, map data, and various types of data. Outputs a map data input device 55 for inputting map data from an external recording medium in which information is recorded, a display device 52 for performing various displays such as a map display screen and a TV (Television) screen, and various guide voices. A voice input / output device 53 for inputting voice of an operator such as a driver and a hard disk storage device (external storage) for storing various information such as map data and vehicle information necessary for the navigation function Device) 54, a vehicle I / F (Interface) unit 56 for exchanging vehicle information, and a control unit 59 connected to these units 51-57. The position detector 57 is a known device including a GPS receiver, a gyroscope, a distance sensor, and a geomagnetic sensor.

制御部59は、図示しない周知のCPU,ROM,RAM,I/O(Input/Output)およびこれらの構成を接続するバスラインなどからなる周知のマイクロコンピュータを中心に構成されており、ROM等の記憶部に記憶されたナビプログラムを実行することにより、位置検出器57からの各検出信号や記憶装置54が記憶する各種データに基づいて、現在位置の算出、地図表示処理、目的地設定、経路計算、経路案内処理等の周知のナビゲーション機能を実行する。   The control unit 59 is configured around a well-known microcomputer including a well-known CPU, ROM, RAM, I / O (Input / Output) (not shown) and a bus line connecting these components. By executing the navigation program stored in the storage unit, based on each detection signal from the position detector 57 and various data stored in the storage device 54, calculation of the current position, map display processing, destination setting, route Execute well-known navigation functions such as calculation and route guidance processing.

制御部59は、ROM等の記憶部に記憶された所定プログラムをCPUが実行することにより、上述した位置指示画像表示処理(図10)や操作受付レベルの設定変更処理(図11、図13、図14)を実施する。つまり、制御部59は、既に述べた実施形態(図1)の制御部100と同様に機能する。また、操作部51及び表示装置52も、既に述べた実施形態(図1)と同様に機能する。つまり、本発明の車両用操作入力装置は、その一例として、ナビゲーション装置50の操作入力装置として適用可能である。よって、図1の操作入力装置1も、ナビゲーション装置の操作入力装置として適用できる。   When the CPU executes a predetermined program stored in a storage unit such as a ROM, the control unit 59 performs the above-described position instruction image display processing (FIG. 10) and operation reception level setting change processing (FIGS. 11, 13, and 13). 14) is carried out. That is, the control unit 59 functions in the same manner as the control unit 100 of the already described embodiment (FIG. 1). Further, the operation unit 51 and the display device 52 also function in the same manner as in the above-described embodiment (FIG. 1). That is, the vehicle operation input device of the present invention is applicable as an operation input device of the navigation device 50 as an example. Therefore, the operation input device 1 of FIG. 1 can also be applied as an operation input device of a navigation device.

また、上記実施形態においては、位置指示画像160Hとして、カメラ12bに撮影された指の輪郭形状をそのまま反映させた加工画像(実指画像)160Hを表示しているが、撮影された指の指先Q(即ち撮影された指の指示位置)を指し示す指先位置画像(ポインタ等:図20参照)160H2のように、指形状とは全く異なる画像を表示してもよい。強調表示を行うのであれば、指先Qを含む指先領域(例えば、指の第一関節までや、指先位置Qを中心とする所定半径内領域等)だけを強調して表示してもよい。この場合は、撮影された指の指先Qが、表示画面上のどの位置に対向するのかを特定して、特定された画面位置にポインタ等の所定の位置指示画像を表示する。また、位置指示画像160Hとして、撮影された指の長さ方向F及び指先Qを簡略的に示す擬似指画像(ここでは棒状の画像:図19参照)160H1等を表示してもよい。   In the above-described embodiment, the processed image (real finger image) 160H in which the contour shape of the photographed finger is directly reflected on the camera 12b is displayed as the position instruction image 160H. An image completely different from the finger shape may be displayed, such as a fingertip position image (pointer or the like: see FIG. 20) 160H2 indicating Q (that is, the pointed position of the photographed finger). If highlighting is to be performed, only the fingertip region including the fingertip Q (for example, up to the first joint of the finger or an area within a predetermined radius centered on the fingertip position Q) may be displayed with emphasis. In this case, it is specified which position on the display screen the fingertip Q of the photographed finger faces, and a predetermined position indication image such as a pointer is displayed at the specified screen position. Further, as the position instruction image 160H, a pseudo finger image (here, a bar-shaped image: see FIG. 19) 160H1 or the like that simply shows the photographed finger length direction F and the fingertip Q may be displayed.

1 車両用操作入力装置
100 制御部
10 遠隔操作部
11 押圧操作部
12 タッチ操作部
12a 操作パネル
12b カメラ(撮影手段)
12c 光源
20 表示装置(表示手段)
21 周辺スイッチ
22a タッチパネル
DESCRIPTION OF SYMBOLS 1 Vehicle operation input device 100 Control part 10 Remote operation part 11 Press operation part 12 Touch operation part 12a Operation panel 12b Camera (photographing means)
12c Light source 20 Display device (display means)
21 Peripheral switch 22a Touch panel

Claims (10)

車両が備える機器の操作などを行うための操作画面を表示する表示手段と、前記表示画面とは異なる位置に設けられ、前記操作画面における操作入力を遠隔的に行うための遠隔操作面を有した遠隔操作部と、前記遠隔操作面に対向する手の画像を撮影する手画像撮影手段と、当該手により位置指示された前記表示画面上の位置に前記撮影された手の画像に基づいて生成された位置指示画像を表示する位置指示画像表示手段と、を備える車両用操作入力装置であって、
撮影された手と前記遠隔操作部との間の近接レベルを検出する近接レベル検出手段と、
検出された近接レベルが予め定められた操作受付レベルを上回って近接する場合には前記位置指示画像の表示を許可する一方で、前記操作受付レベルを上回ることなく離間している場合には前記位置指示画像の表示を禁止する位置指示画像表示制御手段と、
前記車両の走行状態を検出する走行状態検出手段と、
検出された走行状態に応じて前記操作受付レベルを変更する操作受付レベル変更手段と、
を備えることを特徴とする車両用操作入力装置。
Display means for displaying an operation screen for operating a device provided in the vehicle, and a remote operation surface provided at a position different from the display screen for remotely performing operation input on the operation screen A remote operation unit, hand image photographing means for photographing an image of a hand facing the remote operation surface, and a hand image photographed at a position on the display screen instructed by the hand. A position instruction image display means for displaying the position instruction image, and a vehicle operation input device comprising:
Proximity level detection means for detecting the proximity level between the photographed hand and the remote control unit;
When the detected proximity level is close to a predetermined operation reception level, the display of the position indication image is permitted when the proximity level is close to the predetermined operation reception level. Position indication image display control means for prohibiting display of the indication image;
Traveling state detecting means for detecting the traveling state of the vehicle;
Operation reception level changing means for changing the operation reception level according to the detected traveling state;
A vehicle operation input device comprising:
前記走行状態検出手段は、前記車両の車速を検出する車速検出手段である請求項1記載の車両用操作入力装置。   The vehicle operation input device according to claim 1, wherein the traveling state detection unit is a vehicle speed detection unit that detects a vehicle speed of the vehicle. 前記操作受付レベル変更手段は、前記走行状態検出手段により前記車両の走行状態が予め定められた基準車速レベルを上回る高速走行状態と検出された場合よりも、当該基準車速レベルを上回らない低速走行状態にあると検出された場合に、前記操作受付レベルを低く設定するものである請求項1又は請求項2に記載の車両用操作入力装置。   The operation reception level changing means is a low-speed driving state that does not exceed the reference vehicle speed level when the driving state detection means detects that the vehicle driving state is a high-speed driving state that exceeds a predetermined reference vehicle speed level. The vehicle operation input device according to claim 1 or 2, wherein the operation reception level is set low when it is detected that the operation reception level is present. 前記操作受付レベル変更手段は、前記走行状態検出手段により前記車両の走行状態が走行中と検出された場合よりも停車中と検出された場合に、前記操作受付レベルを低く設定するものである請求項3記載の車両用操作入力装置。   The operation acceptance level changing means sets the operation acceptance level lower when the running condition detecting means detects that the vehicle is in a stopped state than when the running condition of the vehicle is detected as running. Item 4. The vehicle operation input device according to Item 3. 前記操作受付レベル変更手段は、前記走行状態検出手段により前記車両の走行状態が予め定められた基準車速レベルを上回る高速走行状態にある場合よりも、該基準車速レベルを上回らない前記車両の低速走行状態にある場合に、前記操作受付レベルを高く設定するものである請求項1又は請求項2に記載の車両用操作入力装置。   The operation acceptance level changing means is a low speed running of the vehicle that does not exceed the reference vehicle speed level, compared to a case where the running state of the vehicle is in a high speed running state that exceeds a predetermined reference vehicle speed level by the running state detecting means. The vehicle operation input device according to claim 1 or 2, wherein the operation reception level is set to be high when in a state. 前記操作受付レベル変更手段は、前記走行状態検出手段により前記車両の走行状態が走行中である場合よりも停車中である場合に、前記操作受付レベルを高く設定するものである請求項5記載の車両用操作入力装置。   6. The operation acceptance level changing unit is configured to set the operation acceptance level higher when the running state of the vehicle is stopped than when the running state of the vehicle is running. Vehicle operation input device. 前記手画像撮影手段により撮影される手の、前記遠隔操作部への接近/離間方向における移動の向きを検出する手移動方向検出手段を備え、
前記操作受付レベル変更手段は、前記手画像撮影手段により撮影される手の、前記遠隔操作部への接近/離間方向における移動の向きに応じて、前記操作受付レベルを変更するものである請求項1ないし請求項6のいずれか1項に記載の車両用操作入力装置。
A hand moving direction detecting means for detecting the direction of movement of the hand photographed by the hand image photographing means in the approach / separation direction to the remote control unit;
The operation acceptance level changing means changes the operation acceptance level in accordance with a direction of movement of a hand photographed by the hand image photographing means in an approach / separation direction to the remote operation section. The vehicle operation input device according to any one of claims 1 to 6.
前記操作受付レベル変更手段は、前記手画像撮影手段により撮影される手の、前記遠隔操作部から離間移動中である場合を、前記遠隔操作部への接近移動中である場合よりも、前記操作受付レベルを高く設定するものである請求項7記載の車両用操作入力装置。   The operation acceptance level changing unit is configured to change the operation when the hand imaged by the hand image capturing unit is moving away from the remote operation unit than when the hand is moving closer to the remote operation unit. The vehicle operation input device according to claim 7, wherein the reception level is set high. 前記近接レベル検出手段は、前記手画像撮影手段により撮影された手と前記遠隔操作部との間の距離を検出するものであり、
前記位置指示画像表示制御手段は、検出される距離に対し定められた距離閾値を前記操作受付レベルとして使用し、
前記操作受付レベル変更手段は、前記距離閾値を、前記車両の高速走行状態よりも前記低速走行状態において長くなるように変更するものである請求項1ないし請求項8のいずれか1項に記載の車両用操作入力装置。
The proximity level detecting means detects a distance between the hand photographed by the hand image photographing means and the remote control unit,
The position indicating image display control means uses a distance threshold determined for the detected distance as the operation reception level,
The said operation reception level change means changes the said distance threshold value so that it may become longer in the said low speed driving state rather than the high speed driving state of the said vehicle. Vehicle operation input device.
前記近接レベル検出手段は、前記手画像撮影手段により撮影された手と前記遠隔操作部との間の距離を反映した値を検出するものであり、
前記位置指示画像表示制御手段は、前記検出値に対し定められた検出値閾値を前記操作受付レベルとして固定的に使用し、
前記操作受付レベル変更手段は、前記手画像撮影手段により撮影された手と前記遠隔操作部との間の距離が同一である場合に前記近接レベル特定手段により検出される検出値を増ずる又は減ずるよう予め定められた検出条件を変更するものであり、前記検出値閾値の距離換算後の値を変更させることにより前記操作受付レベルを変更するものである請求項1ないし請求項8のいずれか1項に記載の車両用操作入力装置。
The proximity level detecting means detects a value reflecting a distance between the hand photographed by the hand image photographing means and the remote control unit,
The position indicating image display control means uses a detection value threshold determined for the detection value as the operation acceptance level,
The operation reception level changing unit increases or decreases the detection value detected by the proximity level specifying unit when the distance between the hand imaged by the hand image capturing unit and the remote operation unit is the same. The predetermined detection condition is changed, and the operation reception level is changed by changing a value after the distance conversion of the detection value threshold. The vehicle operation input device according to Item.
JP2009026465A 2009-02-06 2009-02-06 Vehicle operation input device Expired - Fee Related JP5382313B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009026465A JP5382313B2 (en) 2009-02-06 2009-02-06 Vehicle operation input device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009026465A JP5382313B2 (en) 2009-02-06 2009-02-06 Vehicle operation input device

Publications (2)

Publication Number Publication Date
JP2010179828A true JP2010179828A (en) 2010-08-19
JP5382313B2 JP5382313B2 (en) 2014-01-08

Family

ID=42761691

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009026465A Expired - Fee Related JP5382313B2 (en) 2009-02-06 2009-02-06 Vehicle operation input device

Country Status (1)

Country Link
JP (1) JP5382313B2 (en)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012194843A (en) * 2011-03-17 2012-10-11 Sony Corp Electronic apparatus, information processing method, program, and electronic apparatus system
JP2013539113A (en) * 2010-08-24 2013-10-17 クアルコム,インコーポレイテッド Method and apparatus for interacting with electronic device applications by moving an object in the air above the electronic device display
JP2016196293A (en) * 2010-09-10 2016-11-24 パナソニック・アビオニクス・コーポレイションPanasonic Avionics Corporation Integrated user interface system and method
JP2017122894A (en) * 2016-01-08 2017-07-13 アルパイン株式会社 Image projection device, image projection method, and image projection program
JP2017122895A (en) * 2016-01-08 2017-07-13 アルパイン株式会社 Image projection device, image projection method, and image projection program
JP2018022263A (en) * 2016-08-02 2018-02-08 本田技研工業株式会社 Input device
KR101856255B1 (en) * 2012-12-10 2018-05-09 현대자동차일본기술연구소 Navigation display system
CN110949271A (en) * 2018-09-26 2020-04-03 施耐德电气日本控股有限公司 Operation processing device

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10269012A (en) * 1997-03-28 1998-10-09 Yazaki Corp Touch panel controller and information display device using the same
JP2000006687A (en) * 1998-06-25 2000-01-11 Yazaki Corp Onboard equipment switch safety operation system
JP2001033256A (en) * 1999-07-19 2001-02-09 Fujitsu Ten Ltd On-vehicle electronic device
JP2006103364A (en) * 2004-09-30 2006-04-20 Mazda Motor Corp Information display device for vehicle
JP2007276615A (en) * 2006-04-06 2007-10-25 Denso Corp Prompter-type operating device
JP2008009759A (en) * 2006-06-29 2008-01-17 Toyota Motor Corp Touch panel device

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10269012A (en) * 1997-03-28 1998-10-09 Yazaki Corp Touch panel controller and information display device using the same
JP2000006687A (en) * 1998-06-25 2000-01-11 Yazaki Corp Onboard equipment switch safety operation system
JP2001033256A (en) * 1999-07-19 2001-02-09 Fujitsu Ten Ltd On-vehicle electronic device
JP2006103364A (en) * 2004-09-30 2006-04-20 Mazda Motor Corp Information display device for vehicle
JP2007276615A (en) * 2006-04-06 2007-10-25 Denso Corp Prompter-type operating device
JP2008009759A (en) * 2006-06-29 2008-01-17 Toyota Motor Corp Touch panel device

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013539113A (en) * 2010-08-24 2013-10-17 クアルコム,インコーポレイテッド Method and apparatus for interacting with electronic device applications by moving an object in the air above the electronic device display
JP2016196293A (en) * 2010-09-10 2016-11-24 パナソニック・アビオニクス・コーポレイションPanasonic Avionics Corporation Integrated user interface system and method
JP2012194843A (en) * 2011-03-17 2012-10-11 Sony Corp Electronic apparatus, information processing method, program, and electronic apparatus system
KR101856255B1 (en) * 2012-12-10 2018-05-09 현대자동차일본기술연구소 Navigation display system
JP2017122894A (en) * 2016-01-08 2017-07-13 アルパイン株式会社 Image projection device, image projection method, and image projection program
JP2017122895A (en) * 2016-01-08 2017-07-13 アルパイン株式会社 Image projection device, image projection method, and image projection program
JP2018022263A (en) * 2016-08-02 2018-02-08 本田技研工業株式会社 Input device
CN110949271A (en) * 2018-09-26 2020-04-03 施耐德电气日本控股有限公司 Operation processing device

Also Published As

Publication number Publication date
JP5382313B2 (en) 2014-01-08

Similar Documents

Publication Publication Date Title
JP5382313B2 (en) Vehicle operation input device
US11124118B2 (en) Vehicular display system with user input display
US7098812B2 (en) Operator identifying device
JP5029470B2 (en) Prompter type operation device
JP4577387B2 (en) Vehicle operation input device
US20110029185A1 (en) Vehicular manipulation input apparatus
US20110063425A1 (en) Vehicle Operator Control Input Assistance
JP5141878B2 (en) Touch operation input device
JP5136950B2 (en) In-vehicle device operation device
JP4670914B2 (en) Vehicle control device
KR101491169B1 (en) Device and method for controlling AVN of vehicle
JP5201480B2 (en) Vehicle control device
JP5077774B2 (en) Vehicle operation input device
JP4885632B2 (en) Navigation device
JP2007302116A (en) Operating device of on-vehicle equipment
JP2009129251A (en) Operation input apparatus
JP4753752B2 (en) In-vehicle electronic device and menu providing method
JP5549571B2 (en) Vehicle status display device
JP2007069756A (en) Vehicle input operation restricting device
WO2018116565A1 (en) Information display device for vehicle and information display program for vehicle
JP5912177B2 (en) Operation input device, operation input method, and operation input program
JP4977482B2 (en) Image providing apparatus, vehicle, and image providing method
JP2010234876A (en) Vehicle device
JP2006103358A (en) Information display device for vehicle
JP2016157457A (en) Operation input device, operation input method and operation input program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120126

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20121004

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130522

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130531

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130709

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130904

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130917

R151 Written notification of patent or utility model registration

Ref document number: 5382313

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees