JP2004199383A

JP2004199383A - Vehicle-mounted operation device and method for supporting operation of same

Info

Publication number: JP2004199383A
Application number: JP2002366986A
Authority: JP
Inventors: Seiki Taguchi; 清貴田口; Hirosue Hamanishi; 広居浜西
Original assignee: Denso Corp
Current assignee: Denso Corp
Priority date: 2002-12-18
Filing date: 2002-12-18
Publication date: 2004-07-15

Abstract

<P>PROBLEM TO BE SOLVED: To improve operability for a user by generating a reaction force and a thrust in response to the operation of a directional instruction operation means when a screen displaying a web page is displayed. <P>SOLUTION: A vehicle-mounted operation device 1 performs image analysis of a screen displaying a web page downloaded from a server 16, divides a main display 5 into a plurality of grids, and displays the display screen on the main display 5. If the user moves a grid cursor (see P) to operate a joystick 10 for selecting a desired URL, a force generation mechanism 12 generates a reaction force and a thrust in response to the operation of the joystick 10. <P>COPYRIGHT: (C)2004,JPO&NCIPI

Description

【０００１】
【発明の属する技術分野】
本発明は、ユーザが方向を指示するための方向指示操作手段と、前記方向指示操作手段の操作に対して反力や推力などの力を発生可能な力発生手段と、表示画面を表示手段に表示させる制御手段とを備えた車載操作装置および当該車載操作装置の操作支援方法に関する。
【０００２】
【従来の技術】
従来より、車室内において、ユーザがジョイスティックやトラックボールなどを操作することにより、車載ディスプレイの表示画面上でのボタンを選択可能とした車載操作装置がある。このものによれば、例えば表示画面上で選択可能なボタンがカーソルの上方向に配置されている場合であれば、ジョイスティックを前方向に傾動させたり、トラックボールを前方向に回転させたりし、カーソルを所望のボタン上に移動させることにより、所望のボタンを選択することができ、エアコンの温度を調整したり、オーディオ機器の音量を調整したり、電動ミラーの角度を調節したりするなどの所望の動作を行わせることができる。
【０００３】
ところで、この種の車載操作装置では、ユーザの操作性を高めるために、ジョイスティックやトラックボールの操作に対して反力や推力などの力を発生させ、ジョイスティックやトラックボールを適切な操作方向に案内する構成となっている。すなわち、例えば表示画面上で選択可能なボタンがカーソルの上方向に配置されている場合であれば、ジョイスティックの傾動方向を前方向に案内したり、トラックボールの回転方向を前方向に案内したりするように、反力や推力などの力を発生させ、ユーザに操作感（操作フィーリング）を付与する構成となっている（例えば特許文献１参照）。
【０００４】
【特許文献１】
特開２００２−１８９５５６号公報
【０００５】
【発明が解決しようとする課題】
ところで、このようにジョイスティックやトラックボールなどの操作に対して反力や推力などの力を発生させる構成は、表示画面の画面構成を示す画面構成データ、つまり、表示画面上でのボタンの位置を示すデータが予め車載操作装置の不揮発性メモリに記憶されているので、予め車載操作装置の不揮発性メモリに記憶されている画面構成データを読出すことにより可能となるものである。
【０００６】
その一方で、近年では、車室内においても、ブラウザを起動させることにより、サーバからインターネットを通じてＷｅｂページをダウンロードさせて車載ディスプレイに表示させたり、各種のアプリケーションソフトを起動させて車載ディスプレイに表示させたりすることが可能となっている。
【０００７】
さて、Ｗｅｂページやアプリケーションソフトの表示画面では、ＵＲＬやボタンが記述されている場合がある。このような事情から、ユーザにおいては、Ｗｅｂページやアプリケーションソフトの表示画面上にＵＲＬやボタンが記述されている場合に、ジョイスティックやトラックボールなどを操作することにより、表示画面上に記述されている所望のＵＲＬや所望のボタンを選択して接続（リンク）することが考えられる。
【０００８】
しかしながら、Ｗｅｂページやアプリケーションソフトの表示画面の画面構成を示す画面構成データは、予め車載操作装置の不揮発性メモリに記憶されているものではないので、Ｗｅｂページやアプリケーションソフトの表示画面上でＵＲＬやボタンが記述されている位置を識別することは困難である。そのため、ジョイスティックやトラックボールなどを操作してＷｅｂページやアプリケーションソフトの表示画面上に記述されている所望のＵＲＬや所望のボタンを選択するときには、ジョイスティックやトラックボールなどの操作に対して反力や推力などの力を発生させることは困難であり、その結果、ユーザの操作性が低下するという問題がある。
【０００９】
本発明は、上記した事情に鑑みてなされたものであり、その目的は、方向指示操作手段を操作してＷｅｂページやアプリケーションソフトの表示画面上に記述されている所望の領域を選択するときに、方向指示操作手段の操作に対して反力や推力などの力を発生させることにより、ユーザに操作感を付与することができ、ユーザの操作性を高めることができる車載操作装置および操作支援方法を提供することにある。
【００１０】
【課題を解決するための手段】
請求項１に記載した車載操作装置によれば、画像解析手段は、表示画面の画像を解析し、制御手段は、表示手段の表示領域を画像解析手段による画像解析結果に基づいて複数のグリットに分割し、グリットカーソルを当該分割された複数のグリットのうちいずれかのグリット上に表示させる。そして、制御手段は、方向指示操作手段が操作されると、力発生手段により方向指示操作手段の操作に対して反力や推力などの力を発生させ、表示手段のグリットカーソルを方向指示操作手段の操作に応じて他のいずれかのグリット上に移動させる。
【００１１】
これにより、ユーザがＷｅｂページやアプリケーションソフトの表示画面上に記述されている例えば所望のＵＲＬや所望のボタンを選択するためにジョイスティックやトラックボールなどの方向指示操作手段を操作すると、表示手段のグリットカーソルが方向指示操作手段の操作に応じて他のいずれかのグリット上に移動されるように構成したので、所望のＵＲＬや所望のボタンが記述されているグリット上にグリットカーソルを移動させることにより、所望のＵＲＬや所望のボタンを選択することができる。
【００１２】
このとき、ユーザが方向指示操作手段を操作する際に、方向指示操作手段の操作に対して反力や推力などの力が発生されるように構成したので、ユーザに操作感を付与することができ、ユーザの操作性を高めることができる。また、ユーザに操作感を付与することにより、ユーザにグリットカーソルの移動量や移動軌跡を知らせることをもでき、ユーザがブラインドタッチ感覚で方向指示操作手段を操作することができる。さらに、表示領域が表示画面の画像解析結果に基づいて複数のグリットに分割されるように構成したので、表示領域をＵＲＬやボタンの配置に応じた最適な形態で複数のグリットに分割することができ、これによっても、ユーザの操作性を高めることができる。
【００１３】
請求項２に記載した車載操作装置によれば、画像解析手段は、表示画面の画像に対して文字認識を行い、制御手段は、表示手段の表示領域を画像解析手段による文字認識結果に基づいて複数のグリットに分割する。これにより、表示画面に文字や文章が記述されている場合に、文字や文章を認識することにより、文字や文章を単位として表示領域を最適な形態で複数のグリットに分割することができ、ユーザが所望の文字や所望の文章を確実に選択することができる。
【００１４】
請求項３に記載した車載操作装置によれば、画像解析手段は、表示画面の画像に対して図形認識を行い、制御手段は、表示手段の表示領域を画像解析手段による図形認識結果に基づいて複数のグリットに分割する。これにより、表示画面に図面が記述されている場合に、図形を認識することにより、図形を単位として表示領域を最適な形態で複数のグリットに分割することができ、ユーザが所望の図形を確実に選択することができる。
【００１５】
【発明の実施の形態】
以下、本発明の一実施例について、図面を参照して説明する。図１は、車載操作装置の構成を機能ブロック図により示している。車載操作装置１は、ＣＰＵ２（本発明でいう制御手段）と、手動操作機器３と、通信機器４と、メインディスプレイ５（本発明でいう表示手段）と、サブディスプレイ６と、揮発性メモリ７と、不揮発性メモリ８と、画像解析部９（本発明でいう画像解析手段）とを備えて構成されている。
【００１６】
ＣＰＵ２は、マイクロコンピュータを主体として構成されており、制御プログラムを実行して装置全体の動作を制御する。手動操作機器３は、基本的には運転手が運転しながら操作可能となるように車室内の運転席の脇に設置されているもので、図２にも示すように、ジョイスティック１０（本発明でいう方向指示操作手段）が筐体１１から立設した構成となっている。ジョイスティック１０は、下端部の球体部１０ａが３６０度の全ての方向に回転することにより、球体部１０ａを支点として３６０度の全ての方向に傾動可能となっている。手動操作機器３は、ジョイスティック１０が傾動すると、その傾動方向（操作方向）や傾動角度（操作量）を操作検出信号としてＣＰＵ２に出力する。
【００１７】
筐体１１の内部には、例えば複数の小型モータなどの部品が組合わされて構成される力発生機構１２（本発明でいう力発生手段）が配設されている。力発生機構１２は、ＣＰＵ２から力発生信号が手動操作機器３に入力されると、ジョイスティック１０の操作に対して反力や推力などの力を発生させる。また、ジョイスティック１０の上端部には決定ボタン１３が配設されていると共に、筐体１１の上面部には拡大ボタン１４と縮小ボタン１５とが配設されている。手動操作機器３は、これら決定ボタン１３、拡大ボタン１４および縮小ボタン１５のいずれかが操作されると、操作検出信号をＣＰＵ２に出力する。
【００１８】
通信機器４は、サーバ１６からインターネット１７を通じてＷｅｂページをダウンロードするもので、ＣＰＵ２は、ブラウザを起動させることにより、サーバ１６からＷｅｂページをインターネット１７を通じて通信機器４にダウンロードさせ、ダウンロードされたＷｅｂページをメインディスプレイ５やサブディスプレイ６に表示させる。
【００１９】
メインディスプレイ５は、運転席のコックピット付近に設置されているもので、ＣＰＵ２から表示指令信号が入力されると、表示画面を表示領域に表示する。このとき、運転手は、メインディスプレイ５が運転席のコックピット付近に設置されているので、メインディスプレイ５に表示されている表示画面を運転中に目視するためには、目線を移動する必要がある。
【００２０】
サブディスプレイ６は、上記したメインディスプレイ５の表示領域よりも小さい表示領域を有し、例えばハンドルの後方（奥側）のダッシュボード上に設置されているもので、ＣＰＵ２から表示指令信号が入力されると、表示画面を表示領域に表示する。このとき、運転手は、サブディスプレイ６がハンドルの後方のダッシュボード上に設置されているので、サブディスプレイ６に表示されている表示画面を運転中に目視するためには、目線を移動する必要はない。
【００２１】
揮発性メモリ７は、サーバ１６からインターネット１７を通じて通信機器４にダウンロードされたＷｅｂページの画像を記憶する。不揮発性メモリ８は、車載操作装置１のアプリケーションソフトの表示画面の画面構成データを記憶可能に構成されているもので、ＣＰＵ２から読出信号が入力されると、記憶されている画面構成データをＣＰＵ２に出力する。尚、ここでいう車載操作装置１のアプリケーションソフトとは、例えばエアコンの温度を調整したり、オーディオ機器の音量を調整したり、電動ミラーの角度を調節したりするためのものである。
【００２２】
画像解析部９は、ＣＰＵ２から画像解析信号が入力されると、揮発性メモリ７に記憶されているＷｅｂページの画像を解析し、解析した結果を画像解析結果としてＣＰＵ２に出力する。
【００２３】
次に、上記した構成の作用について、図３ないし図８を参照して説明する。尚、ここでは、表示画面をメインディスプレイ５に表示する場合を前提と、
（１）メインディスプレイ５に表示させる表示画面が車載操作装置１のアプリケーションソフトである場合
（２）メインディスプレイ５に表示させる表示画面が車載操作装置１のアプリケーションソフトでない場合
について順次説明する。
【００２４】
（１）メインディスプレイ５に表示させる表示画面が車載操作装置１のアプリケーションソフトである場合
まず、「メインディスプレイ５に表示させる表示画面が車載操作装置１のアプリケーションソフトである場合」を説明する。
ＣＰＵ２は、メインディスプレイ５に表示させる表示画面が車載操作装置１のアプリケーションソフトであるか否かを判定し（ステップＳ１）、メインディスプレイ５に表示させる表示画面が車載操作装置１のアプリケーションソフトであることを検出すると（ステップＳ１にて「ＹＥＳ」）、この場合は、車載操作装置１のアプリケーションソフトの表示画面の画面構成データが不揮発性メモリ８に記憶されているので、読出信号を不揮発性メモリ８に出力し、不揮発性メモリ８から該当する画面構成データを読出す（ステップＳ２）。
【００２５】
そして、ＣＰＵ２は、これ以降、アプリケーションソフトの表示画面をメインディスプレイ５に表示させ、ジョイスティック１０が操作されたことを検出すると、力発生信号を手動操作機器３に出力し、画面構成データに基づいて力発生機構１２によりジョイスティック１０の操作に対して反力や推力を発生させたり、反力や推力を解除したりする（ステップＳ３）。
【００２６】
（２）メインディスプレイ５に表示させる表示画面が車載操作装置１のアプリケーションソフトでない場合
次に、「メインディスプレイ５に表示させる表示画面が車載操作装置１のアプリケーションソフトでない場合」を説明する。
ＣＰＵ２は、サーバ１６からインターネット１７を通じてＷｅｂページの画像が通信機器４にダウンロードされると、ダウンロードされたＷｅｂページの画像を揮発性メモリ７に記憶させる。さて、ＣＰＵ２は、メインディスプレイ５に表示させる表示画面が車載操作装置１のアプリケーションソフトでないことを検出すると（ステップＳ１にて「ＮＯ」）、この場合は、次に説明する処理を行う。
【００２７】
すなわち、ＣＰＵ２は、メインディスプレイ５に表示させる表示画面がブラウザ上で動作するアプリケーションソフトであるか否かを判定する（ステップＳ４）。ここで、ＣＰＵ２は、メインディスプレイ５に表示させる表示画面がブラウザ上で動作するアプリケーションソフトであることを検出すると（ステップＳ４にて「ＹＥＳ」）、ＨＴＭＬのタグを解析して画面情報を作成する（ステップＳ５）。
【００２８】
次いで、ＣＰＵ２は、メインディスプレイ５に表示させる表示画面がＪａｖａやＦｌａｓｈなどで記述されているアプリケーションソフトであるか否かを判定する（ステップＳ６）。そして、ＣＰＵ２は、メインディスプレイ５に表示させる表示画面がＪａｖａ(登録商標)やＦｌａｓｈ(登録商標)などで記述されているアプリケーションソフトであることを検出すると（ステップＳ６にて「ＹＥＳ」）、アプリケーションソフトの領域の大きさをタグに基づいて解析し、先に作成された画面情報を詳細化する（ステップＳ７）。
【００２９】
次いで、ＣＰＵ２は、ブラウザ上で動作するアプリケーションソフトの構造解析が可能であるか否かを判定する（ステップＳ８）。そして、ＣＰＵ２は、ブラウザ上で動作するアプリケーションソフトの構造解析が可能であることを検出すると（ステップＳ８にて「ＹＥＳ」）、アプリケーションソフトの構造解析を行って先に作成された画面情報を詳細化し（ステップＳ９）、メインディスプレイ５の表示領域を画面情報に基づいて複数のグリットに分割する（ステップＳ１０）。
【００３０】
これに対して、ＣＰＵ２は、ブラウザ上で動作するアプリケーションソフトの構造解析が可能でないことを検出すると（ステップＳ８にて「ＮＯ」）、詳しくは後述する画像認識を行い（ステップＳ１１）、メインディスプレイ５の表示領域を画像認識結果による画面情報に基づいて複数のグリットに分割する（ステップＳ１０）。
【００３１】
また、ＣＰＵ２は、ブラウザ上で動作するアプリケーションソフトでないことを検出すると（ステップＳ４にて「ＮＯ」）、アプリケーションソフトの構造解析が可能であるか否かを判定する（ステップＳ１２）。そして、ＣＰＵ２は、アプリケーションソフトの構造解析が可能であることを検出すると（ステップＳ１２にて「ＹＥＳ」）、アプリケーションソフトの構造解析を行って画面情報を作成し（ステップＳ１３）、メインディスプレイ５の表示領域を画面情報に基づいて複数のグリットに分割する（ステップＳ１０）。
【００３２】
これに対して、ＣＰＵ２は、アプリケーションソフトの構造解析が可能でないことを検出すると（ステップＳ１２にて「ＮＯ」）、このときも、詳しくは後述する画像認識を行い（ステップＳ１４）、メインディスプレイ５の表示領域を画像認識結果による画面情報に基づいて複数のグリットに分割する（ステップＳ１０）。
【００３３】
次に、ＣＰＵ２が行う画像認識処理について、図５に示すフローチャートを参照して説明する。ＣＰＵ２は、画像認識処理に移行すると、画像解析信号を画像解析部９に出力し、揮発性メモリ７に記憶されているＷｅｂページの画像を解析する。まず、ＣＰＵ２は、画像に文字領域が有るか否かを判定し（ステップＳ４１）、画像に文字領域が有ることを検出すると（ステップＳ４１にて「ＹＥＳ」）、文字認識を行って文字や文章を単位とするグリットを生成する（ステップＳ４２）。
【００３４】
次いで、ＣＰＵ２は、画像に特殊な文字列が有るか否かを判定し（ステップＳ４３）、画像に特殊な文字列が有ることを検出すると（ステップＳ４３にて「ＹＥＳ」）、特殊な文字列を単位とするグリットを生成する（ステップＳ４４）。次いで、ＣＰＵ２は、画像に図形領域が有るか否かを判定し（ステップＳ４５）、画像に図形領域が有ることを検出すると（ステップＳ４５にて「ＹＥＳ」）、図形認識を行って図形を単位とするグリットを生成し（ステップＳ４６）、これに続いて色認識を行ってグリットを修正する（ステップＳ４７）。
【００３５】
これにより、ＣＰＵ２は、図６に示すように、メインディスプレイ５の表示領域を表示画面の文字や図形を単位として複数のグリットに分割することが可能となる。そして、これ以降、ＣＰＵ２は、表示指令信号をメインディスプレイ５に出力し、サーバ１６からダウンロードされたＷｅｂページをメインディスプレイ５に表示させると共に、グリットカーソル（図６中、Ｐ参照）をいずれかのグリット上に表示させる（ステップＳ１５）。具体的に説明すると、ＣＰＵ２は、グリットカーソル（図６中、Ｐ参照）を例えば「速報 ○○さんが記者会見」という文章が記述されているグリット上に表示させる。そして、ＣＰＵ２は、手動操作機器３から操作検出信号が入力されるのを待機する（ステップＳ１６）。
【００３６】
ＣＰＵ２は、ユーザがジョイスティック１０を操作したことにより手動操作機器３から操作検出信号が入力されると（ステップＳ１６にて「ＹＥＳ」）、入力された操作検出信号を解析し（ステップＳ１７）、ジョイスティック１０が操作されたことを検出する（ステップＳ１８にて「ＹＥＳ」）。
【００３７】
このとき、ＣＰＵ２は、ジョイスティック１０が操作されたことを検出したことにより、力発生信号を手動操作機器３に出力し、力発生機構１２によりジョイスティック１０の操作に対して反力や推力を発生させる（ステップＳ１９）。具体的に説明すると、ＣＰＵ２は、ジョイスティック１０の傾動方向が左方向であれば、ジョイスティック１０の左方向への傾動に対して反力や推力を発生させ、また、ジョイスティック１０の傾動方向が後方向であれば、ジョイスティック１０の後方向への傾動に対して反力や推力を発生させる。
【００３８】
次いで、ＣＰＵ２は、表示指令信号をメインディスプレイ５に出力し、グリットカーソルをジョイスティック１０の操作方向に応じて移動させる（ステップＳ２０）。具体的に説明すると、ＣＰＵ２は、ジョイスティック１０の傾動方向が左方向であれば、グリットカーソルを左方向のグリット上に移動させ、また、ジョイスティック１０の傾動方向が後方向であれば、グリットカーソルを後方向のグリット上に移動させる。
【００３９】
そして、ＣＰＵ２は、グリットカーソルを移動させた直後に反力や推力を解除し（ステップＳ２１）、上記したステップＳ１６に戻り、手動操作機器３から操作検出信号が入力されるのを再度待機する。これにより、ユーザは、ジョイスティック１０を操作したときに、反力や推力が発生されたことにより、操作感を感じることができる。
【００４０】
次に、ユーザは、このようにしてグリットカーソルを所望のリンク先（文字や図形）が記述されているグリット上に移動させると、そのグリットカーソルが位置しているグリットを選択グリットとして決定するために、決定ボタン１３の操作を行うことになる。ＣＰＵ２は、ユーザが決定ボタン１３を操作したことにより手動操作機器３から操作検出信号が入力されると（ステップＳ１６にて「ＹＥＳ」）、入力された操作検出信号を解析し（ステップＳ１７）、決定ボタン１３が操作されたことを検出する（ステップＳ２２にて「ＹＥＳ」）。
【００４１】
次いで、ＣＰＵ２は、グリットカーソルが位置しているグリットを選択グリットとして決定可能であるか否かを判定する（ステップＳ２３）。ここで、ＣＰＵ２は、グリットカーソルが位置しているグリットを選択グリットとして決定可能であれば（ステップＳ２３にて「ＹＥＳ」）、グリットカーソルが位置しているグリットを選択グリットとして決定し、選択グリットとして決定されたグリット内に記述されているリンク先に接続する処理を行う（ステップＳ２４）。これにより、ユーザは、これ以降、所望のリンク先のＷｅｂページをダウンロードさせて閲覧することができる。
【００４２】
具体的に説明すると、ユーザは、図６に示すように、グリットカーソルが例えば「速報 ○○さんが記者会見」という文章が記述されているグリット上に位置しているときに、ジョイスティック１０を左方向に操作することにより、図７に示すように、グリットカーソルを「社会」という文字が記述されているグリット上に移動させることができ、これに続いて決定ボタン１３を操作することにより、「社会」に関する内容のＷｅｂページをダウンロードさせて閲覧することができる。
【００４３】
また、ユーザは、図６に示すように、グリットカーソルが例えば「速報 ○○さんが記者会見」という文章が記述されているグリット上に位置しているときに、ジョイスティック１０を後方向に操作することにより、図８に示すように、グリットカーソルを図形（写真画像）が記述されているグリット上に移動させることができ、これに続いて決定ボタン１３を操作することにより、例えば該当する図形を拡大して閲覧することができる。
【００４４】
以上に説明した一連の処理により、ユーザは、サーバ１６からダウンロードされてメインディスプレイ５に表示されたＷｅｂページにリンク先が記述されている場合に、ジョイスティック１０を操作してグリットカーソルを所望のリンク先が記述されているグリット上に移動させることにより、所望のリンク先に接続することができ、所望のＷｅｂページをダウンロードさせて閲覧することができる。このとき、ユーザは、ジョイスティック１０を操作するときに、反力や推力が発生されることにより、操作感を感じることができる。
【００４５】
ところで、ユーザが拡大ボタン１４を操作したときには、ＣＰＵ２は、ユーザが拡大ボタン１４を操作したことにより手動操作機器３から操作検出信号が入力されると（ステップＳ１６にて「ＹＥＳ」）、入力された操作検出信号を解析し（ステップＳ１７）、拡大ボタン１４が操作されたことを検出する（ステップＳ２５にて「ＹＥＳ」）。次いで、ＣＰＵ２は、グリットカーソルが位置しているグリットを拡大可能であるか否かを判定し（ステップＳ２６）、拡大可能であれば（ステップＳ２６にて「ＹＥＳ」）、メインディスプレイ５の表示領域をグリットのサイズを小さくして複数のグリットに再分割し（ステップＳ２７）、グリットカーソルをいずれかのグリット上に表示させ（ステップＳ２８）、上記したステップＳ１６に戻り、手動操作機器３から操作検出信号が入力されるのを再度待機する。
【００４６】
また、ユーザが縮小ボタン１５を操作したときには、ＣＰＵ２は、ユーザが縮小ボタン１５を操作したことにより手動操作機器３から操作検出信号が入力されると（ステップＳ１６にて「ＹＥＳ」）、入力された操作検出信号を解析し（ステップＳ１７）、縮小ボタン１５が操作されたことを検出する（ステップＳ２９にて「ＹＥＳ」）。次いで、ＣＰＵ２は、グリットカーソルが位置しているグリットを縮小可能であるか否かを判定し（ステップＳ３０）、縮小可能であれば（ステップＳ３０にて「ＹＥＳ」）、メインディスプレイ５の表示領域をグリットのサイズを大きくして複数のグリットに再分割し（ステップＳ３１）、グリットカーソルをいずれかのグリット上に表示させ（ステップＳ３２）、上記したステップＳ１６に戻り、手動操作機器３から操作検出信号が入力されるのを再度待機する。
【００４７】
つまり、ＣＰＵ２は、画面情報を階層で管理しており、画面情報を作成可能な階層が下位にあることを条件として、グリットカーソルが位置しているグリットを拡大することになり、これに対して、画面情報を作成可能な階層が上位にあることを条件として、グリットカーソルが位置しているグリットを縮小することになる。
【００４８】
ところで、以上は、表示画面をメインディスプレイ５に表示する場合を前提として説明したものであるが、表示画面をサブディスプレイ６に表示する場合も、これと同様の処理を行うものであり、この場合であれば、運転しながら目線を移動することなく、所望のＵＲＬや所望のボタンを選択することができる。
【００４９】
以上に説明したように本実施例によれば、車載操作装置１において、サーバ１６からダウンロードされたＷｅｂページの表示画面を画像解析し、メインディスプレイ５を複数のグリットに分割してＷｅｂページの表示画面をメインディスプレイ５に表示し、ジョイスティック１０を操作すると、グリットカーソルが移動されるように構成したので、所望のＵＲＬが記述されているグリット上にグリットカーソルを移動させることにより、所望のＵＲＬを選択することができる。
【００５０】
このとき、ユーザがジョイスティック１０を操作する際に、ジョイスティック１０の操作に対して反力や推力などの力が発生されるように構成したので、ユーザに操作感を付与することができ、ユーザの操作性を高めることができる。また、ユーザに操作感を付与することにより、ユーザにグリットカーソルの移動量を知らせることをもできるので、ユーザがブラインドタッチ感覚でジョイスティック１０を操作することができる。さらに、メインディスプレイ５の表示領域が表示画面の画像解析結果に基づいて複数のグリットに分割されるように構成したので、表示領域をＵＲＬやボタンの配置に応じた最適な形態で複数のグリットに分割することができ、これによっても、ユーザの操作性を高めることができる。
【００５１】
本発明は、上記した実施例にのみ限定されるものではなく、以下のように変形または拡張することができる。
方向指示操作手段は、ジョイスティックに限らず、トラックボールなどの他のものであっても良い。
手動操作機器に制御回路（ＣＰＵ）を持たせることにより、ＣＰＵと手動操作機器の制御回路とが連携して力発生機構における反力や推力の発生を制御する構成であっても良い。
グリットの形状は、矩形に限らず、三角形や六角形や円形であっても良い。ジョイスティックを中心に引戻す力を発生させる場合に適用しても良い。
表示領域を単語単位や文節単位に基づいてグリットに分割する構成であっても良い。また、拡大ボタンや縮小ボタンを操作することにより、文字単位、単語単位、文節単位、文章単位で切替えてグリットに分割する構成であっても良い。
【図面の簡単な説明】
【図１】本発明の一実施例を示す機能ブロック図
【図２】手動操作機器の外観斜視図
【図３】フローチャート
【図４】図３相当図
【図５】図３相当図
【図６】メインディスプレイの表示領域が複数のグリットに分割された一例を示す図
【図７】グリットカーソルが移動された態様の例を示す図
【図８】グリットカーソルが移動された態様の他の例を示す図
【符号の説明】
図面中、１は車載操作装置、２はＣＰＵ（制御手段）、５はメインディスプレイ（表示手段）、９は画像解析部（画像解析手段）、１０はジョイスティック（方向指示操作手段）、１２は力発生機構（力発生手段）である。[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention is directed to a direction instruction operation means for instructing a direction by a user, a force generation means capable of generating a force such as a reaction force and a thrust force with respect to the operation of the direction instruction operation means, and a display screen as a display means. The present invention relates to an in-vehicle operation device provided with a control unit for displaying and an operation support method for the in-vehicle operation device.
[0002]
[Prior art]
BACKGROUND ART Conventionally, there is an in-vehicle operation device in which a user can select a button on a display screen of an in-vehicle display by operating a joystick, a trackball, or the like in a vehicle interior. According to this, for example, when a button that can be selected on the display screen is arranged above the cursor, the joystick is tilted forward, or the trackball is rotated forward, By moving the cursor over the desired button, you can select the desired button, adjust the temperature of the air conditioner, adjust the volume of the audio equipment, adjust the angle of the electric mirror, etc. A desired operation can be performed.
[0003]
By the way, in order to enhance the operability of the user, this kind of in-vehicle operation device generates a force such as a reaction force or thrust to the operation of the joystick or trackball, and guides the joystick or trackball in an appropriate operation direction. Configuration. That is, for example, when the selectable button on the display screen is arranged in the upward direction of the cursor, the tilt direction of the joystick is guided forward, or the rotation direction of the trackball is guided forward. Thus, a force such as a reaction force or a thrust is generated to give a user an operation feeling (operation feeling) (for example, see Patent Document 1).
[0004]
[Patent Document 1]
JP-A-2002-189556
[Problems to be solved by the invention]
By the way, the configuration for generating a force such as a reaction force or a thrust in response to an operation of a joystick or a trackball in this manner is based on screen configuration data indicating the screen configuration of the display screen, that is, the position of the button on the display screen. Since the data shown is stored in advance in the non-volatile memory of the in-vehicle operation device, it becomes possible by reading out the screen configuration data stored in advance in the non-volatile memory of the in-vehicle operation device.
[0006]
On the other hand, in recent years, even in a vehicle cabin, by starting a browser, a Web page can be downloaded from a server via the Internet and displayed on an in-vehicle display, or various application software can be started and displayed on an in-vehicle display. It is possible to do.
[0007]
By the way, URLs and buttons may be described on Web pages and display screens of application software. Under such circumstances, when a URL or a button is described on the display screen of the Web page or the application software, the user operates the joystick or the trackball to describe the URL or the button on the display screen. It is conceivable that a desired URL or a desired button is selected and connected (linked).
[0008]
However, the screen configuration data indicating the screen configuration of the display screen of the Web page or the application software is not stored in advance in the non-volatile memory of the in-vehicle operation device, so that the URL or the URL is not displayed on the display screen of the Web page or the application software. It is difficult to identify the position where the button is described. Therefore, when a desired URL or a desired button described on a Web page or a display screen of application software is selected by operating a joystick or a trackball, a reaction force or a reaction to the operation of the joystick or the trackball is selected. It is difficult to generate a force such as thrust, and as a result, there is a problem that the operability of the user is reduced.
[0009]
The present invention has been made in view of the above circumstances, and has as its object to select a desired area described on a Web page or a display screen of application software by operating a direction instruction operation unit. In-vehicle operation device and operation support method capable of giving a user an operation feeling by generating a force such as a reaction force or a thrust force with respect to the operation of the direction instruction operation means and improving the operability of the user Is to provide.
[0010]
[Means for Solving the Problems]
According to the in-vehicle operation device described in claim 1, the image analysis means analyzes the image on the display screen, and the control means divides the display area of the display means into a plurality of grids based on the image analysis result by the image analysis means. The grid is divided, and the grid cursor is displayed on any of the grids among the plurality of grids. Then, when the direction instruction operating means is operated, the control means generates a force such as a reaction force or a thrust force with respect to the operation of the direction instruction operation means by the force generating means, and moves the grid cursor of the display means to the direction instruction operation means. Move on any other grit according to the operation of.
[0011]
Thus, when the user operates a direction instruction operating means such as a joystick or a trackball to select a desired URL or a desired button described on the display screen of the Web page or the application software, the grid of the display means is operated. Since the cursor is configured to be moved on any of the other grids in accordance with the operation of the direction indicating operation means, by moving the grid cursor on the grid on which a desired URL or a desired button is described. , A desired URL and a desired button can be selected.
[0012]
At this time, when the user operates the direction instructing operation unit, a force such as a reaction force or a thrust is generated with respect to the operation of the direction instructing operation unit, so that an operation feeling can be given to the user. It is possible to improve user operability. In addition, by giving the user a feeling of operation, the user can be notified of the movement amount and the movement locus of the grid cursor, and the user can operate the direction instruction operation means as if by a blind touch. Furthermore, since the display area is configured to be divided into a plurality of grids based on the image analysis result of the display screen, it is possible to divide the display area into a plurality of grids in an optimal form according to the URL and button arrangement. This can also improve user operability.
[0013]
According to the in-vehicle operation device described in claim 2, the image analysis means performs character recognition on the image on the display screen, and the control means sets the display area of the display means based on the character recognition result by the image analysis means. Split into multiple grit. Thus, when a character or a sentence is described on the display screen, by recognizing the character or the sentence, the display area can be divided into a plurality of grids in an optimal form in units of the character or the sentence. Can reliably select a desired character or a desired sentence.
[0014]
According to the in-vehicle operation device described in claim 3, the image analysis means performs graphic recognition on the image on the display screen, and the control means sets the display area of the display means based on the graphic recognition result by the image analysis means. Split into multiple grit. With this, when a drawing is described on the display screen, by recognizing the figure, the display area can be divided into a plurality of grids in an optimal form in units of the figure, and the user can reliably find the desired figure. Can be selected.
[0015]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, an embodiment of the present invention will be described with reference to the drawings. FIG. 1 is a functional block diagram showing the configuration of the vehicle-mounted operation device. The in-vehicle operation device 1 includes a CPU 2 (control means in the present invention), a manual operation device 3, a communication device 4, a main display 5 (display means in the present invention), a sub-display 6, and a volatile memory 7. , A nonvolatile memory 8 and an image analysis unit 9 (image analysis means in the present invention).
[0016]
The CPU 2 is mainly composed of a microcomputer, and executes a control program to control the operation of the entire apparatus. The manual operation device 3 is basically installed beside the driver's seat in the vehicle cabin so that the driver can operate while driving, and as shown in FIG. (Direction indicating operation means referred to as) stands upright from the housing 11. The joystick 10 can be tilted in all directions of 360 degrees with the sphere 10a as a fulcrum by rotating the spherical portion 10a at the lower end in all directions of 360 degrees. When the joystick 10 tilts, the manual operation device 3 outputs the tilt direction (operation direction) and the tilt angle (operation amount) to the CPU 2 as an operation detection signal.
[0017]
A force generating mechanism 12 (force generating means in the present invention) configured by combining components such as a plurality of small motors is disposed inside the housing 11. When a force generation signal is input from the CPU 2 to the manual operation device 3, the force generation mechanism 12 generates a force such as a reaction force or a thrust for the operation of the joystick 10. A decision button 13 is provided on the upper end of the joystick 10, and an enlargement button 14 and a reduction button 15 are provided on the upper surface of the housing 11. The manual operation device 3 outputs an operation detection signal to the CPU 2 when any one of the determination button 13, the enlargement button 14, and the reduction button 15 is operated.
[0018]
The communication device 4 downloads a Web page from the server 16 via the Internet 17, and the CPU 2 causes the communication device 4 to download the Web page from the server 16 to the communication device 4 via the Internet 17 by activating a browser. Is displayed on the main display 5 and the sub-display 6.
[0019]
The main display 5 is installed near the cockpit of the driver's seat, and when a display command signal is input from the CPU 2, displays a display screen in a display area. At this time, the driver needs to move his / her eyes to see the display screen displayed on the main display 5 during driving, because the main display 5 is installed near the cockpit of the driver's seat. .
[0020]
The sub-display 6 has a display area smaller than the display area of the main display 5 described above, and is installed on, for example, a dashboard behind (rear side of) the steering wheel, and receives a display command signal from the CPU 2. Then, the display screen is displayed in the display area. At this time, since the sub-display 6 is installed on the dashboard behind the steering wheel, the driver needs to move his / her eyes to see the display screen displayed on the sub-display 6 during driving. There is no.
[0021]
The volatile memory 7 stores an image of a Web page downloaded from the server 16 to the communication device 4 through the Internet 17. The non-volatile memory 8 is configured to be able to store screen configuration data of a display screen of application software of the in-vehicle operation device 1. When a read signal is input from the CPU 2, the stored screen configuration data is stored in the CPU 2. Output to The application software of the in-vehicle operation device 1 here is for adjusting, for example, the temperature of an air conditioner, adjusting the volume of an audio device, and adjusting the angle of an electric mirror.
[0022]
When the image analysis signal is input from the CPU 2, the image analysis unit 9 analyzes the image of the Web page stored in the volatile memory 7 and outputs the analysis result to the CPU 2 as an image analysis result.
[0023]
Next, the operation of the above configuration will be described with reference to FIGS. Here, assuming that the display screen is displayed on the main display 5,
(1) The case where the display screen displayed on the main display 5 is the application software of the vehicle-mounted operation device 1 (2) The case where the display screen displayed on the main display 5 is not the application software of the vehicle-mounted operation device 1 will be sequentially described.
[0024]
(1) When the Display Screen Displayed on the Main Display 5 is Application Software of the In-Vehicle Operating Device 1 First, the description will be given of “the case where the display screen displayed on the main display 5 is the application software of the in-vehicle operating device 1”.
The CPU 2 determines whether or not the display screen to be displayed on the main display 5 is application software of the in-vehicle operation device 1 (step S1), and the display screen to be displayed on the main display 5 is application software of the in-vehicle operation device 1. Is detected ("YES" in step S1), in this case, since the screen configuration data of the display screen of the application software of the in-vehicle operation device 1 is stored in the nonvolatile memory 8, the readout signal is transmitted to the nonvolatile memory 8. 8 and reads the corresponding screen configuration data from the nonvolatile memory 8 (step S2).
[0025]
Thereafter, the CPU 2 causes the display screen of the application software to be displayed on the main display 5 and, upon detecting that the joystick 10 has been operated, outputs a force generation signal to the manually operated device 3 and based on the screen configuration data. The force generating mechanism 12 generates a reaction force or thrust for the operation of the joystick 10, or cancels the reaction force or thrust (step S3).
[0026]
(2) When the Display Screen Displayed on the Main Display 5 is not the Application Software of the In-Vehicle Operating Device 1 Next, the case where the display screen displayed on the main display 5 is not the application software of the in-vehicle operating device 1 will be described.
When the image of the Web page is downloaded to the communication device 4 from the server 16 via the Internet 17, the CPU 2 stores the downloaded image of the Web page in the volatile memory 7. When the CPU 2 detects that the display screen to be displayed on the main display 5 is not the application software of the in-vehicle operation device 1 ("NO" in step S1), in this case, the following processing is performed.
[0027]
That is, the CPU 2 determines whether or not the display screen to be displayed on the main display 5 is application software that runs on a browser (step S4). Here, when detecting that the display screen to be displayed on the main display 5 is application software operating on a browser ("YES" in step S4), the CPU 2 analyzes the HTML tag and creates screen information. (Step S5).
[0028]
Next, the CPU 2 determines whether or not the display screen displayed on the main display 5 is application software described in Java, Flash, or the like (Step S6). When the CPU 2 detects that the display screen to be displayed on the main display 5 is application software described in Java (registered trademark), Flash (registered trademark), or the like ("YES" in step S6), the application 2 The size of the software area is analyzed based on the tag, and the previously created screen information is refined (step S7).
[0029]
Next, the CPU 2 determines whether the structural analysis of the application software running on the browser is possible (step S8). When the CPU 2 detects that the structure analysis of the application software running on the browser is possible (“YES” in step S8), the CPU 2 analyzes the structure of the application software and details the screen information created earlier. Then, the display area of the main display 5 is divided into a plurality of grids based on the screen information (step S10).
[0030]
On the other hand, when the CPU 2 detects that the structural analysis of the application software operating on the browser is not possible (“NO” in step S8), the CPU 2 performs image recognition described later in detail (step S11), and executes the main display. The display area of No. 5 is divided into a plurality of grids based on the screen information based on the image recognition result (step S10).
[0031]
Further, when detecting that the application software is not application software running on the browser ("NO" in step S4), the CPU 2 determines whether or not structural analysis of the application software is possible (step S12). When the CPU 2 detects that the structure of the application software can be analyzed (“YES” in step S12), the CPU 2 performs the structure analysis of the application software to create screen information (step S13). The display area is divided into a plurality of grids based on the screen information (Step S10).
[0032]
On the other hand, when the CPU 2 detects that the structural analysis of the application software is not possible ("NO" in step S12), the CPU 2 also performs image recognition described later in detail (step S14). Is divided into a plurality of grids based on the screen information based on the image recognition result (step S10).
[0033]
Next, an image recognition process performed by the CPU 2 will be described with reference to a flowchart shown in FIG. When shifting to the image recognition process, the CPU 2 outputs an image analysis signal to the image analysis unit 9 and analyzes the image of the Web page stored in the volatile memory 7. First, the CPU 2 determines whether or not there is a character area in the image (step S41). When detecting that there is a character area in the image ("YES" in step S41), the CPU 2 performs character recognition to perform the character or text. Is generated as a unit (step S42).
[0034]
Next, the CPU 2 determines whether or not there is a special character string in the image (step S43), and detects that there is a special character string in the image ("YES" in step S43). Is generated in units of (step S44). Next, the CPU 2 determines whether or not there is a graphic area in the image (step S45), and when it detects that there is a graphic area in the image ("YES" in step S45), performs graphic recognition and performs graphic unit processing. Is generated (step S46), and subsequently, the grit is corrected by performing color recognition (step S47).
[0035]
Thereby, as shown in FIG. 6, the CPU 2 can divide the display area of the main display 5 into a plurality of grids in units of characters and graphics on the display screen. Thereafter, the CPU 2 outputs a display command signal to the main display 5 to display the Web page downloaded from the server 16 on the main display 5 and to move the grid cursor (see P in FIG. 6) to any one. It is displayed on the grid (step S15). More specifically, the CPU 2 displays a grit cursor (see P in FIG. 6) on, for example, a grit in which a sentence “Preliminary report ○ is a press conference” is described. Then, the CPU 2 waits for an operation detection signal to be input from the manual operation device 3 (step S16).
[0036]
When an operation detection signal is input from the manually operated device 3 by the user operating the joystick 10 (“YES” in step S16), the CPU 2 analyzes the input operation detection signal (step S17), and It is detected that 10 has been operated ("YES" in step S18).
[0037]
At this time, upon detecting that the joystick 10 has been operated, the CPU 2 outputs a force generation signal to the manually operated device 3, and causes the force generation mechanism 12 to generate a reaction force or thrust with respect to the operation of the joystick 10. (Step S19). More specifically, if the tilt direction of the joystick 10 is leftward, the CPU 2 generates a reaction force or thrust with respect to the leftward tilt of the joystick 10, and the tilt direction of the joystick 10 is backward. If so, a reaction force or thrust is generated with respect to the backward tilting of the joystick 10.
[0038]
Next, the CPU 2 outputs a display command signal to the main display 5, and moves the grid cursor in accordance with the operation direction of the joystick 10 (Step S20). More specifically, the CPU 2 moves the grit cursor to the left grid if the tilt direction of the joystick 10 is leftward, and moves the grid cursor if the tilt direction of the joystick 10 is backward. Move over rearward grit.
[0039]
Then, the CPU 2 releases the reaction force or thrust immediately after moving the grid cursor (step S21), returns to step S16, and waits again for the input of the operation detection signal from the manually operated device 3. Thus, when the user operates the joystick 10, a reaction force or thrust is generated, so that the user can feel the operation feeling.
[0040]
Next, when the user moves the grid cursor on the grid on which the desired link destination (character or graphic) is described, the grid on which the grid cursor is located is determined as the selected grid. Then, the operation of the enter button 13 is performed. When an operation detection signal is input from the manually operated device 3 by the user operating the enter button 13 (“YES” in step S16), the CPU 2 analyzes the input operation detection signal (step S17). It is detected that the enter button 13 has been operated ("YES" in step S22).
[0041]
Next, the CPU 2 determines whether or not the grid where the grid cursor is located can be determined as the selected grid (step S23). Here, if the grid on which the grid cursor is located can be determined as the selected grid (“YES” in step S23), the CPU 2 determines the grid on which the grid cursor is located as the selected grid, and selects the selected grid. A process is performed to connect to the link destination described in the grid determined as (step S24). Thus, the user can download and browse the desired linked web page thereafter.
[0042]
Specifically, as shown in FIG. 6, the user moves the joystick 10 to the left when the grid cursor is positioned on the grid in which the sentence “Preliminary XX is a press conference” is described, for example. By operating in the direction, as shown in FIG. 7, the grid cursor can be moved over the grid in which the characters “social” are described, and subsequently, by operating the enter button 13, The user can download and browse a Web page with the contents related to "society".
[0043]
In addition, as shown in FIG. 6, the user operates the joystick 10 backward when the grit cursor is positioned on the grit on which the sentence “Breaking news XX is a press conference” is described, for example. As a result, as shown in FIG. 8, the grid cursor can be moved on the grid on which the graphic (photograph image) is described, and by subsequently operating the enter button 13, for example, the corresponding graphic is displayed. You can enlarge and browse.
[0044]
Through the series of processes described above, when the link destination is described on the Web page downloaded from the server 16 and displayed on the main display 5, the user operates the joystick 10 to move the grid cursor to a desired link. By moving on the grid where the destination is described, it is possible to connect to a desired link destination and download and browse a desired Web page. At this time, when the user operates the joystick 10, a reaction force or thrust is generated, so that the user can feel the operation feeling.
[0045]
By the way, when the user operates the enlargement button 14, the CPU 2 receives the operation detection signal from the manual operation device 3 when the user operates the enlargement button 14 (“YES” in step S <b> 16). The operation detection signal is analyzed (step S17), and it is detected that the enlargement button 14 has been operated ("YES" in step S25). Next, the CPU 2 determines whether or not the grid where the grid cursor is positioned can be enlarged (step S26). If the grid can be enlarged (“YES” in step S26), the display area of the main display 5 is displayed. Is re-divided into a plurality of grids by reducing the size of the grid (step S27), a grid cursor is displayed on any of the grids (step S28), and the process returns to step S16, and the operation is detected from the manually operated device 3. Wait for a signal to be input again.
[0046]
When the user operates the reduction button 15, the CPU 2 receives the operation detection signal from the manually operated device 3 when the user operates the reduction button 15 (“YES” in step S 16). The operation detection signal is analyzed (step S17), and it is detected that the reduction button 15 has been operated (“YES” in step S29). Next, the CPU 2 determines whether or not the grid on which the grid cursor is positioned can be reduced (step S30). If the grid can be reduced (“YES” in step S30), the display area of the main display 5 is determined. Is re-divided into a plurality of grids by increasing the size of the grid (Step S31), a grid cursor is displayed on any of the grids (Step S32), and the process returns to Step S16 described above, and the operation is detected from the manually operated device 3. Wait for a signal to be input again.
[0047]
That is, the CPU 2 manages the screen information in a hierarchy, and expands the grid in which the grid cursor is located on the condition that the hierarchy in which the screen information can be created is lower. The grid on which the grid cursor is located is reduced on the condition that the hierarchy at which screen information can be created is higher.
[0048]
The above description has been made on the assumption that the display screen is displayed on the main display 5, but the same processing is performed when the display screen is displayed on the sub-display 6. In this case, If so, a desired URL or a desired button can be selected without moving the line of sight while driving.
[0049]
As described above, according to this embodiment, in the in-vehicle operation device 1, the display screen of the Web page downloaded from the server 16 is image-analyzed, and the main display 5 is divided into a plurality of grids to display the Web page. When the screen is displayed on the main display 5 and the joystick 10 is operated, the grid cursor is moved. Therefore, by moving the grid cursor on the grid on which the desired URL is described, the desired URL is displayed. You can choose.
[0050]
At this time, when the user operates the joystick 10, a force such as a reaction force or a thrust is generated with respect to the operation of the joystick 10, so that the user can be provided with an operational feeling, Operability can be improved. Further, by giving the user an operational feeling, the user can be notified of the movement amount of the grid cursor, so that the user can operate the joystick 10 as if by a blind touch. Furthermore, since the display area of the main display 5 is configured to be divided into a plurality of grids based on the image analysis result of the display screen, the display area is divided into a plurality of grids in an optimal form according to the URL and button arrangement. It can be divided, which can also enhance the operability of the user.
[0051]
The present invention is not limited to the above-described embodiment, but can be modified or expanded as follows.
The direction instructing operation means is not limited to the joystick, and may be another means such as a trackball.
By providing a control circuit (CPU) in the manually operated device, the CPU and the control circuit of the manually operated device may cooperate with each other to control the generation of a reaction force or a thrust in the force generating mechanism.
The shape of the grit is not limited to a rectangle, but may be a triangle, a hexagon, or a circle. The present invention may be applied to a case where a force for pulling back the joystick to the center is generated.
A configuration in which the display area is divided into grids based on word units or phrase units may be employed. In addition, by operating the enlargement button or the reduction button, switching may be performed in units of characters, words, phrases, or sentences to divide into grids.
[Brief description of the drawings]
FIG. 1 is a functional block diagram showing an embodiment of the present invention. FIG. 2 is an external perspective view of a manually operated device. FIG. 3 is a flowchart. FIG. 4 is a diagram corresponding to FIG. FIG. 7 is a diagram showing an example in which a display area of a main display is divided into a plurality of grids. FIG. 7 is a diagram showing an example of a mode in which a grid cursor is moved. FIG. 8 is another example of a mode in which a grid cursor is moved. Diagrams [Description of symbols]
In the drawings, 1 is a vehicle-mounted operation device, 2 is a CPU (control means), 5 is a main display (display means), 9 is an image analysis unit (image analysis means), 10 is a joystick (direction instruction operation means), and 12 is a force. It is a generating mechanism (force generating means).

Claims

A direction instructing operation unit operated by a user to instruct a direction, a force generation unit capable of generating a force such as a reaction force or a thrust force with respect to the operation of the direction instructing operation unit, and a display screen displayed on the display unit. An in-vehicle operation device including a control unit,
An image analysis means for analyzing an image on the display screen,
The control unit divides a display area of the display unit into a plurality of grids based on an image solution result by the image analysis unit, and causes a grid cursor to be displayed on any one of the divided grids. When the direction instructing means is operated, the force generating means generates a force such as a reaction force or thrust with respect to the operation of the direction instructing means, and moves the grid cursor of the display means in the direction instructing operation. An in-vehicle operation device characterized in that the device is moved on any one of the other grids in response to an operation of the means.

The in-vehicle operation device according to claim 1,
The image analysis means performs character recognition on the image on the display screen,
The in-vehicle operation device, wherein the control unit divides a display area of the display unit into a plurality of grids based on a result of character recognition by the image analysis unit.

The in-vehicle operation device according to claim 1 or 2,
The image analysis means performs graphic recognition on the image on the display screen,
The in-vehicle operation device, wherein the control unit divides a display area of the display unit into a plurality of grids based on a graphic recognition result by the image analysis unit.

The in-vehicle operating device according to any one of claims 1 to 3,
The image analysis means performs color recognition on the image on the display screen,
The in-vehicle operation device, wherein the control unit divides a display area of the display unit into a plurality of grids based on a result of color recognition by the image analysis unit.

The display area of the display unit is divided into a plurality of grids based on an image analysis result by the image analysis unit, a grit cursor is displayed on any one of the divided grids, and the direction instruction operation unit is operated. When it is performed, a force such as a reaction force or a thrust is generated by the force generating means in response to the operation of the direction indicating operation means, and the grid cursor of the display means is moved in accordance with the operation of the direction indicating operation means. An operation support method for an in-vehicle operation device, wherein the operation support method is to move on a grit.