JP2020093713A - 表示制御装置及び表示制御プログラム - Google Patents

表示制御装置及び表示制御プログラム Download PDF

Info

Publication number
JP2020093713A
JP2020093713A JP2018233851A JP2018233851A JP2020093713A JP 2020093713 A JP2020093713 A JP 2020093713A JP 2018233851 A JP2018233851 A JP 2018233851A JP 2018233851 A JP2018233851 A JP 2018233851A JP 2020093713 A JP2020093713 A JP 2020093713A
Authority
JP
Japan
Prior art keywords
image
information
display unit
vehicle
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018233851A
Other languages
English (en)
Other versions
JP7110966B2 (ja
Inventor
千尋 因幡
Chihiro Inaba
千尋 因幡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2018233851A priority Critical patent/JP7110966B2/ja
Priority to US16/707,203 priority patent/US11151966B2/en
Priority to CN201911248177.2A priority patent/CN111325871B/zh
Publication of JP2020093713A publication Critical patent/JP2020093713A/ja
Application granted granted Critical
Publication of JP7110966B2 publication Critical patent/JP7110966B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Arrangement of adaptations of instruments
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07CTIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00Registering or indicating the working of vehicles
    • G07C5/08Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
    • G07C5/0816Indicating performance data, e.g. occurrence of a malfunction
    • G07C5/0825Indicating performance data, e.g. occurrence of a malfunction using optical means
    • B60K35/10
    • B60K35/29
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00Computing arrangements using knowledge-based models
    • G06N5/02Knowledge representation; Symbolic representation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/20Scenes; Scene-specific elements in augmented reality scenes
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/22Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of characters or indicia using display control signals derived from coded signals representing the characters or indicia, e.g. with a character-code memory
    • G09G5/30Control of display attribute
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37Details of the operation on graphic patterns
    • G09G5/373Details of the operation on graphic patterns for modifying the size of the graphic pattern
    • B60K2360/166
    • B60K2360/167
    • B60K2360/176
    • B60K2360/186
    • B60K2360/1868
    • B60K2360/1876
    • B60K35/28
    • B60K35/81
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/06Adjustment of display parameters
    • G09G2320/0613The adjustment depending on the type of the information to be displayed
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/04Changes in size, position or resolution of an image
    • G09G2340/045Zooming at least part of an image, i.e. enlarging it or shrinking it
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/14Solving problems related to the presentation of information to be displayed
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00Specific applications
    • G09G2380/10Automotive applications

Abstract

【課題】利便性を向上させうる表示制御装置を提供する。【解決手段】表示制御装置100は、車両に搭載される表示部401に画像を表示させる表示制御装置である。表示制御装置100は、車両から得られる速度情報70に基づき、車両に搭載される表示部401に表示される第1画像の情報量を低減させる必要があるか否かを判断し、第1画像の情報量を低減させる必要がない場合には、第1画像を表示部401に表示させ、第1画像の情報量を低減させる必要がある場合には、第1画像に代えて、情報量が第1画像の情報量よりも少ない第2画像を表示部401に表示させる画像表示部21を備える。【選択図】図1

Description

本発明は、車両に搭載される表示部に画像を表示させる表示制御装置及び表示制御プログラムに関する。
特許文献1には、車両の走行速度が閾値を超えたとき、表示部の画面に表示される画像を非表示にする技術が開示されている。
特開2004−109351号公報(段落0036)
しかしながら、特許文献1に開示される技術のように、画面に表示される画像が非表示状態にされると、利便性が低下する場合があり、望ましいことではない。
本発明は、上記の点に鑑みてなされたものであって、利便性を向上させうる表示制御装置を提供することを目的とする。
上記の課題を解決するため、本発明の実施形態に係る表示制御装置は、車両に搭載される表示部に画像を表示させる表示制御装置であって、前記車両から得られる車両情報に基づき、前記車両に搭載される表示部に表示される第1画像の情報量を低減させる必要があるか否かを判断し、前記第1画像の情報量を低減させる必要がない場合には、前記第1画像を前記表示部に表示させ、前記第1画像の情報量を低減させる必要がある場合には、前記第1画像に代えて、情報量が前記第1画像の情報量よりも少ない第2画像を前記表示部に表示させる画像表示部と、を備える。
本実施の形態によれば、第1画像の情報量を低減させる必要がある場合には、第1画像に代えて第2画像が提供されるため、利便性を向上させうる。
また本実施の形態において、
前記第1画像は、文章の画像を示す第1テキスト画像であり、
前記第2画像は、前記文章を要約した文章の画像を示す第2テキスト画像である。
本実施の形態によれば、第1テキスト画像の情報量を低減させる必要がある場合には、第1テキスト画像に代えて第2テキスト画像が提供されるため、長文のテキスト画像が表示される場合に比べて、テキスト画像に対する運転手の認知負荷が軽減されると共に、利便性が著しく低下することを抑制できる。
また本実施の形態において、
前記第1画像は、文字以外の姿、図形及び映像の少なくとも一つの画像を示す第1イメージ画像であり、
前記第2画像は、前記文字以外の姿、図形及び映像の少なくとも一つの画像を要約した画像を示す第2イメージ画像である。
本実施の形態によれば、第1イメージ画像の情報量を低減させる必要がある場合には、第1イメージ画像に代えて第2イメージ画像が提供されるため、詳細なイメージ画像が表示される場合に比べて、イメージ画像に対する運転手の認知負荷が軽減されると共に、利便性が著しく低下することを抑制できる。
また本実施の形態において、
前記画像表示部は、複数のカテゴリーに分けられた複数の前記第2画像で構成される第2画像群の中に前記第1画像に対応するものがあるか否かを判定し、前記第1画像に対応する前記第2画像を、前記表示部に表示させるように構成してもよい。
本実施の形態によれば、第1画像情報を加工するなどの処理が不要になり、画像表示部の判定処理が軽減される。従って処理速度が高い高価なプロセッサを用いなくとも、第2画像の生成が可能となり、画像表示速度を高めながら表示制御装置の製造コストの低減が可能となる。
また本実施の形態において、
前記画像表示部は、前記車両情報と画像の特徴量を識別する識別器とを用いて、前記第1画像の情報量を低減させる必要があるか否かを判断するように構成してもよい。
本実施の形態によれば、画像の複雑度、画像のジャンルなどを問わずに、様々な種類のテキスト画像及びイメージ画像の内容を識別することが可能になる。そのため、様々な種類のテキスト画像及びイメージ画像に対して、運転手の認知負荷を軽減させるような抽象化された画像の生成が容易化されると共に、高い精度で第1画像に対応する第2画像を表示させることができる。
また本実施の形態において、
前記識別器は、学習済みのニューラルネットワークで構成してもよい。
本実施の形態によれば、入力された第1画像の特徴量の情報に応じて、適切な学習済みの特徴量を迅速に識別できる。
本発明の他の実施の形態は、表示制御プログラムとして実現可能である。
本発明によれば、利便性を向上させうるという効果を奏する。
本発明の実施の形態に係る表示制御装置の構成例を示す図である。 図1に示される表示部に表示される第1画像の一例を示す図である。 本実施の形態に係る表示制御装置100の動作を説明するためのシーケンスチャートである。 本実施の形態に係る表示制御装置100の動作を説明するためのフローチャートである。 ステップS6の処理で表示される第2テキスト画像の一例を示す図である。 テーブル情報の一例を示す図である。 ステップS7の処理で表示される第2テキスト画像及び第2イメージ画像の一例を示す図である。 ステップS8の処理で表示される第2イメージ画像の一例を示す図である。 本発明の実施の形態に係る表示制御装置を実現するためのハードウェア構成例を示す図である。 画像表示部に適用されるニューラルネットワークの一例を示す図である。
以下、図面を参照して発明を実施するための形態について説明する。
図1は本発明の実施の形態に係る表示制御装置の構成例を示す図である。図1に示される車両400には、表示部401と本実施の形態に係る表示制御装置100とが設けられる。表示部401は、例えばセンタディスプレイ、メータディスプレイ、ヘッドマウントディスプレイ、ナビゲーション装置の表示器などである。表示部401は、第1画像情報50に基づき第1画像を表示し、第2画像情報60に基づき第1画像を表示する。第1画像情報50は、表示部401に表示可能な第1画像を生成するための情報であり、図1に示されるサーバ300から配信される。第1画像は、静止画像及び動画像の何れかである。第1画像は、例えば車両メーカー、サードパーティなどで作成された画像、インターネットの動画サイトに投稿される画像などである。サードパーティは、車両の製造以外の事業に関わる各種のサービスを提供するコンテンツプロバイダー等である。第1画像は、表示部401に表示させることを目的とした情報だけでなく、表示部401以外の画像表示媒体に表示可能な画像を含むものとする。画像表示媒体は、例えばテレビ、スマートフォンの表示画面、パーソナルコンピュータに付属するディスプレイ、ゲーム機の表示画面、電光掲示板などである。
図2を用いて第1画像の具体例を説明する。図2は図1に示される表示部に表示される第1画像の一例を示す図である。図2に示される第1画像50Aは、例えば図1に示される車両400の目的地である牧場を運営する会社が開設する公式HPにアクセスした際に表示される画像である。図2に示される第1画像50Aには、2種類の画像(第1イメージ画像50A1及び第1テキスト画像50A2)が含まれている。「イメージ画像」は、文字以外の姿、図形及び映像の少なくとも一つの画像である。「イメージ画像」は、静止画像、動画像の何れでもよい。
テキスト画像は少なくとも1つの文字を視覚化した画像である。図2に示される第1テキスト画像50A2は、文章を表す画像であり、例えば牧場に関する詳細な説明文を表す画像である。第1テキスト画像50A2は、撮像機で撮像された文字を表す画像でもよいし、コンピュータで作成された文字を表す画像、アプリケーションの起動時に表示される文字を表す画像、webコンテンツに表示される文字を表す画像などでもよい。
第1テキスト画像50A2が数行に渡って記述される場合、このような第1テキスト画像50A2が走行中の車両400の表示部401に表示されると、たとえ文字のフォントが大きくても、運転手が文章を理解し終えるまでの時間は長くなり、運転の妨げになる可能性がある。また、前述した第1イメージ画像50A1が複雑な模様又は形状の物体を表すものであったり、その情報量が多くなると、閲覧者が画像内容を正確に理解し終えるまでの時間は停車時よりも長くなり、運転の妨げになる可能性がある。このように走行中の車両400では、第1画像50Aの情報量が大きくなると、第1画像50Aの内容を把握する上での運転手の認知負荷が増加する傾向がある。認知負荷の増加を抑制するための手段としては、表示画像を強制的に非表示状態に変更する方法も考えられる。ところが、このように画像が非表示状態にされると、画像としての情報量は減少するものの必要な情報まで失われることで全体としての分かりやすさが低下して、望ましいことではない。このような問題に鑑み、本実施の形態に係る表示制御装置100は、運転手の認知負荷の上昇を抑制しながら画像情報の提供を継続できるように構成されている。以下では、表示制御装置100の構成例を説明し、その後に表示制御装置100の動作について順次説明する。
図1に戻り表示制御装置100は、第1画像の内容を示す第1画像情報50を入力する情報入力部1と、表示制御部2とを備える。情報入力部1は、通信ネットワーク200との間で、無線通信又は有線通信により、情報を授受するインターフェイスである。通信ネットワーク200は、インターネット、携帯端末用の通信ネットワークなどである。
表示制御部2は、画像表示部21及び格納部23を備える。画像表示部21は、車両400の走行速度が特定の閾値未満である場合には、第1画像情報50に基づき生成される第1画像50Aを表示部401に表示させ、走行速度が閾値以上である場合には、第1画像50Aに代えて、第2画像情報60に基づき生成される第2画像を表示部401に表示させる。第2画像情報60は、格納部23に格納される。第2画像情報60は、その情報量が第1画像50Aの情報量よりも少ない第2画像の内容を示す画像情報である。第2画像の表示例については後述する。走行速度は、車両400の速度検出部402で検出された車速であり、速度情報70として速度検出部402から表示制御装置100へ伝送される。第2画像の表示例については後述する。
次に図3から図8を用いて表示制御装置100の動作を説明する。図3は本実施の形態に係る表示制御装置100の動作を説明するためのシーケンスチャートである。図4は本実施の形態に係る表示制御装置100の動作を説明するためのフローチャートである。速度情報70及び第1画像情報50が情報入力部1を介して画像表示部21に入力される(ステップS1)。
画像表示部21は、速度情報70と閾値とに基づき車速が閾値未満であるか否かを判定する(ステップS2)。この判定処理では、車速と閾値との大小関係が比較される。閾値は、車速判定のために予め設定された値である。
車速が閾値未満の場合(ステップS2,No)、画像表示部21は、第1画像情報50を、表示部401へ転送する。第1画像情報50を入力した表示部401では、第1画像情報50に基づき、図2に示されるような第1画像50Aが表示される(ステップS3)。
ステップS2に戻り、車速が閾値以上の場合(ステップS2,Yes)、画像表示部21は、第1画像情報50の中に、第1テキスト画像情報が含まれているか否かを判定する(ステップS4)。第1テキスト画像情報は、第1テキスト画像50A2の内容を示す情報である。
第1画像情報50の中に、第1テキスト画像情報が含まれる場合(ステップS4,Yes)、画像表示部21は、第1画像情報50の中に、第1イメージ画像情報が含まれるか否かを判定する(ステップS5)。第1イメージ画像情報は、第1イメージ画像50A1の内容を示す情報である。
第1画像情報50の中に、第1イメージ画像情報が含まれていない場合(ステップS5,No)、画像表示部21は、第1画像情報50の中に、第1テキスト画像情報のみが含まれていると判断する。この場合、画像表示部21は、第1画像情報50の代わりに、第2テキスト画像情報を含む情報を、第2画像情報60として、表示部401へ出力する。これにより、表示部401には第2テキスト画像が表示される(ステップS6)。第2テキスト画像は、その情報量が図2に示される第1テキスト画像50A2の情報量よりも少ない文章を表す画像である。第2テキスト画像は、第1テキスト画像の文章を要約した文章の画像を示す。
図5はステップS6の処理で表示される第2テキスト画像の一例を示す図である。図5に示されるように、表示部401には複数の第2テキスト画像60A2が表示される。第2テキスト画像60A2は、第2画像60Aの一例である。第2テキスト画像60A2を表示させる動作を具体的に説明する。画像表示部21は、第1画像情報50をマトリクス情報として取得する。マトリクス情報は、第2テキスト画像60A2の画素データ及びタグデータである。タグデータは、第2テキスト画像60A2の画素が、文字を構成する画素であることを示すデータである。マトリクス情報を取得した画像表示部21は、画素データ及びタグデータに基づき、第1画像情報50によって表示部401に表示される第1画像を推定し、推定した画像に対応するキーワードと、そのキーワードの数を示すスコアとを対応付けたテーブル情報を用いる。図6はテーブル情報の一例を示す図である。画像表示部21は、テーブル情報を用いて、スコアが高いキーワードに対応する画像を格納部23から読み出し、読み出した画像を第2テキスト画像60A2として、第2テキスト画像60A2の情報量と、第1テキスト画像50A2の情報量とを比較する。第2テキスト画像60A2の情報量が第1テキスト画像50A2の情報量よりも少ない場合には、画像表示部21は、第2テキスト画像60A2の情報を、第2画像情報60として、表示部401に出力する。第2テキスト画像60A2の情報量が第1テキスト画像50A2の情報量よりも多い場合には、画像表示部21は、第1テキスト画像50A2を抽象化して、情報量を少なくしたテキスト画像を生成する。情報量を少なくするとは、人の認知負荷が低減されるように、人が画像を認識できる範囲内で画像に加工を施すことであり、必ずしもデータサイズ、例えばビットレートの減少を意味しない。例えば、第1画像に対して、RGBの色空間に色変換処理、階調変換、拡大処理などが施されることで、第2画像が生成される。なお、情報量を少なくした画像を生成する技術は、例えば特開平10−255017号公報に開示されるため、その説明を割愛する。画像表示部21は、このテキスト画像の内容を示す情報を、第2画像情報60として、表示部401に出力する。これにより、表示部401には、図5に示されるような第2テキスト画像60A2が表示される。
このように、第2テキスト画像60A2が表示されることにより、運転手の認知負荷を低減しながら、例えば車両の目的地が牧場、森、農家などであることを大まかに把握させることができる。また同乗者も表示される情報の内容を把握できるため、表示画像が全く表示されない場合に比べて、情報の欠落を抑制できる。
図4のステップS5に戻り、第1画像情報50の中に、第1イメージ画像情報が含まれている場合(ステップS5,Yes)、画像表示部21は、第1画像情報50の中に、第1テキスト画像情報と第1イメージ画像情報とが含まれていると判断する。この場合、画像表示部21は、第1テキスト画像50A2及び第1イメージ画像50A1の代わりに、第2テキスト画像及び第2イメージ画像の情報を、第2画像情報60として、表示部401へ出力する。これにより、表示部401には、第2テキスト画像及び第2イメージ画像が表示される(ステップS7)。第2イメージ画像は、その情報量が図2に示される第1イメージ画像50A1の情報量よりも少ない画像である。第2テキスト画像は、文字以外の姿、図形及び映像の少なくとも一つの画像を要約した画像を示す。
図7はステップS7の処理で表示される第2テキスト画像及び第2イメージ画像の一例を示す図である。図7に示されるように、表示部401には複数の第2テキスト画像60A2と複数の第2イメージ画像60A1とが表示される。これらの画像は、第2画像60Aの一例である。第2イメージ画像60A1を表示させる動作を具体的に説明する。画像表示部21は、第1画像情報50をマトリクス情報として取得する。マトリクス情報は、第2イメージ画像60A1の画素データ及びタグデータである。タグデータは、第2イメージ画像60A1の画素が、文字を構成する画素であることを示すデータである。マトリクス情報を取得した画像表示部21は、画素データ及びタグデータに基づき、第1画像情報50によって表示部401に表示される第1画像を推定し、推定した画像に対応するキーワードと、そのキーワードの数を示すスコアとを対応付けたテーブル情報を用いる。画像表示部21は、テーブル情報を用いて、スコアが高いキーワードに対応する画像を格納部23から読み出し、読み出した画像を第2イメージ画像60A1として、第2イメージ画像60A1の情報量と、第1イメージ画像50A1の情報量とを比較する。第2イメージ画像60A1の情報量が第1イメージ画像50A1の情報量よりも少ない場合には、画像表示部21は、第2イメージ画像60A1の情報を表示部401に出力する。第2イメージ画像60A1の情報量が第1イメージ画像50A1の情報量よりも多い場合には、画像表示部21は、第1イメージ画像50A1を抽象化して、情報量を少なくしたイメージ画像を生成する。画像表示部21は、このイメージ画像の内容を示す情報を、前述した方法で生成されるテキスト画像情報に加えたものを、第2画像情報60として、表示部401に出力する。これにより、表示部401には、図7に示されるような第2テキスト画像60A2と第2イメージ画像60A1とが表示される。
このように、第2テキスト画像60A2と第2イメージ画像60A1とが表示されることにより、第2テキスト画像60A2のみ表示される場合に比べて、運転手及び同乗者は表示部401に表示させる画像内容をより一層容易に把握できるようになり、認知負荷の増加を抑制しながら利便性を向上させることができる。
図4のステップS4に戻り、第1画像情報50の中に第1テキスト画像50A2が含まれていない場合(ステップS4,Yes)、画像表示部21は、第1画像情報50の中に、第1イメージ画像50A1のみが含まれていると判断する。この場合、画像表示部21は、ステップS7で説明した方法により、第2イメージ画像60A1を生成し、生成した第2イメージ画像60A1の情報を、第2画像情報60として、表示部401に出力する。これにより、表示部401には、第2イメージ画像60A1が表示される(ステップS8)。図8はステップS8の処理で表示される第2イメージ画像の一例を示す図である。図8に示されるように、表示部401には、複数の第2イメージ画像60A1が表示される。
このように、第2イメージ画像60A1が表示されることにより、図5のように第2テキスト画像60A2が表示される場合に比べて、表示内容を直感的に把握させることができるため、認知負荷の増加をより一層抑制できる。
図9は本発明の実施の形態に係る表示制御装置を実現するためのハードウェア構成例を示す図である。表示制御装置100は、CPU(Central Processing Unit)、システムLSI(Large Scale Integration)などのプロセッサ30と、RAM(Random Access Memory)、ROM(Read Only Memory)などで構成されるメモリ31と、入出力インターフェイス32とにより実現することが可能である。プロセッサ30、メモリ31及び入出力インターフェイス32は、バス33に接続され、バス33を介して、情報の受け渡しを相互に行うことが可能である。入出力インターフェイス32は、表示制御装置100が、通信ネットワーク200との間で情報の送受信を行う情報入力部1として機能する。なお、プロセッサ30は、マイクロコンピュータ、GPU(General Purpose Graphics Processing Unit)といった演算手段であってもよい。表示制御装置100を実現する場合、表示制御装置100用のプログラムをメモリ31に格納しておき、このプログラムをプロセッサ30が実行することにより、表示制御装置100の画像表示部21が実現される。表示制御装置100用のプログラムは、画像表示部21の機能を実行するプログラムである。すなわち、表示制御装置100用のプログラムは、車両400に搭載される表示部401に表示される第1画像50Aの内容を示す第1画像情報50を入力する情報入力ステップと、表示ステップとをコンピュータに実行させる表示制御プログラムである。表示ステップは、車両400から得られる車両情報に基づき第1画像50Aの情報量を低減させる必要があるか否かを判断し、第1画像50Aの情報量を低減させる必要がない場合には、第1画像情報50に基づき生成される第1画像50Aを表示部401に表示させ、第1画像50Aの情報量を低減させる必要がある場合には、第1画像50Aに代えて、情報量が第1画像50Aの情報量よりも少ない第2画像60Aの内容を示す第2画像情報60を、表示部401へ表示させる処理である。
図10は画像表示部に適用されるニューラルネットワークの一例を示す図である。図10に示されるニューラルネットワークモデル21Aは、画像表示部21の一例である。ニューラルネットワークモデル21Aは、例えば開発言語「Python」、「Tensorflow」、などを用いて記述することによって作成される。ニューラルネットワークモデル21Aは、入力層と、隠れ層と呼ばれる中間層と、出力層とを有する。ニューラルネットワークモデル21Aでは、中間層の数を増やして重層構造にする構成が採られる。活性化関数にはランプ関数「ReLU」、線形関数「Liner」などが利用される。活性化関数は、ニューラルネットワークにおいて、線形変換をした後に適用する非線形関数もしくは恒等関数を意味する。ニューラルネットワークモデル21Aを用いて第1画像を認識するためには、ニューラルネットワークモデル21Aに対して、教師データ又は訓練データと呼ばれる画像情報を利用して、深層学習させる必要がある。ニューラルネットワークモデル21Aを実現するためには、高い演算能力が必要なため、車載コンピュータではなく、ニューラルネットワークモデル21Aは、通信ネットワーク200に接続されるサーバ300で実現することが望ましい。
画像表示部21は、車両情報と画像の特徴量を識別する識別器とを用いて第1画像の情報量を低減させる必要があるか否かを判断する構成としてもよい。これにより、画像の複雑度、画像のジャンルなどを問わずに、様々な種類のテキスト画像及びイメージ画像の内容を識別することが可能になる。そのため、様々な種類のテキスト画像及びイメージ画像に対して、運転手の認知負荷を軽減させるような抽象化された画像の生成が容易化されると共に、高い精度で第1画像に対応する第2画像を表示させることができる。また識別器は、学習済みのニューラルネットで構成されることによって、識別器は入力された第1画像の特徴量の情報に応じて、適切な学習済みの特徴量を迅速に識別できる。なお、識別器には、ニューラルネット以外にも、例えばSVM(Support Vector Machine)、SIFT(Scale-Invariant Feature Transform)、SVM(Support Vector Machine)等の手法を用いてもよい。
また本実施の形態では、表示制御装置100に設けられる格納部23に格納された画像データを用いて、第2画像を生成する場合の構成例について説明したが、格納部23に格納された画像データの代わりに、例えばサーバ300に格納された第2画像の情報を表示部401に表示させてもよい。この構成により、車両400に設けられるメモリの容量を低減することができ、車両400の製造コストを低減できる。
また本実施の形態では、車両400の走行速度が閾値以上であるか否かを判定して、第1画像又は第2画像が表示されるように構成されているが、走行速度以外の車両情報を用いてもよい。走行速度以外の車両情報は、例えば、サイドブレーキが引かれた状態であるか解除された状態であるかを示す情報、先進運転支援システム(Advanced driver-assistance systems:ADAS)から取得される情報である。ADASは、道路交通の利便性を高めるため、運転手の運転操作を支援するシステムである。また、走行速度以外の車両情報は、これらの情報以外にも、例えば、操舵装置の操舵状態を示す情報、ブレーキ操作状態を示す情報でもよい。すなわち、画像表示部21は、車両から得られる車両情報に基づき第1画像の情報量を低減させる必要があるか否かを判断し、第1画像の情報量を低減させる必要がない場合には、第1画像を表示部に表示させ、第1画像の情報量を低減させる必要がある場合には、第1画像に代えて第2画像を表示部に表示させるように構成してもよい。このように走行速度以外の車両情報を用いることにより、表示制御装置100の設計の自由度が向上し、また表示制御装置100の適用可能な車種を増やすことも可能である。
また本実施の形態に表示制御装置100の格納部23は、例えば複数のカテゴリーに分けられた複数の第2画像で構成される第2画像群の情報を格納してもよい。カテゴリーとは、表示部401に表示される画像内容(例えば動物、建物、自然など)の分類を表す。この場合、画像表示部21は、第2画像群の情報の中に、第1画像情報に対応するものがあるか否かを判定し、第1画像情報に対応する第2画像情報に基づき生成される第2画像を、表示部401に表示させるように構成してもよい。このように構成することにより、第1画像情報を加工するなどの処理が不要になり、画像表示部21の判定処理が軽減される。従って処理速度が高い高価なプロセッサを用いなくとも、第2画像の生成が可能となり、画像表示速度を高めながら表示制御装置100の製造コストの低減が可能となる。
なお、本実施の形態に表示制御装置100は、車両速度に応じて第2画像の情報量を段階的に又は連続的に変化させるように構成してもよい。例えば低速域(時速0km/h〜30km/h)、中速域(時速31km/h〜70km/h)、高速域(時速71km/h以上)などの速度区分に応じて、第2画像の情報量が、低速域、中速域、高速域の順で低下される。この構成により、車両速度に対して情報量が一定の画像を表示する場合に比べて、認知負荷の増加をより一層抑制できる。
1 情報入力部
2 表示制御部
21 画像表示部
21A ニューラルネットワークモデル
23 格納部
30 プロセッサ
31 メモリ
32 入出力インターフェイス
33 バス
50 第1画像情報
50A 第1画像
50A1 第1イメージ画像
50A2 第1テキスト画像
60 第2画像情報
60A 第2画像
60A1 第2イメージ画像
60A2 第2テキスト画像
70 速度情報
100 表示制御装置
200 通信ネットワーク
212 画像表示部
300 サーバ
400 車両
401 表示部
402 速度検出部

Claims (8)

  1. 車両に搭載される表示部に画像を表示させる表示制御装置であって、
    前記車両から得られる車両情報に基づき、前記車両に搭載される表示部に表示される第1画像の情報量を低減させる必要があるか否かを判断し、前記第1画像の情報量を低減させる必要がない場合には、前記第1画像を前記表示部に表示させ、前記第1画像の情報量を低減させる必要がある場合には、前記第1画像に代えて、情報量が前記第1画像の情報量よりも少ない第2画像を前記表示部に表示させる画像表示部と、
    を備える表示制御装置。
  2. 前記第1画像は、文章の画像を示す第1テキスト画像であり、
    前記第2画像は、前記文章を要約した文章の画像を示す第2テキスト画像である請求項1に記載の表示制御装置。
  3. 前記第1画像は、文字以外の姿、図形及び映像の少なくとも一つの画像を示す第1イメージ画像であり、
    前記第2画像は、前記文字以外の姿、図形及び映像の少なくとも一つの画像を要約した画像を示す第2イメージ画像である請求項1に記載の表示制御装置。
  4. 前記画像表示部は、複数のカテゴリーに分けられた複数の前記第2画像で構成される第2画像群の中に前記第1画像に対応するものがあるか否かを判定し、前記第1画像に対応する前記第2画像を、前記表示部に表示させる請求項1から3の何れか一項に記載の表示制御装置。
  5. 前記画像表示部は、前記車両情報と画像の特徴量を識別する識別器とを用いて、前記第1画像の情報量を低減させる必要があるか否かを判断する請求項1から4の何れか一項に記載の表示制御装置。
  6. 前記識別器は、学習済みのニューラルネットワークで構成される請求項5に記載の表示制御装置。
  7. 車両に搭載される表示部に画像を表示させる表示制御装置であって、
    前記車両から得られる車両情報に基づき、前記車両に搭載される表示部に表示される文章の画像を示す第1テキスト画像と前記表示部に表示される文字以外の姿、図形及び映像の少なくとも一つの画像を示す第1イメージ画像との情報量を低減させる必要があるか否かを判断し、前記第1テキスト画像及び前記第1イメージ画像の情報量を低減させる必要がない場合には、前記第1テキスト画像及び前記第1イメージ画像を前記表示部に表示させ、前記第1テキスト画像及び前記第1イメージ画像の情報量を低減させる必要がある場合には、前記第1テキスト画像及び前記第1イメージ画像に代えて、情報量が前記第1テキスト画像の情報量よりも少なく前記表示部に表示される文章の画像を示す第2テキスト画像と情報量が前記第1イメージ画像の情報量よりも少なく前記表示部に表示される文字以外の姿、図形及び映像の少なくとも一つの画像を示す第2イメージ画像とを前記表示部に表示させる画像表示部と、
    を備える表示制御装置。
  8. 車両から得られる車両情報に基づき、前記車両に搭載される表示部に表示される第1画像の情報量を低減させる必要があるか否かを判断する判断ステップと、
    前記第1画像の情報量を低減させる必要がない場合には、前記第1画像を前記表示部に表示させ、前記第1画像の情報量を低減させる必要がある場合には、前記第1画像に代えて、情報量が前記第1画像の情報量よりも少ない第2画像を、前記表示部へ表示させる表示ステップと、
    をコンピュータに実行させる表示制御プログラム。
JP2018233851A 2018-12-13 2018-12-13 表示制御装置及び表示制御プログラム Active JP7110966B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2018233851A JP7110966B2 (ja) 2018-12-13 2018-12-13 表示制御装置及び表示制御プログラム
US16/707,203 US11151966B2 (en) 2018-12-13 2019-12-09 Display control apparatus, display control method and storage medium for determining whether or not information of an image needs to be reduced based on vehicle information
CN201911248177.2A CN111325871B (zh) 2018-12-13 2019-12-09 显示控制装置以及记录介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018233851A JP7110966B2 (ja) 2018-12-13 2018-12-13 表示制御装置及び表示制御プログラム

Publications (2)

Publication Number Publication Date
JP2020093713A true JP2020093713A (ja) 2020-06-18
JP7110966B2 JP7110966B2 (ja) 2022-08-02

Family

ID=71071695

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018233851A Active JP7110966B2 (ja) 2018-12-13 2018-12-13 表示制御装置及び表示制御プログラム

Country Status (3)

Country Link
US (1) US11151966B2 (ja)
JP (1) JP7110966B2 (ja)
CN (1) CN111325871B (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030055537A1 (en) * 2001-08-31 2003-03-20 Gilad Odinak System and method for adaptable mobile user interface
JP2008273285A (ja) * 2007-04-26 2008-11-13 Fujitsu Ten Ltd 車載情報出力装置および車載情報表示装置
JP2015112974A (ja) * 2013-12-10 2015-06-22 カルソニックカンセイ株式会社 ヘッドアップディスプレイ
JP2017227719A (ja) * 2016-06-21 2017-12-28 株式会社Jvcケンウッド 車両用表示制御装置、車両用表示システム、車両用表示制御方法およびプログラム

Family Cites Families (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3139617B2 (ja) 1996-03-25 2001-03-05 オムロン株式会社 似顔絵作成方法及び装置
JP3614346B2 (ja) 2000-04-24 2005-01-26 株式会社ケンウッド 車載用ナビゲーション装置及び表示装置
JP2002162236A (ja) 2000-11-27 2002-06-07 Matsushita Electric Ind Co Ltd 車載用表示装置
WO2003090174A1 (en) * 2002-04-18 2003-10-30 Computer Associates Think, Inc. Integrated visualization of security information for an individual
JP2004053346A (ja) * 2002-07-18 2004-02-19 Denso Corp ナビゲーション装置
JP2004109351A (ja) 2002-09-17 2004-04-08 Toyota Motor Corp データ判定システムおよびデータ通信端末
JP4092479B2 (ja) 2003-01-07 2008-05-28 日産自動車株式会社 車両用運転支援装置
US7561966B2 (en) * 2003-12-17 2009-07-14 Denso Corporation Vehicle information display system
JP2007096392A (ja) 2005-09-27 2007-04-12 Alpine Electronics Inc 車載ビデオ再生装置
US20100171767A1 (en) * 2006-08-31 2010-07-08 Waeller Christoph Method for displaying information in a motor vehicle, and information system
JP4453764B2 (ja) * 2008-02-22 2010-04-21 トヨタ自動車株式会社 車両診断装置、車両診断システム、診断方法
JP2009229385A (ja) 2008-03-25 2009-10-08 Kenwood Corp 車載用表示制御装置、方法及びプログラム
EP2151808A1 (en) * 2008-08-07 2010-02-10 Aisin Aw Co., Ltd. Safe driving evaluation system and safe driving evaluation method
CN101458871B (zh) * 2008-12-25 2014-03-26 北京中星微电子有限公司 一种智能交通分析系统及其应用系统
US9978186B2 (en) * 2009-01-09 2018-05-22 The Raymond Corporation Information reporting system for managing a fleet of an industrial vehicles
US20100207757A1 (en) * 2009-02-16 2010-08-19 Ford Global Technologies, Llc System and method for adjusting the resolution of an information display for a vehicle
JP5340800B2 (ja) 2009-05-08 2013-11-13 アルパイン株式会社 車両運転支援装置
JP2012025355A (ja) 2010-07-28 2012-02-09 Nippon Seiki Co Ltd 車両用表示装置
US8688320B2 (en) * 2011-01-11 2014-04-01 Robert Bosch Gmbh Vehicle information system with customizable user interface
US10139900B2 (en) * 2011-04-12 2018-11-27 Mobile Communication Technologies, Llc Mobile communicator device including user attentiveness detector
GB2500581B (en) * 2012-03-23 2014-08-20 Jaguar Land Rover Ltd Method and system for controlling the output of information to a driver based on an estimated driver workload
US20160173940A1 (en) * 2012-06-29 2016-06-16 Toyota Jidosha Kabushiki Kaisha Image information provision device, image information provision system, and image information provision method
JP5939134B2 (ja) * 2012-11-09 2016-06-22 トヨタ自動車株式会社 車両状態記憶装置
WO2014118943A1 (ja) 2013-01-31 2014-08-07 三菱電機株式会社 表示制御システム
JP2015184942A (ja) * 2014-03-25 2015-10-22 株式会社日立ハイテクノロジーズ 故障原因分類装置
US20170309257A1 (en) * 2014-10-29 2017-10-26 Panasonic Intellectual Property Management Co., Ltd. Display control device
JP6201064B2 (ja) * 2014-12-24 2017-09-27 富士フイルム株式会社 投写型表示装置、安全運転支援方法、及び安全運転支援プログラム
JP6350428B2 (ja) * 2015-07-22 2018-07-04 トヨタ自動車株式会社 車載記録システム
US9811536B2 (en) * 2016-01-27 2017-11-07 Dell Products L.P. Categorizing captured images for subsequent search
CN105788023B (zh) * 2016-02-18 2018-01-12 深圳金语科技有限公司 一种具有自动调整功能的多功能行车记录仪
JP6414567B2 (ja) * 2016-06-02 2018-10-31 トヨタ自動車株式会社 車両用制限速度表示装置
CN106651774B (zh) * 2016-12-27 2020-12-04 深圳市捷顺科技实业股份有限公司 一种车牌超分辨率模型重建方法及装置
JP6596771B2 (ja) * 2017-05-19 2019-10-30 トヨタ自動車株式会社 情報提供装置および情報提供方法
CN107215275B (zh) * 2017-05-27 2019-07-26 吉利汽车研究院(宁波)有限公司 视图显示方法、视图显示装置及汽车
JP7006159B2 (ja) * 2017-11-14 2022-01-24 トヨタ自動車株式会社 サーバ装置
DE102018130821A1 (de) * 2018-12-04 2020-06-04 Valeo Schalter Und Sensoren Gmbh Verfahren zum Beurteilen einer Umgebung eines Kraftfahrzeugs durch ein künstliches neuronales Netz mit einer Aggregationseinheit; Steuereinheit, Fahrerassistenzsystem sowie Computerprogrammprodukt

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030055537A1 (en) * 2001-08-31 2003-03-20 Gilad Odinak System and method for adaptable mobile user interface
JP2008273285A (ja) * 2007-04-26 2008-11-13 Fujitsu Ten Ltd 車載情報出力装置および車載情報表示装置
JP2015112974A (ja) * 2013-12-10 2015-06-22 カルソニックカンセイ株式会社 ヘッドアップディスプレイ
JP2017227719A (ja) * 2016-06-21 2017-12-28 株式会社Jvcケンウッド 車両用表示制御装置、車両用表示システム、車両用表示制御方法およびプログラム

Also Published As

Publication number Publication date
CN111325871A (zh) 2020-06-23
CN111325871B (zh) 2022-04-29
US11151966B2 (en) 2021-10-19
US20200193941A1 (en) 2020-06-18
JP7110966B2 (ja) 2022-08-02

Similar Documents

Publication Publication Date Title
US11409986B2 (en) Trainable vision scaler
JP2019511019A (ja) オンデマンドサービス用に車両情報を表示するためのシステムおよび方法
US11694078B2 (en) Electronic apparatus and controlling method thereof
CN105094289B (zh) 一种实现图形用户交互界面的方法、设备及系统
EP1600896A2 (en) Character image generation
CN112215171A (zh) 目标检测方法、装置、设备及计算机可读存储介质
US20220301312A1 (en) Electronic apparatus for identifying content based on an object included in the content and control method thereof
JP4763041B2 (ja) 表示処理装置、表示処理方法及び表示処理プログラム
JP7110966B2 (ja) 表示制御装置及び表示制御プログラム
CN105389308B (zh) 网页的显示处理方法及装置
US20220197457A1 (en) Coupling of User Interfaces
US20220058375A1 (en) Server, electronic device, and control methods therefor
Bautu et al. In-vehicle software system for fostering driver’s attentiveness
JP2012252214A (ja) コンテンツ表示装置、コンテンツを表示するための方法、コンピュータをコンテンツ表示装置として機能させるためのプログラム
US20060044614A1 (en) Apparatus and method for processing variable print documents
EP3720138A1 (en) Image processing apparatus and image processing method
CN111414218A (zh) 针对显示页面中字符对比度的调整方法、装置以及设备
JP2019075095A (ja) 情報処理装置、学習装置、情報処理方法、学習情報の生産方法、およびプログラム
JP2016009292A (ja) 画像処理装置及びプログラム
WO2021199557A1 (ja) 標識評価装置、学習装置、標識評価方法、学習方法、及びプログラム
KR102499828B1 (ko) 디지털 트윈 기술을 이용한 가상훈련방법
US20220092735A1 (en) Electronic apparatus and controlling method thereof
Cortada From Gutenberg to Google: The History of Our Future by Tom Wheeler
JP2005215333A (ja) 情報表示装置および情報表示プログラム
CN117632325A (zh) 车载信息显示方法、系统、介质、装置及车辆

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210420

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220421

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220426

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220526

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220621

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220704

R151 Written notification of patent or utility model registration

Ref document number: 7110966

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151