JP2019220009A - 半導体装置、メッセージ画像出力方法、およびプログラム - Google Patents

半導体装置、メッセージ画像出力方法、およびプログラム Download PDF

Info

Publication number
JP2019220009A
JP2019220009A JP2018118025A JP2018118025A JP2019220009A JP 2019220009 A JP2019220009 A JP 2019220009A JP 2018118025 A JP2018118025 A JP 2018118025A JP 2018118025 A JP2018118025 A JP 2018118025A JP 2019220009 A JP2019220009 A JP 2019220009A
Authority
JP
Japan
Prior art keywords
message image
area
image
semiconductor device
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2018118025A
Other languages
English (en)
Inventor
安田 浩司
Koji Yasuda
浩司 安田
裕史 川口
Yasushi Kawaguchi
裕史 川口
明秀 高橋
Akihide Takahashi
明秀 高橋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Renesas Electronics Corp
Original Assignee
Renesas Electronics Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Renesas Electronics Corp filed Critical Renesas Electronics Corp
Priority to JP2018118025A priority Critical patent/JP2019220009A/ja
Priority to CN201910481341.8A priority patent/CN110636271B/zh
Priority to US16/435,067 priority patent/US10766405B2/en
Priority to EP19180564.7A priority patent/EP3588189B1/en
Publication of JP2019220009A publication Critical patent/JP2019220009A/ja
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00Projectors or projection-type viewers; Accessories therefor
    • G03B21/14Details
    • G03B21/142Adjusting of projection optics
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/0017Devices integrating an element dedicated to another function
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/06Safety devices
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/26Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic
    • B60Q1/34Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating change of drive direction
    • B60Q1/346Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating change of drive direction with automatic actuation
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/26Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic
    • B60Q1/34Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating change of drive direction
    • B60Q1/38Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating change of drive direction using immovably-mounted light sources, e.g. fixed flashing lamps
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/26Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic
    • B60Q1/50Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3626Details of the output of route guidance instructions
    • G01C21/365Guidance using head up displays or projectors, e.g. virtual vehicles or arrows projected on the windscreen or on the road itself
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3697Output of additional, non-guidance related information, e.g. low fuel level
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/166Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/167Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/38Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory with means for controlling the display position
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141Constructional details thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179Video signal processing therefor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191Testing thereof
    • H04N9/3194Testing thereof including sensor feedback
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q2400/00Special features or arrangements of exterior signal lamps for vehicles
    • B60Q2400/20Multi-color single source or LED matrix, e.g. yellow blinker and red brake lamp generated by single lamp
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q2400/00Special features or arrangements of exterior signal lamps for vehicles
    • B60Q2400/50Projected symbol or information, e.g. onto the road or car body
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B62LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62JCYCLE SADDLES OR SEATS; AUXILIARY DEVICES OR ACCESSORIES SPECIALLY ADAPTED TO CYCLES AND NOT OTHERWISE PROVIDED FOR, e.g. ARTICLE CARRIERS OR CYCLE PROTECTORS
    • B62J6/00Arrangement of optical signalling or lighting devices on cycles; Mounting or supporting thereof; Circuits therefor
    • B62J6/05Direction indicators
    • B62J6/055Electrical means, e.g. lamps
    • B62J6/056Electrical means, e.g. lamps characterised by control means
    • B62J6/057Automatic activation, e.g. by sensors
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0138Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0141Head-up displays characterised by optical features characterised by the informative content of the display
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00Specific applications
    • G09G2380/10Automotive applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Automation & Control Theory (AREA)
  • Signal Processing (AREA)
  • Optics & Photonics (AREA)
  • Robotics (AREA)
  • Computer Hardware Design (AREA)
  • Theoretical Computer Science (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Projection Apparatus (AREA)
  • Traffic Control Systems (AREA)

Abstract

【課題】移動体が投影するメッセージ画像が所望の位置から変動するのを抑制する半導体装置を提供する。【解決手段】半導体装置100は、移動体の移動情報に基づいて、メッセージ画像を投影する第1領域を決定する第1領域決定部133を有する。半導体装置100は、第1領域にメッセージ画像を投影するための第1時刻からメッセージ画像を投影可能な第2時刻までの期間である遅延期間を算出する遅延期間算出部134を有する。また、半導体装置100は、遅延期間に基づいて第1領域を調整して第2領域を決定する第2領域決定部135を有する。そして、半導体装置100は、第2領域に応じてメッセージ画像信号を変換する画像信号変換部137と、変換したメッセージ画像信号を出力するメッセージ画像出力部138とを有する。【選択図】図6

Description

本発明は半導体装置、メッセージ画像出力方法、およびプログラムに関する。
車両に関する情報等に基づいて、車両の周囲に所定の情報を含む光を投影する種々の技術が提案されている。
例えば、特許文献1に記載の映像投影装置は、車両に関する情報を取得する取得部と、取得した情報に応じて所定のメッセージ等を含む映像等を投影する映像投影部とを備える。そして、映像投影装置は、自車両の挙動に合せて投影映像の路面上での投影位置の静/動を、適宜、切替える。映像投影装置は、車両が交差点などにおいて停止し、その進行方向を矢印等により表示した後、当該矢印の表示位置は、車両の移動に連動させず、車速パルスやハンドルの舵角等によって車両の位置を把握し、初期表示位置に留まるのに必要な補正を行う。
国際公開第2016/114048号
しかし、特許文献1に記載の技術によって、路面上に投影した矢印を初期表示位置に留まらせるには、次のような問題がある。すなわち、車速パルスやハンドルの舵角等によって車両の位置を把握したとしても、取得した各データから投影する映像の信号を生成し、生成した映像を路上に投影するまでの期間の遅延が生じることになる。このような遅延期間の間にも、車両が移動するため、車両の速度と遅延期間を乗じた分は、投影する映像の位置がずれることになる。
その他の課題と新規な特徴は、本明細書の記述および添付図面から明らかになるであろう。
一実施の形態によれば、半導体装置は、移動体の周囲に投影するメッセージ画像の信号であるメッセージ画像信号を出力する半導体装置である。半導体装置は、前記移動体の移動情報に基づいて、前記メッセージ画像を投影する予定の時刻である第1時刻および前記メッセージ画像を投影する領域である第1領域をそれぞれ決定する第1領域決定部を有する。半導体装置は、前記第1領域に前記メッセージ画像を投影するための第1時刻から前記メッセージ画像を投影可能な第2時刻までの期間である遅延期間を算出する遅延期間算出部を有する。また、半導体装置は、前記移動情報と前記遅延期間とに基づいて前記第1領域を調整して第2領域を決定する第2領域決定部を有する。そして、半導体装置は、前記第2領域に応じて前記メッセージ画像信号を変換する画像信号変換部と、変換した前記メッセージ画像信号を出力するメッセージ画像出力部とを有する。
一実施の形態によれば、メッセージ画像出力方法は、移動体の周囲に投影するメッセージ画像の信号であるメッセージ画像信号を出力するメッセージ画像信号出力方法である。メッセージ画像出力方法は、前記移動体の移動情報に基づいて、前記メッセージ画像を投影する予定の時刻である第1時刻および前記メッセージ画像を投影する領域である第1領域をそれぞれ決定するステップを有する。メッセージ画像出力方法は、前記第1領域に前記メッセージ画像を投影する場合の第1時刻から前記メッセージ画像を投影可能な第2時刻までの期間である遅延期間を算出するステップを有する。メッセージ画像出力方法は、前記移動情報と前記遅延期間とに基づいて前記第1領域を調整して第2領域を決定するステップと、前記第2領域に応じて前記メッセージ画像信号を変換するステップと、変換した前記メッセージ画像信号を出力するステップとを有する。
一実施の形態によれば、プログラムは、移動体の周囲に投影するメッセージ画像の信号であるメッセージ画像信号を出力する以下の方法をコンピュータに実行させるプログラムである。前記方法は、前記移動体の移動情報に基づいて、前記メッセージ画像を投影する予定の時刻である第1時刻および前記メッセージ画像を投影する領域である第1領域をそれぞれ決定するステップを有する。前記方法は、前記第1領域に前記メッセージ画像を投影する場合の第1時刻から前記メッセージ画像を投影可能な第2時刻までの期間である遅延期間を算出するステップを有する。前記方法は、前記移動情報と前記遅延期間とに基づいて前記第1領域を調整して第2領域を決定するステップと、前記第2領域に応じて前記メッセージ画像信号を変換するステップと、変換した前記メッセージ画像信号を出力するステップとを有する。
前記一実施の形態によれば、移動体が投影するメッセージ画像が所望の位置から変動するのを抑制する半導体装置を提供することができる。
実施の形態1に係るメッセージ画像投影システムの概略図である。 実施の形態1に係るメッセージ画像投影システムのハードウェア構成図である。 実施の形態1に係るメッセージ画像投影装置の投影可能領域を示した自動車1の上面図である。 実施の形態1に係るメッセージ画像投影装置の投影可能領域を示した自動車1の正面図である。 自動車1がメッセージ画像投影システム10を用いて路面にメッセージ画像を投影しながら進行している状態を示す図である。 実施の形態1に係るメッセージ画像投影システムの機能ブロック図である。 メッセージ画像信号の出力タイミングと遅延期間の例を示す図である。 第1時刻と第2時刻とにおける自動車1の位置と投影領域との関係を示した図である。 第2領域決定回路135が行う処理を説明するための図である。 実施の形態1に係る半導体装置が行う画像信号変換処理を説明するための図である。 実施の形態1に係るメッセージ画像投影システム10の処理を示すフローチャートである。 実施の形態2に係るメッセージ画像投影システム20の概略を示す図である。 実施の形態2に係るメッセージ画像投影システムのハードウェア構成図である。 実施の形態3に係るメッセージ画像投影システムの機能ブロック図である。 参照画像信号とテスト画像信号の輝度値の比較を説明するための図である。 メッセージ画像信号の輝度値を調整する原理を説明するための図である。 実施の形態2に係る調整信号生成回路231が行う処理を示すフローチャートである。 実施の形態2に係るメッセージ画像投影システム20の処理を示すフローチャートである。 実施の形態2の変形例によるメッセージ画像の調整方法を説明するための図である。 実施の形態3に係るメッセージ画像投影システム30のシステム概略を説明するための図である。 実施の形態3に係るメッセージ画像投影システムのハードウェア構成図である。 実施の形態3に係るメッセージ画像投影システム30の機能ブロック図である。 実施の形態3に係るメッセージ画像投影システムの具体例を説明するための図である。 実施の形態3に係るメッセージ画像投影システムの具体例を説明するための図である。 実施の形態3に係るメッセージ画像投影システムの発信側の処理を示すフローチャートである。 実施の形態3に係るメッセージ画像投影システムの発信側の処理を示すフローチャートである。 実施の形態3に係るメッセージ画像投影システムの受信側の処理を示すフローチャートである。 実施の形態3の変形例を示す図である。
説明の明確化のため、以下の記載及び図面は、適宜、省略、および簡略化がなされている。また、様々な処理を行う機能ブロックとして図面に記載される各要素は、ハードウェア的には、CPU(Central Processing Unit)、メモリ、その他の回路で構成することができ、ソフトウェア的には、メモリにロードされたプログラムなどによって実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、又はそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。したがって、以下の説明において、回路として例示した構成は、ハードウェア又はソフトウェアのいずれか又はその両方によって実現することが可能であり、ある機能を実現する回路として示され構成は、同様の機能を実現するソフトウェアの一部としても示され得る。例えば、制御回路と記載された構成は、制御部として記載され得る。なお、各図面において、同一の要素には同一の符号が付されており、必要に応じて重複説明は省略されている。
また、上述したプログラムは、様々なタイプの非一時的なコンピュータ可読媒体を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体(例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ)、光磁気記録媒体(例えば光磁気ディスク)、CD−ROM(Read Only Memory)CD−R、CD−R/W、半導体メモリ(例えば、マスクROM、PROM(Programmable ROM)、EPROM(Erasable PROM)、フラッシュROM、RAM(Random Access Memory))を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、および電磁波を含む。一時的なコンピュータ可読媒体は、電線および光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
<実施の形態1>
図1を参照しながら、実施の形態1の構成概略について説明する。図1は、実施の形態1に係るメッセージ画像投影システムの概略図である。図1は、自動車1の上面図である。図1に示すように、メッセージ画像投影システム10は、自動車1に搭載されている。メッセージ画像投影システム10は、自動車1の周囲にメッセージ画像を投影するためのシステムである。メッセージ画像とは、自動車1の運転者や、自動車1の周囲の者に対して所定のメッセージを伝えるための画像である。メッセージ画像投影システム10は、主な構成として、半導体装置100、外部メモリ950、ECU(Electronic Control Unit)装置960、およびメッセージ画像投影装置990を有している。
半導体装置100、外部メモリ950、およびECU装置960は、自動車1の所定の位置に搭載されている。これらの詳細については後述する。メッセージ画像投影装置990は、予め設定されたメッセージ画像を自動車1の左右方向に投影するための装置である。メッセージ画像投影装置990は、自動車1の前方右側と前方左側とにそれぞれ設けられている。
次に、図2を参照しながら、メッセージ画像投影システム10における各ハードウェアの機能および接続関係について説明する。図2は、実施の形態1に係るメッセージ画像投影システムのハードウェア構成図である。
半導体装置100は、メッセージ画像投影システム10の各構成に接続し、これらを適宜制御する機能を有している。半導体装置100は、内部の構成として、制御回路110、内部メモリ120、画像処理回路130、バス信号IF150、および画像信号出力IF160を有しており、これらはバス170を介して互いに通信が可能となるように接続されている。
制御回路110は、CPUを含む演算装置であり、所定のプログラムを実行するとともに、半導体装置100が有する各構成に対して種々の指示を送る。
内部メモリ120は、所定のデータを記憶する記憶装置である。内部メモリ120は、SSD(Solid State Drive)やフラッシュメモリのような不揮発性のメモリ若しくはDRAM(Dynamic Random Access Memory)、SRAM(Static Random Access Memory)のような揮発性メモリ又はこれらの組合せにより構成されている。
画像処理回路130は、バス170を介して受け取った画像の信号に対して予め設定された処理を施すとともに、処理を施した信号を出力する機能を有している。画像処理回路130の機能の詳細については後述する。
バス信号IF150は、半導体装置100が半導体装置100の外部の装置と種々の信号についてバス170を介して送受信するためのインタフェースである。より具体的には、バス信号IF150は、外部メモリ950から所定のメッセージ画像信号を受け取り、受け取った画像信号を、バス170を介して画像処理回路130に供給する。また、バス信号IF150は、ECU装置から自動車1の運行に関するデータを受け取り、受け取ったデータを、バス170を介して内部メモリ120又は画像処理回路130などに送信する。また、バス信号IF150は、制御回路110や画像処理回路130から所定の信号を受け取り、受け取った信号を、外部メモリ950又はECU装置960に供給する。
画像信号出力IF160は、半導体装置100の外部の装置へ画像信号を供給するインタフェースである。画像信号出力IF160は、メッセージ画像投影装置990に接続している。画像信号出力IF160は、画像処理回路130から画像信号を受け取り、受け取った画像信号を、適宜メッセージ画像投影装置990に供給する。
外部メモリ950は、半導体装置100のバス信号IF150と接続し、半導体装置100と種々の信号について送受信を行う記憶装置である。外部メモリ950は、例えば、フラッシュメモリ、SSD、又はHDD(Hard Disc Drive)などの不揮発性記憶装置である。外部メモリ950は、所定のメッセージ画像信号を予め記憶している。外部メモリ950は、半導体装置100から要求信号を受け取り、受け取った要求信号に応じて、予め記憶しておいたメッセージ画像信号を半導体装置100に供給する。
ECU装置960は、自動車1の移動速度、ステアリングの操舵角、GPS(Global Positioning System)からの自車位置情報等、自動車の運行に関わる種々の情報を管理又は制御する装置である。ECU装置960は、自動車1の内部において、車載イーサネット(登録商標)、CAN(Controller Area Network)、又はLIN(Local Interconnect Network)などの車内通信バスにより通信可能に接続されている。ECU装置960は、半導体装置100のバス信号IF150に対して、自動車1の移動に関する情報である移動情報を供給する。移動情報には、自動車1の移動速度、操舵角、およびこれらの情報を取得した時刻が含まれる。また、移動情報は、GPSからの位置情報が含まれていてもよい。
メッセージ画像投影装置990は、所定のメッセージ画像を投影するための投影装置である。メッセージ画像投影装置990は、投影するための光を照射する光源、投影するメッセージ画像を生成する表示装置、および発射された画像を所望の位置に投影するためのレンズ等により構成される。メッセージ画像投影装置990は、半導体装置100の画像信号出力IF160に接続している。メッセージ画像投影装置990は、画像信号出力IF160からメッセージ画像信号を受け取り、受け取ったメッセージ画像信号に対応したメッセージ画像を投影する。
図3〜図5を参照しながら、メッセージ画像投影装置990について更に説明する。図3は、実施の形態1に係るメッセージ画像投影装置の投影可能領域を示した自動車1の上面図である。図4は、実施の形態1に係るメッセージ画像投影装置の投影可能領域を示した自動車1の正面図である。図3および図4に示すように、自動車1の前方側面にそれぞれ設けられたメッセージ画像投影装置990は、自動車1の側方にそれぞれ投影可能領域B10を有している。図3に示すように、投影可能領域B10は、路面に対して投影された場合、自動車1に近い方の辺が短く、自動車1に遠い方の辺が長い台形を呈している。これは、メッセージ画像投影装置990から投影された矩形の光が予め設定された角度に拡散しながら投影されているためである。これによりメッセージ画像投影装置990から投影される光は光源から遠いほど拡がる。換言すると、メッセージ画像投影装置990により投影される光は、投影する前は矩形であったものが、路面に投影されると、予め設定された形状の台形に歪むように構成されている。したがって、メッセージ画像投影システム10により所望の形状を投影するに際して、メッセージ画像の形状は、台形に歪むことを前提として処理される。
図5は、自動車1がメッセージ画像投影システム10を用いて路面にメッセージ画像を投影しながら進行している状態を示す図である。図5に示すように、自動車1は、時刻t1において、道路を左折しようとしており、進行予定の路面にメッセージ画像C10を投影している。メッセージ画像C10は、路上を通行する人間H1に注意を促すための画像である。メッセージ画像C10は、メッセージ画像投影装置990の投影可能領域B10の範囲であり、更に、メッセージ領域B11の範囲内に投影されている。このように、メッセージ画像投影システム10は、路上にメッセージ画像を投影し、歩行者等にメッセージを通知する機能を有している。
次に、図6を参照しながら、メッセージ画像投影システム10の機能および信号の流れについて更に説明する。図6は、実施の形態1に係るメッセージ画像投影システムの機能ブロック図である。
制御回路110は、出力時刻決定回路111を有している。出力時刻決定回路111は、メッセージ画像信号を出力する時刻を決定する。メッセージ画像信号を出力する時刻は予め設定された期間に基づいている。例えば、本実施例の場合、半導体装置100は、60ヘルツの周期により(16.6ミリ秒の期間ごとに)メッセージ画像信号を出力する。したがって、出力時刻決定回路111は、60ヘルツの周期によりメッセージ画像信号を出力するように、出力時刻を順次決定する。また、出力時刻決定回路111は、決定した時刻の情報を遅延期間算出回路134に供給する。
内部メモリ120は、変換関数記憶領域121を有している。変換関数記憶領域121には、後述する画像信号の変換を行うための変換関数が格納されている。変換関数は、変換関数記憶領域121に予め記憶されているものであってもよいし、システムが起動した後に、外部メモリ950から読み込んだものであってもよい。変換関数は、制御回路110からの指示に応じて、画像処理回路130に供給される。
画像処理回路130は、メッセージ画像信号取得回路131、移動情報取得回路132、第1領域決定回路133、遅延期間算出回路134、第2領域決定回路135、領域判定回路136、画像変換回路137、およびメッセージ画像出力回路138を有している。以下に、画像処理回路130が有する各機能ブロックについて説明する。
メッセージ画像信号取得回路131は、外部メモリ950のメッセージ画像記憶領域951から所定のメッセージ画像の信号であるメッセージ画像信号を受け取る。そして、メッセージ画像信号取得回路131は、受け取ったメッセージ画像信号を、第1領域決定回路133に供給する。
移動情報取得回路132は、ECU装置960から自動車1の移動情報を受け取る。また、移動情報取得回路132は、受け取った移動情報を第1領域決定回路133と第2領域決定回路135とにそれぞれ供給する。
第1領域決定回路133は、メッセージ画像信号取得回路131から受け取ったメッセージ画像信号と、移動情報取得回路132から受け取った移動情報とに基づいて、メッセージ画像を投影する予定時刻と、予定時刻における投影領域である第1領域とを決定する。第1領域決定回路133は、決定した予定時刻および第1領域に関する情報を、遅延期間算出回路134と、第2領域決定回路135とにそれぞれ供給する。
遅延期間算出回路134は、遅延期間を算出する。遅延期間とは、第1領域にメッセージ画像を投影する場合の予定時刻(第1時刻)から、実際にメッセージ画像を投影する時刻(第2時刻)までの期間である。遅延期間について図7および図8を参照しながら更に説明する。
図7は、メッセージ画像信号の出力タイミングと遅延期間の例を示す図である。図7は、横軸に時刻t0から時刻t2までの時間を表示している。時刻t0、時刻t1、および時刻t2は、半導体装置100がメッセージ画像信号を出力する時刻を示している。半導体装置100がメッセージ画像信号を出力する周期(又は期間)は、予め設定されており、半導体装置100は、予め設定された周期(又は期間)に、メッセージ画像信号を出力する。すなわち、時刻t0から時刻t1までの期間は期間p0であり、同様に時刻t1からt2までの期間は期間p0である。具体例と共に説明すると、半導体装置100がメッセージ画像信号を出力するための予め設定された周期(又は期間)は、60ヘルツ(16.6ミリ秒)である。
図7に示す時刻tv0は、第1領域にメッセージ画像を投影する場合の予定時刻である。すなわち、時刻tv0は、上述の第1時刻に相当する。時刻tv0は、第1領域決定回路133が決定した第1領域と、自動車1の移動情報により決定される。ところで、時刻tv0は、半導体装置100がメッセージ画像信号を出力する時刻と一致していない。そのため、半導体装置100は、次にメッセージ画像信号を出力する時刻t1に、メッセージ画像信号を出力する。よって、半導体装置100が時刻t1にメッセージ画像信号を出力する場合、時刻メッセージ画像信号は、時刻tv0から時刻t1までの期間遅れて出力されることになる。すなわちこの場合、時刻t1は、上述の第2時刻に相当し、時刻tv0から時刻t1までの期間p1は、上述の遅延期間に相当する。
図6に戻り説明を続ける。遅延期間算出回路134は、上述した遅延期間を算出するために、第1領域決定回路から第1領域にメッセージ画像を投影する予定時刻の情報を受け取る。また、遅延期間算出回路134は、制御回路110の出力時刻決定回路111から、メッセージ画像信号を出力する時刻の情報を受け取る。遅延期間算出回路134は、受け取ったこれらの情報に基づいて、遅延期間を算出し、算出した遅延期間の情報を第2領域決定回路135に供給する。
第2領域決定回路135は、移動情報取得回路132から移動情報を、第1領域決定回路133から予定時刻および第1領域に関する情報を、そして、遅延期間算出回路134から遅延期間の情報を、それぞれ受け取る。第2領域決定回路135は、受け取ったこれらの情報に基づいて第1領域を調整して第2領域を決定する。
図8を参照しながら第2領域決定回路135の機能について更に説明する。図8は、第1時刻と第2時刻とにおける自動車1の位置と投影領域との関係を示した図である。図8には、理解を容易にするためのXY座標系が示されている。X軸は、図の左右方向に設定され、X軸プラス方向は右方向である。Y軸は、図の上下方向に設定され、Y軸プラス方向は上方向である。
図8において、時刻tv0(第1時刻)における自動車1の位置は、実線矩形により位置A0として示されている。同様に、時刻tv0における予め設定された投影可能領域は、実線台形の領域B100であり、領域B100に含まれるメッセージ画像は実線矩形の領域B110である。また、時刻t1(第2時刻)における自動車1の位置は、破線矩形により位置A1として示されている。時刻t1における予め設定された投影可能領域は、破線台形の領域B101であり、領域B101に含まれるメッセージ画像は破線矩形の領域B111である。また、図8に示す矢印ARは自動車1の進行方向を示している。
図8に示すように、時刻tv0において自動車1が位置A0からメッセージ画像を投影した場合、メッセージ画像は、領域B110に投影される。しかし、実際には自動車1は、時刻t1に、位置A1から領域B111にメッセージ画像を投影する。自動車1は、時刻tv0から時刻t1の間に、移動情報に含まれる方向および速度により矢印ARの向き(X軸マイナス方向且つY軸プラス方向)に進行する。そのため、メッセージ画像は、時刻t1にX軸方向にΔXおよびY軸方向にΔYずれて投影されることとなる。そこで、第2領域決定回路135は、遅延期間と、自動車1の移動情報とに基づいて、第1領域を調整する。
続いて図9を参照しながら第2領域決定回路135が第1領域を調整する処理について説明する。図9は、第2領域決定回路135が行う処理を説明するための図である。図9の上段には、時刻tv0(第1時刻)における投影領域および時刻t1(第2時刻)における投影領域を重畳して示している。第2領域決定回路135は、時刻t1に表示するメッセージ画像が、時刻tv0に表示する場合の位置になるように、投影領域内のメッセージ画像の位置を調整する。図9の下段は、第2領域決定回路135が決定した第2領域を示している。図9の下段に示すように、時刻t1における投影可能領域は領域B101である。そして、第2領域決定回路135は、時刻t1において時刻tv0において投影する予定であった領域B110にメッセージ画像の位置を決定する。このように、第2領域決定回路135は、遅延期間に基づいて、実際の投影時刻における投影領域を算出し、算出した投影領域において、予定されていた領域にメッセージ画像を投影するように、画像信号を調整する。
図6に戻り説明を続ける。第2領域決定回路135は、上述のように決定した第2領域に関する情報を、領域判定回路136に供給する。領域判定回路136は、第2領域決定回路135から第2領域に関する情報を受け取り、受け取った第2領域に関する情報から、第2領域が投影領域に含まれているか否かを判定する。そして、領域判定回路136は、第2領域が投影領域に含まれない場合に、メッセージ画像信号を出力する処理を停止する機能を有する。また、領域判定回路136は、第2領域が投影領域に含まれる場合に、第2領域決定回路135から受け取った第2領域に関する情報を、画像変換回路137に供給する。
画像変換回路137は、領域判定回路136から第2領域に関する情報を受け取り、受け取った情報に基づいて、画像信号を変換する。また画像変換回路137は、画像信号を変換する際に、変換関数記憶領域121に格納している変換関数を利用する。
図10を参照しながら画像変換回路137の処理を具体的に説明する。図10は、実施の形態1に係る半導体装置が行う画像信号変換処理を説明するための図である。図10の上段には、予め設定された領域B101と、領域B101における第2領域である領域B110が示されている。図10の上段に示す画像は、図9の下段に示した画像と同じものである。図10の下段に示す画像は、画像変換回路137が変換したメッセージ画像である。図10の下段に示す領域B101´は、メッセージ画像投影システム10が有するメッセージ画像投影装置990が出射する画像である。図10の上段に示す領域B101と図10の下段に示す領域B101´とを比較すると、B101が台形であるのに対して、B101´は矩形である。また、B101´は、B101に比べるとX軸方向が圧縮されている。
画像変換回路137は、図10の上段に示す台形の投影可能領域を、図10の下段に示す矩形の領域B101´に変換する。これに伴い、領域B101内に位置するメッセージ画像を含む領域B110は、図10の下段に示すように、X軸マイナス側に短辺を有する台形形状を有する領域B110´に台形変換される。すなわち、画像変換回路137は、投影領域内の位置に応じて画像の歪み度合を決定する変換関数を用いて画像信号を変換する。
図6に戻り説明を続ける。画像変換回路137は、上述したように、画像信号の変換処理を行い、変換したメッセージ画像の画像信号を、メッセージ画像出力回路138に供給する。メッセージ画像出力回路138は、画像変換回路137から変換処理されたメッセージ画像信号を受け取ると、受け取ったメッセージ画像信号を、出力時刻決定回路111が決定した時刻に基づいて、メッセージ画像投影装置990に出力する。
次に、図11を参照しながら、メッセージ画像投影システム10が行う処理について説明する。図11は、実施の形態1に係るメッセージ画像投影システム10の処理を示すフローチャートである。図11は、メッセージ画像投影システム10の半導体装置100が行う処理を示している。
まず、半導体装置100は、外部メモリ950のメッセージ画像記憶領域951から所定のメッセージ画像を受け取る(ステップS10)。次に、半導体装置100は、自動車1の移動情報に基づいて、第1領域を決定する(ステップS11)。次に、半導体装置100は、自動車1の移動情報と、第1領域に関する情報に基づいて、遅延期間を算出する(ステップS12)。次に、半導体装置100は、自動車1の移動情報と、第1領域に関する情報と、遅延期間に関する情報に基づいて、第2領域を決定する(ステップS13)。
次に、半導体装置100は、第2領域が投影領域内か否かを判定する(ステップS14)。第2領域が投影領域内であると判定する場合(ステップS14:Yes)、半導体装置100は、画像信号変換処理行う(ステップS15)。次に、半導体装置100は、画像変換回路137から受け取ったメッセージ画像信号を出力する(ステップS16)。半導体装置100は、メッセージ画像信号を出力すると、ステップS11に戻り、再び第1領域を決定する処理を行う。
ステップS14において、第2領域が投影領域内であると判定しない場合(ステップS14:No)、半導体装置100は、処理を終了する。
以上、実施の形態1に係るメッセージ画像投影システム10について説明した。なお、上述した第1領域は、投影領域内になくてもよく、第2領域において投影領域に位置していればよい。そのため、第1領域決定回路133は、第1領域を決定する際に、第2領域決定回路135において用いられる投影領域よりも広いものを採用してもよい。このようにすることにより、半導体装置100は、投影領域内を効率よく利用することができる。
また、メッセージ画像投影装置990は、固定されたものでなく、配光可能であってもよい。メッセージ画像投影装置990が配光可能である場合、メッセージ画像投影システム10は、より広範囲にメッセージ画像を投影することができる。なお、メッセージ画像投影装置990が配光可能である場合、変換関数記憶領域121に格納されている変換関数は、配光の状態を含むものであってもよい。
メッセージ画像投影システム10は、自動車1の周囲を撮像するカメラを有していてもよい。その場合、移動情報は、カメラが取得した画像情報を含むものであってもよい。同様に、メッセージ画像投影システム10は、自動車1の周囲の物体の距離を測定する測域センサを有していてもよい。その場合、移動情報は、測域センサが取得した物体の距離情報を含むものであってもよい。
出力時刻決定回路111が画像処理回路130に提供する時刻に関する情報には、メッセージ画像出力回路がメッセージ画像信号を出力する時刻に加えて、メッセージ画像投影装置990がメッセージ画像を出射するまでの処理期間が含まれていてもよい。また、出力時刻決定回路111が画像処理回路130に提供する時刻に関する情報は、予め設定されたものを更にユーザが調整できるものであってもよい。このような構成にすることにより、実際のシステムの状態に応じてより正確に位置ずれを抑制することができる。
出力時刻決定回路111が画像処理回路130に提供する時刻に関する情報は、可変フレームレートに対応するものであってもよい。すなわち、メッセージ画像投影装置990が出射するメッセージ画像の投影周期が可変する機能を有している場合に、出力時刻決定回路111は、このような機能に応じて、出力時刻を決定するものであってもよい。
以上の構成により、メッセージ画像投影システム10は、自動車が移動中であっても所望の位置にメッセージ画像を投影し、且つ、自動車の移動に伴いメッセージ画像にずれが生じることを抑えることができる。したがって、歩行者等にとって見やすいメッセージ画像を投影することができる。すなわち、本実施の形態によれば、移動体が投影するメッセージ画像が所望の位置から変動するのを抑制する半導体装置等を提供することができる。なお、上述したメッセージ画像投影システム10において、メッセージ画像投影装置990は自動車1の前方右側と前方左側とにそれぞれ設けられていたが、これに限られない。すなわち、メッセージ画像投影装置990は、自動車1の任意の位置に設けられていればよい。
<実施の形態2>
次に、実施の形態2について説明する。実施の形態2に係るメッセージ画像投影システムは、予め設定された参照画像を投影し、投影した参照画像を撮像し、撮像することにより生成した画像信号を利用することにより、メッセージ画像信号の輝度を調整する点において、実施の形態1と異なる。
なお、参照画像とは、メッセージ画像の信号であるメッセージ画像信号を調整するための参照とされる信号を含む画像である。参照画像は、例えば、所定の領域に投射される白色光である。メッセージ画像投影システム20は、このような参照画像を投影し、投影された領域をカメラ970により撮像する。
図12を参照しながら、メッセージ画像投影システム20の概略および参照画像について説明する。図12は、実施の形態2に係るメッセージ画像投影システム20の概略を示す図である。自動車1は、メッセージ画像投影システム20を搭載している。メッセージ画像投影システム20は、カメラ970を有している点において、実施の形態1に係るメッセージ画像投影システム10と異なる。カメラ970は、自動車1の周囲を撮像することができる。図12において、メッセージ画像投影装置990は、領域B11に参照画像を投影している。カメラ970は、路面に投影された参照画像を撮像する。
図13は、実施の形態2に係るメッセージ画像投影システムのハードウェア構成図である。メッセージ画像投影システム20は、主な構成として、半導体装置200、外部メモリ950、ECU装置960、カメラ970、およびメッセージ画像投影装置990を有している。
半導体装置200は、カメラ970から画像信号を受け取る点において、実施の形態1に係る半導体装置100と異なる。また、半導体装置200は、構成として、制御回路110、バス信号IF150、画像信号出力IF160、内部メモリ220、画像処理回路230、および画像信号入力IF240を有しており、これらはバス170により通信可能に接続されている。制御回路110、バス信号IF150、および画像信号出力IF160は、実施の形態1と同じである。したがって、ここでの説明は省略する。内部メモリ220および画像処理回路230の詳細については、後述する。
画像信号入力IF240は、半導体装置200の外部から画像信号を受け取るインタフェースである。画像信号入力IF240は、カメラ970に接続しており、カメラ970が生成した画像信号を受け取る。画像信号入力IF240は、受け取った画像信号を、バス170を介して画像処理回路230に供給する。
カメラ970は、半導体装置200の指示を受け取り、受け取った指示に応じて撮像を行う。カメラ970は、撮像することにより生成した画像信号を半導体装置200の画像信号入力IF240に供給する。
次に、図14を参照しながら、実施の形態2に係るメッセージ画像投影システム20の機能について説明する。図14は、実施の形態2に係るメッセージ画像投影システムの機能ブロック図である。半導体装置200は、半導体装置100の内部メモリ120に代えて内部メモリ220を有している。また、半導体装置200は、半導体装置100の画像処理回路130に代えて画像処理回路230を有している。
内部メモリ220は、参照画像記憶領域221を有している。参照画像記憶領域221には、参照画像信号が格納されている。参照画像信号は、参照画像記憶領域221に予め記憶されているものであってもよいし、システムが起動した後に、外部メモリ950から読み込んだものであってもよい。参照画像信号は、制御回路110からの指示に応じて、画像処理回路230に供給される。
画像処理回路230は、調整信号生成回路231を有する点において、画像処理回路130と異なる。調整信号生成回路231は、メッセージ画像を投影する面に応じて、メッセージ画像信号を調整する機能を有している。調整信号生成回路231は、参照画像信号出力回路232、テスト画像信号取得回路233、比較回路234、および画像調整回路235を有している。
参照画像信号出力回路232は、画像変換回路137から変換されたメッセージ画像信号を受け取る。また、参照画像信号出力回路232は、内部メモリ220の参照画像記憶領域221から参照画像信号を受け取る。そして、参照画像信号出力回路232は、メッセージ画像を投影する領域に対して参照画像を投影するために、参照画像信号をメッセージ画像投影装置990に出力する。ここでは、参照画像信号は、メッセージ画像信号の輝度値を白色に変換したものである。より具体的には、参照画像信号は、メッセージ画像信号に含まれる画素値が8ビット(1から256までの256階調)により設定されている場合、各色の輝度値を256に変換する。
テスト画像信号取得回路233は、参照画像が投影された投影領域を撮像した画像の信号であるテスト画像信号を取得する機能を担う。すなわち、メッセージ画像投影装置990が参照画像を投影するのに応じて、カメラ970が、参照画像を含む画像を撮像する。カメラ970は、撮像した画像の信号であるテスト画像信号を、テスト画像信号取得回路233に供給する。テスト画像信号取得回路233は、カメラ970からテスト画像信号を受け取ると、受け取ったテスト画像信号を比較回路234に供給する。
比較回路234は、参照画像信号とテスト画像信号とを比較する機能を担う。すなわち、比較回路234は、内部メモリ220の参照画像記憶領域221から参照画像信号を受け取るとともに、テスト画像信号取得回路233からテスト画像信号を受け取る。ここで、比較回路234は、参照画像信号の各色の輝度値と、テスト画像信号の各色の輝度値とを比較する。
比較する輝度値は、各画像に含まれる所定の領域内の輝度値の平均値であってもよいし、中央値であってもよい。また、比較回路234は、テスト画像信号のアスペクト比と、参照画像信号のアスペクト比とを対応させ、画素ごとに比較してもよい。比較回路234は、比較結果として調整信号を画像調整回路235に供給する。
画像調整回路235は、画像変換回路137から変換されたメッセージ画像信号を受け取るとともに、比較回路234から調整信号を受け取る。そして、画像調整回路235は、受け取った調整信号に基づいて、メッセージ画像信号を調整する処理を行う。画像調整回路235は、メッセージ画像信号を調整すると、調整したメッセージ画像信号をメッセージ画像出力回路138に供給する。
次に、半導体装置200が行うメッセージ画像信号の調整の一例について説明する。本実施の形態において、半導体装置200は、路面の反射率に基づいて、メッセージ画像の色を調整する。まず、図15を参照しながら、参照画像信号と、テスト画像信号の輝度値の比較について説明する。図15は、参照画像信号とテスト画像信号の輝度値の比較を説明するための図である。図15の上側は、走行しながら参照画像C10を投影する自動車1の側面を示している。自動車1は、参照画像投影装置980から路面に参照画像C10を投影している。そして、カメラ970は、投影された参照画像C10を撮像する。
図15の下側には、表C980および表C970を示している。表C980は、参照画像信号の輝度値である。表C980は、横軸に赤色(R信号)、緑色(G信号)、および青色(B信号)を示し、縦軸に輝度値を示している。すなわち、参照画像記憶領域221に格納されている参照画像信号は、R信号、G信号、およびB信号の全てが256である白色の信号である。メッセージ画像投影装置990は、白色の参照画像C10を投影する。
表C970は、テスト画像信号の輝度値である。カメラ970は、参照画像を撮像し、撮像した画像からテスト画像信号を取得する。テスト画像信号に含まれる各色の輝度値は、R信号の輝度値が128、G信号の輝度値が128、そしてB信号の輝度値が256である。図に示すように、参照画像信号と同じではない。つまり、路面に投影した参照画像は、路面が有する反射率の影響を受ける。テスト画像信号は、路面が有する反射率により、各色の輝度値が決定される。図15の例を各色ごとに観察すると、R信号は、参照画像の輝度値が256であったが、テスト画像信号では128に低下している。すなわち、路面が有するR信号の反射率は50パーセント(128/256)である。同様に、路面が有するG信号の反射率も50パーセントであり、B信号の反射率は100パーセントである。このように、半導体装置100は、参照画像信号とテスト画像信号との輝度値の差を算出し、算出した輝度値の差から、路面の反射率を算出する。
次に、図16を参照しながら、メッセージ画像信号の調節方法について説明する。図16は、メッセージ画像信号の輝度値を調整する原理を説明するための図である。図16の上側には、走行中である自動車1のメッセージ画像投影装置990が、メッセージ画像を投影している状態を示している。図9の下側には、走行中の自動車1が行う画像処理の例として、表C951、表C991、表C971、および表C972を示している。表C951は、メッセージ画像記憶領域951に格納されているメッセージ画像の各色の輝度値である。ここでは、理解を容易にするため、メッセージ画像を単色とし、メッセージ画像は、R信号が51、G信号が204、そしてB信号が204という色を有しているとする。したがって、メッセージ画像の色は、緑色と青色が強く、人間の肉眼には、青緑色に見えることを期待する。
表C971は、輝度値の調整を行わないでメッセージ画像を路面に投影した場合に、カメラ970が撮像するメッセージ画像の輝度値を示している。C951に示したメッセージ画像の各色の輝度値は、図15に示した反射率を有する路面に投影した後に、カメラ970が撮像すると、表C971の輝度値となる。具体的には、R信号の輝度値は51の50パーセントである26パーセントになり、G信号の輝度値は204の50パーセントである102になり、そしてB信号の輝度値は204の100パーセントである204になる。つまり、路面に投影したメッセージ画像の色は緑色が弱くなり、人間の肉眼には青色が強く見える。このように、画像信号の輝度値の調整を行わない場合、メッセージ画像信号の色は、路面に投影することにより、路面が有する反射率の影響を受ける。そのため、メッセージ画像信号の色は、路面の状況により変化する可能性がある。
次に、表C991および表C972について説明する。表C991は、画像調整回路235がメッセージ画像の輝度値を調整した後の各色の輝度値を示している。画像調整回路235は、路面の反射率に基づいて、メッセージ画像の輝度値を調整する。ここでは、画像調整回路235が、路面の反射率の変化を抑える調整を行う例について説明する。画像調整回路235は、路面の反射率(50パーセント)の逆数(1/0.5=2)を、メッセージ画像の各色の輝度値に乗じる(R:51×2=102、G:204×2=408、B:204×1=204)。そして、乗じた値を、最大が256になるように正規化する(R:102÷408×256≒64、G:408÷408×256=256、B:204÷408×256≒128)。このような処理をした結果、メッセージ画像の各色の輝度値は、R信号が64、G信号が256、そしてB信号が128となる。メッセージ画像投影装置990は、画像調整回路235が調整したメッセージ画像信号を路面に投影する。
表C972は、画像調整回路235が調整したメッセージ画像信号を路面に投影し、投影したメッセージ画像をカメラ970が撮像した場合の輝度値を示している。表C972に示すように、C991に示したメッセージ画像の輝度値はR信号が64の50パーセントである32に変化し、G信号が256の50パーセントである128に変化し、そして、B信号が128の100パーセントである128となっている。このように、C972に示すメッセージ画像は、C972に示すメッセージ画像と比べるとトーンが暗い方へ変化しているものの、緑色と青色が強く、人間の肉眼には青緑色に見える。
以上のように、実施の形態1に係る半導体装置200は、メッセージ画像の輝度値を調整し、メッセージ画像を見る者にとって視認性が低下することを抑制する処理を行うことができる。なお、本実施の形態において、半導体装置200は、メッセージ画像信号の色を調整する例を示した。しかし、本実施の形態において、調整するのはメッセージ画像信号のコントラストであってもよい。この場合、半導体装置200は、メッセージ画像信号の輝度のダイナミックレンジの低下を抑制するような調整を行う。また、半導体装置200は、画像全体のトーンを調整してもよい。すなわち、半導体装置200は、メッセージ画像信号に対してガンマ補正を行ってもよい。また、半導体装置200は、メッセージ画像の彩度を調整してもよい。
また、半導体装置200は、画像の調整信号を、路面の典型的なパタンごとに予め記憶しておき、予め記憶しておいた調整信号によりメッセージ画像を調整してもよい。すなわち、メッセージ画像投影システム20は、外部メモリ又は内部メモリに、数パタンの典型的な調整信号を予め格納しておく。典型的な調整信号とは、例えば、コンクリート、アスファルト、又は石畳、雪上、晴天、雨天等の路面状況による反射率を予め鑑みて生成された調整信号である。そして、半導体装置100は、テスト画像信号と参照画像信号の比較により、走行中の路面の反射率が、予め記憶された典型的な調整信号のいずれか近いパタンを選択する。そして、半導体装置100は、選択したパタンの調整信号を利用してメッセージ画像を調整する。このような構成により、メッセージ画像投影システム20は、より簡易的に、速い処理速度で視認性の低下を抑制する処理を行うことができる。
また、半導体装置200は、投影するメッセージ画像の輝度が急激に変化することを抑制する処理を加えてもよい。例えば、半導体装置200は、直前に投影したメッセージ画像信号の平均輝度値Ave(t20)を算出するとともに、これから投影するメッセージ画像信号の平均輝度値Ave(t21)を算出し、これらの値の加重平均を算出し、算出した加重平均に基づいて、輝度値のゲインGを設定する。
ここで、Wは1以下の正の実数である。また、半導体装置200は、加重平均に代えて、移動平均により輝度の調整を行ってもよい。このような処理を行うことにより、メッセージ画像投影システム20は、メッセージ画像を見る者にとって視認性が低下することを抑制するメッセージ画像を投影するとともに、急激な輝度値の変化を抑えることができる。
次に、図17および図18を参照しながら、実施の形態2に係るメッセージ画像投影システム20の処理について説明する。図17は、実施の形態2に係る調整信号生成回路231が行う処理を示すフローチャートである。調整信号生成回路231は、画像変換回路137から変換されたメッセージ画像信号を取得する(ステップS201)。次に、調整信号生成回路231は、参照領域を決定する(ステップS202)。参照領域は、メッセージ画像を投影する領域と一致している。次に、調整信号生成回路231は、参照画像信号を生成し、生成した参照画像信号をメッセージ画像投影装置990に出力する(ステップS203)。次に、調整信号生成回路231は、カメラ970からテスト画像信号を取得する(ステップS204)。次に、調整信号生成回路231は、参照画像信号とテスト画像信号との輝度値を比較する(ステップS205)。次に、調整信号生成回路231は、参照画像信号とテスト画像信号との輝度値を比較した結果生成された調整信号を出力し、画像調整回路235に供給する(ステップS206)。調整信号生成回路231は、上述のステップS201〜ステップS206の処理を行う。なお、上述のステップS201〜ステップS206の処理を、調整信号生成処理(ステップS20)と称する。
次に、図18について説明する。図18は、実施の形態2に係るメッセージ画像投影システム20の処理を示すフローチャートである。図18は、メッセージ画像投影システム20の半導体装置200が行う処理を示している。図18は、調整信号生成処理(ステップS20)および輝度値を調整する処理が含まれる点において、図11において説明した実施の形態1に係る処理と異なる。ステップS10からステップS15までの処理は、実施の形態1と同じである。以下に、実施の形態1に係る処理と異なる点について説明する。
半導体装置200は、メッセージ画像の変換処理(ステップS15)の後に、調整信号を取得済みか否かを判定する(ステップS21)。調整信号を取得済みであると判定しない場合(ステップS21:No)、半導体装置200は、調整信号生成処理を行う(ステップS20)。ステップS20の処理については、図17を参照しながら説明したとおりである。半導体装置200は、調整信号生成処理を行うと、ステップS11に戻り、再び第1領域を決定する処理(ステップS11)を行う。
一方、調整信号を取得済みであると判定する場合(ステップS21:Yes)、半導体装置200は、取得した調整信号に基づいて、メッセージ画像の輝度値の調整を行う(ステップS22)。次に、半導体装置200は、輝度値の調整を行ったメッセージ画像信号をメッセージ画像投影装置990に出力する(ステップS16)。半導体装置200は、メッセージ画像信号を出力すると、ステップS11に戻り、再び第1領域を決定する処理を行う。
<実施の形態2の変形例>
次に、実施の形態2の変形例について説明する。本例示は、比較回路234および画像調整回路235の機能が実施の形態2と異なる。図19は、実施の形態2の変形例によるメッセージ画像の調整方法を説明するための図である。図19は、位置P1に投影された参照画像C10を示している。
本例示において、参照画像C10を投影した路面は、左右で反射率が異なっている。このような場合には、参照画像の反射率を一様であると設定してメッセージ画像信号の調整を行うと、部分的に見えにくいエリアが発生したり、メッセージ画像が正しく認識されない虞がある。そこで、本例示における半導体装置200における比較回路234は、参照画像の画角とテスト画像の画角とを対応させて、画素ごとに参照画像信号とテスト画像信号とを比較する機能を有している。また、本例示における半導体装置200における画像調整回路235は、テスト画像の画角とメッセージ画像の画角とを対応させて、メッセージ画像信号の画素ごとにメッセージ画像信号を調整する機能を有している。
以下に図19を参照しながら、本例示について具体的に説明する。本例示における比較回路234は、まず、投影された参照画像を撮像したテスト画像C12の画像信号を取得する。次に、比較回路234は、テスト画像C12を台形変換処理する。これにより、テスト画像C12の画角は、参照画像C10の画角と同じになるように処理される。画像C13は、テスト画像C12の画角を台形変換により処理したものである。次に、比較回路234は、参照画像C10と画像C13とを、画素ごとに比較する。例えば図19に示すように、比較回路234は、X方向のn番目、Y方向のm番目の画素である画素Pについて、輝度値を比較する。このようにして、比較回路234は、全ての画素の輝度値を画素ごとに比較する。
次に、画像調整回路235は、比較回路234が行った比較の結果に基づいて、メッセージ画像を調整する。メッセージ画像C14は、比較回路234が行った比較の結果に基づいて調整されたものである。図19に示すように、調整されたメッセージ画像C14は、路面の反射率に応じて、輝度の調整を画素ごとに行う。したがって、本例示によれば、路面によって受ける画像の劣化をより細かく抑えることができる。
上述の構成により、実施の形態2に係るメッセージ画像投影システム20は、投影面によって受ける影響による画像の劣化を抑えつつ、移動体が投影するメッセージ画像が所望の位置から変動するのを抑制する半導体装置等を提供することができる
<実施の形態3>
次に、実施の形態3について説明する。実施の形態3に係るメッセージ画像投影システムは、移動中である2台の自動車の内、一方がメッセージの発信者となり、他方がメッセージの受信者となる。そして、発信者は、受信者のためにメッセージ画像を投影する。そして、メッセージ画像投影システムは、投影するメッセージ画像が受信者にとって相対的な位置が安定し、且つ、視認性の低下を抑制する機能を有している。
図20を参照しながら、実施の形態3に係るメッセージ画像投影システム30のシステム概略について説明する。図20は、実施の形態3に係るメッセージ画像投影システム30のシステム概略を説明するための図である。図20に示す自動車1および自動車2は、メッセージ画像投影システム30をそれぞれ搭載している。メッセージ画像投影システム30は、参照画像投影装置980を有する点において、実施の形態2に係るメッセージ画像投影システム20と異なる。また、メッセージ画像投影システム30は、通信装置940を有する点において、実施の形態2に係るメッセージ画像投影システム20と異なる。通信装置940を搭載することにより、自動車1と自動車2とは互いに通信可能である。なお、実施の形態3において、メッセージ画像投影装置990は、自動車1の前側に設けられており、実施の形態1および実施の形態2に比べて、より前方を投影可能に設定されている。
参照画像投影装置980は、所定の参照画像を投影するための投影装置である。参照画像投影装置980は、投影するための光を照射する光源、投影する参照画像を生成する表示装置、および発射された画像を所望の位置に投影するためのレンズ等により構成される。なお、参照画像信号が単色の場合、参照画像投影装置980は、表示装置は不要となる。この場合、参照画像投影装置980は、指向性の高い光を所望の位置に投影するものであってもよい。また、参照画像投影装置980は、投影する参照画像の投影領域を制御するために、参照画像の投影領域を変更するための可動部を有していてもよい。
図21は、実施の形態3に係るメッセージ画像投影システムのハードウェア構成図である。実施の形態3に係るメッセージ画像投影システム30は、半導体装置200に代えて半導体装置300を有し、更に通信装置940を有する点において、実施の形態2と主に異なる。
半導体装置300は、通信IF340を有している点において、実施の形態2における半導体装置200と異なっている。通信IF340は、半導体装置300においてバス170に接続し、半導体装置300の外部の通信装置940に接続するインタフェースである。半導体装置300は、通信IF340を介して通信装置940と信号の送受信を行う。また、半導体装置300は、画像処理回路230に代えて、画像処理回路330を有している。画像処理回路330について、後述する。
通信装置940は、電波、赤外線、又は光等を利用して無線通信を行う通信装置である。通信装置940は、直接又は間接に、周囲の通信装置と通信を行う。通信装置940は、半導体装置300に接続している。
参照画像投影装置980は、半導体装置100の画像信号出力IF160に接続している。参照画像投影装置980は、画像信号出力IF160から参照画像信号を受け取り、受け取った参照画像信号に対応した参照画像を投影する。
次に、図22を参照しながら、実施の形態3に係るメッセージ画像投影システム30の機能について説明する。図22は、実施の形態3に係るメッセージ画像投影システム30の機能ブロック図である。メッセージ画像投影システム30が有する半導体装置300は、画像処理回路230に代えて画像処理回路330を有する。画像処理回路330は、移動情報取得回路132に代えて、位置推定回路335を有している。また、画像処理回路330は、調整信号送受信回路331を有している。調整信号送受信回路331は、調整信号出力回路332、許可判定回路333、および調整信号取得回路334を有している。
位置推定回路335は、自車の移動情報に加えて、受信者の移動情報を取得する点において、実施の形態2に係る移動情報取得回路132と異なる。すなわち、位置推定回路335は、発信者である自車と、受信者との相対的な位置関係の変化に基づいて、移動情報を生成する。受信者の位置の変化に関する情報は、測域センサ(不図示)により取得可能である。位置推定回路335は、生成した移動情報を、第1領域決定回路133と第2領域決定回路135とにそれぞれ供給する。
調整信号出力回路332は、比較回路234から比較の結果に関する情報を受け取り、受け取った情報を、通信装置940に供給する機能を担う。これにより、メッセージ画像投影システム30は、カメラ970から受け取ったテスト画像信号と、参照画像信号との比較の結果を、他者に送信する。
許可判定回路333は、通信装置940を介して、他者から接続の許可があったか否かを判定する機能を担う。許可判定回路333は、判定結果に関する信号を、調整信号取得回路334に供給する。調整信号取得回路334は、通信装置940を介して、他者からメッセージ画像信号に対する調整信号を受け取る。調整信号取得回路334は、受け取った調整信号を、画像調整回路235に供給する。
次に、図23および図24を参照しながら、具体例を説明する。図23は、実施の形態3に係るメッセージ画像投影システムの具体例を説明するための図である。図23は、時刻t30における自動車1および自動車2を示している。時刻t30において、自動車1は位置A10に位置し、自動車2は位置A20に位置している。また、自動車1は、時刻t31にメッセージ画像を投影する予定である。時刻t31に自動車1は位置A11に位置すると推定されている。また、時刻t31に自動車2は位置A21に位置すると推定されている。
自動車1は、位置A10に位置し、発信者として、自動車2に対してメッセージ画像を表示することを試みている。そのため、自動車1の参照画像投影装置980は、位置P2に参照画像C20を投影する。位置P2と自動車2との相対的な位置は、時刻t31において、X軸方向にX20、Y軸方向に距離Y20である。また、自動車2は、位置A20に位置し、受信者として、自動車1が表示しようとするメッセージ画像を観察する。すなわち、自動車2は、時刻t30において、カメラ970により、位置P2の参照画像C20を撮像する。自動車2は、位置P2を撮像したテスト画像信号に基づいて、調整信号を生成する。そして、自動車2は、生成した調整信号を自動車1に送信する。
次に、図24を参照しながら、具体例を更に説明する。図24は、実施の形態3に係るメッセージ画像投影システムの具体例を説明するための図である。図24は、時刻t31における自動車1および自動車2を示している。時刻t31において、自動車1は位置A11に位置し、自動車2は位置A21に位置している。また、自動車1は、位置P2にメッセージ画像C21を投影している。
時刻t31において、自動車1は、位置P2にメッセージ画像C21を投影するとともに、位置P3に参照画像C20を投影する。自動車2は、位置P3の参照画像C20を撮像する。自動車2は、位置P3を撮像したテスト画像信号に基づいて、調整信号を生成する。そして、自動車2は、生成した調整信号を自動車1に送信する。
このように、自動車1が参照画像を投影するとともに自動車2が参照画像を撮像する。そして、自動車2がテスト画像信号に基づいて調整信号を生成し、生成した調整信号を自動車1に送信する。自動車1は、受信した調整信号に基づいて、輝度値を調整したメッセージ画像を投影する。自動車1が投影するメッセージ画像は、自動車2との相対的な位置関係が一定になるように設定されている。
上述した動作を繰り返すことにより、メッセージ画像は、自動車2に搭乗している運転者等にとって安定した位置に表示され、且つ、画像の劣化が抑制されたものとなっている。
次に、メッセージ画像投影システム30の処理について説明する。図25は、実施の形態3に係るメッセージ画像投影システムの発信側の処理を示すフローチャートである。図25に示すフローチャートは、本実施の形態における発信側の半導体装置300の処理を示している。
半導体装置300は、メッセージ画像記憶領域951からメッセージ画像を取得する(ステップS310)。次に、半導体装置300は、メッセージ画像の受信者に接続を行う(ステップS311)。半導体装置300は、受信者から接続の許可を受けたか否かを判定する(ステップS312)。受信者から接続の許可を受けたと判定しなかった場合(ステップS312:No)、半導体装置300は、ユーザに対して接続許可を受けなかったことを通知して、処理を終了する。
一方、受信者からの接続許可を受けたと判定した場合(ステップS312:Yes)、半導体装置300は、自車位置および受信者の位置の推定を行う(ステップS313)。そして、半導体装置300は、推定した位置に基づいて、参照画像を投射する領域である参照領域を決定する(ステップS314)。次に、半導体装置300は、決定した参照領域に対して参照画像を投影するために、参照画像投影装置980に対して参照画像信号を出力する(ステップS315)。参照画像信号を受け取った参照画像投影装置980は、決定された参照領域に参照画像を投影する。図23に示した例の場合、自動車1は、参照画像C20を参照領域である位置P2に投影している。
次に、半導体装置300は、参照画像信号を投影した後、受信者から調整信号を取得したか否かを判定する(ステップS316)。予め設定された時間内に受信者から調整信号を取得しなかった場合、半導体装置300は、調整信号を取得したと判定しない(ステップS316:No)。この場合、半導体装置300は、メッセージ画像信号を調整することができない。そのため、半導体装置300は、輝度値の調整を行わずに、次のステップ(接続部A)へ進む。
一方、調整信号を取得した場合、半導体装置300は、調整信号と取得したと判定する(ステップS316:Yes)。この場合、半導体装置300は、受信者から取得した調整信号に基づいて、メッセージ画像信号の輝度値を調整する(ステップS317)。そして、半導体装置300は、調整されたメッセージ画像信号を出力するために、次のステップ(接続部A)へ進む。
続いて、図26を参照しながら接続部A以降の処理について説明する。図26は、実施の形態3に係るメッセージ画像投影システムの発信側の処理を示すフローチャートである。半導体装置300は、自動車1の移動情報に基づいて、第1領域を決定する(ステップS320)。
次に、半導体装置300は、自動車1の移動情報と、第1領域に関する情報に基づいて、遅延期間を算出する(ステップS321)。次に、半導体装置300は、自動車1の移動情報と、第1領域に関する情報と、遅延期間に関する情報に基づいて、第2領域を決定する(ステップS322)。
次に、半導体装置300は、第2領域が投影領域内か否かを判定する(ステップS323)。第2領域が投影領域内であると判定する場合(ステップS323:Yes)、半導体装置300は、画像信号変換処理行う(ステップS324)。次に、半導体装置300は、画像変換回路137から受け取ったメッセージ画像信号を出力する(ステップS325)。半導体装置300は、メッセージ画像信号を出力すると、処理を終了する。一方、ステップS323において、第2領域が投影領域内であると判定しない場合(ステップS323:No)、半導体装置300は、処理を終了する。
次に、図27を参照しながら、受信側の処理について説明する。図27は、実施の形態3に係るメッセージ画像投影システムの受信側の処理を示すフローチャートである。
まず、半導体装置300は、発信者からの接続申請を受け付ける(ステップS330)。接続申請の信号には、発信者が投影しようとしている領域に関する信号が含まれている。次に、半導体装置300は、接続を許可するか否かを判定する(ステップS331)。既に他の者と通信中であるなどの理由により、接続を許可できない場合、半導体装置300は、接続許可を判定しない(ステップS331:No)。この場合、半導体装置300は、申請を受け付けた相手に対して、接続不許可の通知を送信し(ステップS337)、一連の処理を終了させる。
一方、接続許可すると判定した場合(ステップS331:Yes)、半導体装置300は、投影領域が重複しているか否かを判定する(ステップS332)。例えば、図24において、自動車1が位置P2にメッセージ画像C21を投影している。このような場合に、更に別の者が位置P2に重なる領域にメッセージ画像を投影することは許可できない。したがって、接続を申請している相手が投影しようとしている領域が、他者のメッセージ画像投影領域と重複していると判定する場合(ステップS332:Yes)、半導体装置300は、申請を受け付けた相手に対して、接続不許可の通知を送信し(ステップS337)、一連の処理を終了させる。
一方、他者のメッセージ画像投影領域と重複していると判定しない場合(ステップS332:No)、半導体装置300は、許可信号を出力する(ステップS333)。そして、受信者は、受信者が有するカメラ970により発信者が投影した参照画像を撮像する。半導体装置300は、カメラ970が生成したテスト画像信号を取得する(ステップS334)。次に、半導体装置300は、参照画像記憶領域221から参照画像信号を受け取り、受け取った参照画像信号の輝度値と、取得したテスト画像信号の輝度値とを比較する(ステップS335)。次に、半導体装置300は、比較の結果に基づいて調整信号を生成し、生成した調整信号を通信装置940に出力する(ステップS336)。そして、半導体装置300は、一連の処理を終了させる。
図24は、半導体装置300を有する自動車2が図27に示す一連の処理を終了させた後に、自動車1からメッセージ画像が投影された状態である。このような処理を行うことにより、メッセージ画像投影システム30は、受信者にとって邪魔にならず、かつ視認性が低下することを抑制したメッセージ画像を、受信者にとって安定した位置に投影することができる。
<実施の形態3の変形例>
実施の形態3に係るメッセージ画像投影システム30は、受信者が自動車でなく、例えばロボット930であってもよい。図28は、実施の形態3の変形例を示す図である。ロボット930は、カメラおよび通信装置を有し、自動車1が投影する画像C30を撮像する。このような構成により、メッセージ画像投影システム30は、ロボット930にとって視認性が低下することを抑制したメッセージ画像を、ロボット930にとって安定した位置に投影することができる。更に、このロボット930を介して街並み等のような風景を監視または疑似体験しているユーザに対しても、視認性が低下することを抑制したメッセージ画像を投影することができる。なお、ロボット930は移動可能であってもよいし、移動しないものであってもよい。
以上、本発明者によってなされた発明を実施の形態に基づき具体的に説明したが、本発明は既に述べた実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において種々の変更が可能であることはいうまでもない。例えば、実施の形態では自動車を例として説明したが、移動面に沿って移動する移動体であれば、自転車、バイク、ロボット、ホバークラフト等であってもよい。
上記実施の形態の一部又は全部は、以下の付記のようにも記載され得るが、以下には限られない。
プログラム。
(付記1)
移動体の周囲に投影するメッセージ画像の信号であるメッセージ画像信号を出力する半導体装置であって、
予め設定された変換関数を記憶するメモリと、
前記移動体の移動情報に基づいて、前記メッセージ画像を投影する第1領域を決定し、
前記第1領域に前記メッセージ画像を投影する場合の第1時刻から前記メッセージ画像を投影可能な第2時刻までの期間である遅延期間を算出し、
前記遅延期間に基づいて前記第1領域を調整して第2領域を決定し、
前記第2領域に応じて前記メッセージ画像信号を変換し、
変換した前記メッセージ画像信号を出力するプロセッサと、
前記メッセージ画像信号を出力するためのインタフェースと、
を備える半導体装置
(付記2)
半導体装置と、
前記移動体に搭載され、前記半導体装置が出力した前記メッセージ画像を投影する投影装置と、
を備える投影システムであって、
前記半導体装置は、
移動体の周囲に投影するメッセージ画像の信号であるメッセージ画像信号を出力する半導体装置であって、
前記移動体の移動情報に基づいて、前記メッセージ画像を投影する予定の時刻である第1時刻および前記メッセージ画像を投影する領域である第1領域をそれぞれ決定する第1領域決定部と、
前記第1領域に前記メッセージ画像を投影する場合の第1時刻から前記メッセージ画像を投影可能な第2時刻までの期間である遅延期間を算出する遅延期間算出部と、
前記遅延期間に基づいて前記第1領域を調整して第2領域を決定する第2領域決定部と、
前記第2領域に応じて前記メッセージ画像信号を変換する画像信号変換部と、
変換した前記メッセージ画像信号を出力するメッセージ画像出力部とを備える半導体装置である
投影システム。
1、2 自動車
10、20、30 メッセージ画像投影システム
100、200、300 半導体装置
110 制御回路
111 出力時刻決定回路
120、220 内部メモリ
130、230、330 画像処理回路
131 メッセージ画像信号取得回路
132 移動情報取得回路
133 第1領域決定回路
134 遅延期間算出回路
135 第2領域決定回路
136 領域判定回路
137 画像変換回路
138 メッセージ画像出力回路
150 バス信号IF
160 画像信号出力IF
221 参照画像記憶領域
231 調整信号生成回路
232 参照画像信号出力回路
233 テスト画像信号取得回路
234 比較回路
235 画像調整回路
240 画像信号入力IF
331 調整信号送受信回路
332 調整信号出力回路
333 許可判定回路
334 調整信号取得回路
335 位置推定回路
340 通信IF
940 通信装置
950 外部メモリ
960 ECU装置
970 カメラ
980 参照画像投影装置
990 メッセージ画像投影装置

Claims (20)

  1. 移動体の周囲に投影するメッセージ画像の信号であるメッセージ画像信号を出力する半導体装置であって、
    前記移動体の移動情報に基づいて、前記メッセージ画像を投影する予定の時刻である第1時刻に前記メッセージ画像を投影する領域である第1領域を決定する第1領域決定部と、
    前記第1領域に前記メッセージ画像を投影する場合の第1時刻から前記メッセージ画像を投影可能な第2時刻までの期間である遅延期間を算出する遅延期間算出部と、
    前記移動情報と前記遅延期間とに基づいて前記第1領域を調整して第2領域を決定する第2領域決定部と、
    前記第2領域に応じて前記メッセージ画像信号を変換する画像信号変換部と、
    変換した前記メッセージ画像信号を出力するメッセージ画像出力部と
    を備える半導体装置。
  2. 前記第1領域決定部は、前記移動体の移動速度および操舵角を含む前記移動情報に基づいて、前記第1領域を決定する、
    請求項1に記載の半導体装置。
  3. 前記第1領域決定部は、前記移動体の周囲を撮像した画像の画像信号を含む前記移動情報に基づいて、前記第1領域を決定する、
    請求項1に記載の半導体装置。
  4. メッセージ画像信号を出力する時刻である信号出力時刻を決定する出力時刻決定部を更に有し、
    前記メッセージ画像出力部は、前記信号出力時刻に応じて前記メッセージ画像信号を出力する、
    請求項1に記載の半導体装置。
  5. 前記遅延期間算出部は、前記信号出力時刻に基づいて前記第2時刻を設定する
    請求項4に記載の半導体装置。
  6. 前記遅延期間算出部は、前記信号出力時刻に予め設定された付加期間を加えて前記第2時刻を決定する
    請求項5に記載の半導体装置。
  7. 前記第1領域決定部は、前記メッセージ画像を投影可能な領域である投影可能領域を超える範囲に前記第1領域を決定する
    請求項1に記載の半導体装置。
  8. 前記半導体装置は、領域判定部を更に備え、
    前記領域判定部は、前記第2領域が投影可能領域に含まれない場合に、前記メッセージ画像信号を出力する処理を停止する、
    請求項1に記載の半導体装置。
  9. 前記画像信号変換部は、投影領域に応じて画像の歪み度合を決定する変換関数を有する
    請求項1に記載の半導体装置。
  10. 前記画像信号変換部は、画像を台形変換する変換関数を有する
    請求項9に記載の半導体装置。
  11. 前記メッセージ画像を投影する領域である投影領域に対応した参照画像の信号である参照画像信号を出力する参照画像信号出力部と、
    前記参照画像が投影された前記投影領域を撮像したテスト画像の信号であるテスト画像信号を取得するテスト画像信号取得部と、
    前記参照画像信号と前記テスト画像信号とを比較する比較部と、
    前記比較の結果に基づいて前記メッセージ画像信号を調整する画像調整部と、を更に備え、
    前記メッセージ画像出力部は、前記画像信号変換部により変換され、且つ、前記画像調整部によって調整された前記メッセージ画像信号を出力する、
    請求項1に記載の半導体装置。
  12. 参照画像信号出力部は、前記画像信号変換部により変換された参照画像信号を出力する、
    請求項11に記載の半導体装置。
  13. 前記画像調整部は、前記メッセージ画像信号に含まれる画素値を調整する
    請求項11に記載の半導体装置。
  14. 前記参照画像信号出力部は、赤色、緑色、青色の輝度値が互いに等しい前記参照画像信号を出力する
    請求項11に記載の半導体装置。
  15. 前記半導体装置は、前記移動体の周囲に位置する標的から、前記移動体が投影した参照画像に対応する調整信号を取得する調整信号取得部を更に備え、
    前記画像調整部は、前記標的から取得した前記調整信号に基づいて、メッセージ画像を調整する
    請求項11に記載の半導体装置。
  16. 前記標的が前記参照画像の投影を許可しているか否かを判定する許可判定部を更に備える、
    請求項15に記載の半導体装置。
  17. 前記半導体装置は、位置推定部を更に備え、
    前記位置推定部は、前記移動体の移動情報と、前記標的の移動情報とに基づいて、前記メッセージ画像を投影する予定時刻における前記移動体と前記標的との相対的な位置である推定位置を算出し、
    前記第1領域決定部は、前記推定位置に基づいて、前記第1領域を決定する、
    請求項15に記載の半導体装置。
  18. 前記半導体装置は、調整信号出力部を更に備え、
    前記テスト画像信号取得部は、前記移動体の周囲を移動する投影装置が投影したサンプル画像を撮像した画像の信号であるサンプル画像信号を取得し、
    前記比較部は、前記参照画像信号と前記サンプル画像信号とを比較し、
    前記調整信号出力部は、前記参照画像信号と前記サンプル画像信号とを比較した結果に基づいて前記サンプル画像信号を調整するための調整信号を出力する
    請求項11に記載の半導体装置。
  19. 移動体の周囲に投影するメッセージ画像の信号であるメッセージ画像信号を出力するメッセージ画像信号出力方法であって、
    前記移動体の移動情報に基づいて、前記メッセージ画像を投影する予定の時刻である第1時刻および前記メッセージ画像を投影する領域である第1領域をそれぞれ決定するステップと、
    前記第1領域に前記メッセージ画像を投影する場合の第1時刻から前記メッセージ画像を投影可能な第2時刻までの期間である遅延期間を算出するステップと、
    前記移動情報と前記遅延期間とに基づいて前記第1領域を調整して第2領域を決定するステップと、
    前記第2領域に応じて前記メッセージ画像信号を変換するステップと、
    変換した前記メッセージ画像信号を出力するステップと
    を備えるメッセージ画像信号出力方法。
  20. 請求項19に記載の方法を、コンピュータに実行させるプログラム。
JP2018118025A 2018-06-21 2018-06-21 半導体装置、メッセージ画像出力方法、およびプログラム Pending JP2019220009A (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2018118025A JP2019220009A (ja) 2018-06-21 2018-06-21 半導体装置、メッセージ画像出力方法、およびプログラム
CN201910481341.8A CN110636271B (zh) 2018-06-21 2019-06-04 半导体器件和消息图像输出方法
US16/435,067 US10766405B2 (en) 2018-06-21 2019-06-07 Semiconductor device and message image output method
EP19180564.7A EP3588189B1 (en) 2018-06-21 2019-06-17 Semiconductor device and message image output method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018118025A JP2019220009A (ja) 2018-06-21 2018-06-21 半導体装置、メッセージ画像出力方法、およびプログラム

Publications (1)

Publication Number Publication Date
JP2019220009A true JP2019220009A (ja) 2019-12-26

Family

ID=66912709

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018118025A Pending JP2019220009A (ja) 2018-06-21 2018-06-21 半導体装置、メッセージ画像出力方法、およびプログラム

Country Status (4)

Country Link
US (1) US10766405B2 (ja)
EP (1) EP3588189B1 (ja)
JP (1) JP2019220009A (ja)
CN (1) CN110636271B (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024029374A1 (ja) * 2022-08-05 2024-02-08 ソニーグループ株式会社 情報処理装置、情報処理方法、および路面投影システム

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7298069B2 (ja) * 2018-09-28 2023-06-27 株式会社小糸製作所 車両用前照灯
US11794641B2 (en) * 2021-05-26 2023-10-24 International Electronic Machines Corp. System and method for roadway user safety

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006127055A (ja) * 2004-10-27 2006-05-18 Denso Corp 車両用情報提示装置
CN101889299B (zh) * 2007-12-05 2013-02-06 博世株式会社 车辆信息显示系统
TW201217201A (en) * 2010-10-29 2012-05-01 Univ Nat Taiwan Science Tech Real-time warning system on vehicle windshield and performing method thereof
JP6181931B2 (ja) * 2013-01-28 2017-08-16 キヤノン株式会社 投影装置、制御方法、プログラム、及び投影システム
GB2517790A (en) * 2013-09-03 2015-03-04 Jaguar Land Rover Ltd Vehicle with system for imaging
RU2647688C2 (ru) * 2013-09-27 2018-03-16 Ниссан Мотор Ко., Лтд. Система представления информации
CN204077796U (zh) * 2014-06-12 2015-01-07 夏争先 一种车辆转弯提示器
CN104015801A (zh) * 2014-06-17 2014-09-03 无锡市崇安区科技创业服务中心 一种车辆转弯角度辅助提示装置
JP6768521B2 (ja) 2015-01-13 2020-10-14 マクセル株式会社 映像投射装置
CN106297098B (zh) * 2015-06-24 2019-05-17 奥迪股份公司 操作机动车辆的警告装置的方法
JP6717856B2 (ja) * 2016-02-05 2020-07-08 マクセル株式会社 ヘッドアップディスプレイ装置
CN106125305A (zh) * 2016-06-28 2016-11-16 科世达(上海)管理有限公司 一种抬头显示系统、车辆控制系统及车辆
AT518905B1 (de) * 2016-07-29 2018-04-15 Zkw Group Gmbh Projektionseinrichtung für einen Kraftfahrzeugscheinwerfer und Verfahren zu seiner Herstellung
WO2018042898A1 (ja) * 2016-08-29 2018-03-08 マクセル株式会社 ヘッドアップディスプレイ装置
CN109996697B (zh) * 2016-09-16 2022-06-21 富士胶片株式会社 投影型显示装置、显示控制方法、及记录介质
CN107284566A (zh) * 2017-06-19 2017-10-24 李良杰 骑行安全警示器
CN107599958A (zh) * 2017-09-01 2018-01-19 戴姆勒股份公司 用于保障行车安全的车灯投影系统和车灯控制方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024029374A1 (ja) * 2022-08-05 2024-02-08 ソニーグループ株式会社 情報処理装置、情報処理方法、および路面投影システム

Also Published As

Publication number Publication date
EP3588189B1 (en) 2022-03-23
US10766405B2 (en) 2020-09-08
CN110636271B (zh) 2022-09-09
US20190389368A1 (en) 2019-12-26
EP3588189A1 (en) 2020-01-01
CN110636271A (zh) 2019-12-31

Similar Documents

Publication Publication Date Title
US8345095B2 (en) Blind spot image display apparatus and method thereof for vehicle
EP3588189B1 (en) Semiconductor device and message image output method
US9001209B2 (en) Monitoring apparatus
WO2012172922A1 (ja) 車載カメラ装置
US8403500B2 (en) Projector and method of controlling projector
CN107193172B (zh) 投影装置、投影控制方法以及记录介质
KR20160013337A (ko) 차량용 광각카메라의 영상 왜곡 보정 장치 및 방법
EP1718064B1 (en) Image generating apparatus for vehicles and method
WO2013186994A1 (ja) 投射型投影装置、光防眩方法、および光防眩用プログラム
WO2019159683A1 (ja) 運転支援システム及び運転支援方法
CN110626262B (zh) 半导体器件和消息图像信号输出方法
JP4244361B1 (ja) 映像補正装置、映像補正方法、及び映像補正プログラム
JP2006153768A (ja) 位置検出装置及びその補正方法
JPWO2016121406A1 (ja) 画像処理装置、画像処理システム、車両、撮像装置、および画像処理方法
JP6266022B2 (ja) 画像処理装置、警報装置、および画像処理方法
JP2016170052A (ja) 目検出装置及び車両用表示システム
CN111885370A (zh) 评估电子装置的性能的方法
JP2014215855A (ja) 画像生成装置及び画像生成方法
JP2020145612A (ja) 画像処理装置、画像処理システム、画像処理方法、及びプログラム
JP6555204B2 (ja) 車両用映像処理装置及び車両用モニタシステム
JP2024056563A (ja) 表示処理装置、表示処理方法、及び表示処理装置の作動プログラム
JP2023067250A (ja) 制御装置、制御方法、プログラム及び記憶媒体
US20170006232A1 (en) Camera apparatus, and method of generating view finder image signal
JP2013246254A (ja) 画像投影装置、画像投影方法及びプログラム