JP2020101784A - 回路装置、電子機器及び移動体 - Google Patents

回路装置、電子機器及び移動体 Download PDF

Info

Publication number
JP2020101784A
JP2020101784A JP2019117587A JP2019117587A JP2020101784A JP 2020101784 A JP2020101784 A JP 2020101784A JP 2019117587 A JP2019117587 A JP 2019117587A JP 2019117587 A JP2019117587 A JP 2019117587A JP 2020101784 A JP2020101784 A JP 2020101784A
Authority
JP
Japan
Prior art keywords
display
circuit
head
circuit device
glare
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019117587A
Other languages
English (en)
Other versions
JP7263941B2 (ja
Inventor
クマー アナンダバイラバサミー アナンド
Kumar Anandabairavasamy Anand
クマー アナンダバイラバサミー アナンド
ウィットマイアー マンフレッド
Wittmeir Manfred
ウィットマイアー マンフレッド
エリック ジェフリー
Eric Jeffrey
ジェフリー エリック
哲夫 河本
Tetsuo Kawamoto
哲夫 河本
泰俊 秋葉
Yasutoshi Akiba
泰俊 秋葉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Priority to EP19217507.3A priority Critical patent/EP3680121B1/en
Publication of JP2020101784A publication Critical patent/JP2020101784A/ja
Application granted granted Critical
Publication of JP7263941B2 publication Critical patent/JP7263941B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/006Electronic inspection or testing of displays and display drivers, e.g. of LED or LCD displays
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/23Head-up displays [HUD]
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/40Instruments specially adapted for improving the visibility thereof to the user, e.g. fogging prevention or anti-reflection arrangements
    • B60K35/415Glare prevention
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B6/00Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings
    • G02B6/24Coupling light guides
    • G02B6/26Optical coupling means
    • G02B6/28Optical coupling means having data bus means, i.e. plural waveguides interconnected and providing an inherently bidirectional system by mixing and splitting signals
    • G02B6/2804Optical coupling means having data bus means, i.e. plural waveguides interconnected and providing an inherently bidirectional system by mixing and splitting signals forming multipart couplers without wavelength selective elements, e.g. "T" couplers, star couplers
    • G02B6/2848Optical coupling means having data bus means, i.e. plural waveguides interconnected and providing an inherently bidirectional system by mixing and splitting signals forming multipart couplers without wavelength selective elements, e.g. "T" couplers, star couplers having refractive means, e.g. imaging elements between light guides as splitting, branching and/or combining devices, e.g. lenses, holograms
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/56Extraction of image or video features relating to colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/98Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • G06V10/993Evaluation of the quality of the acquired pattern
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20Optical features of instruments
    • B60K2360/23Optical features of instruments using reflectors
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20Optical features of instruments
    • B60K2360/27Optical features of instruments using semi-transparent optical elements
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0118Head-up displays characterised by optical features comprising devices for improving the contrast of the display / brillance control visibility

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Optics & Photonics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Liquid Crystal (AREA)
  • Devices For Indicating Variable Information By Combining Individual Elements (AREA)
  • Arrangements Of Lighting Devices For Vehicle Interiors, Mounting And Supporting Thereof, Circuits Therefore (AREA)
  • Electroluminescent Light Sources (AREA)
  • Liquid Crystal Display Device Control (AREA)
  • Instrument Panels (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Control Of El Displays (AREA)

Abstract

【課題】ヘッドアップディスプレイを透過する背景の視認性低下を抑制できる回路装置等を提供すること。【解決手段】回路装置100は、エラー検出回路110と処理回路120とを含む。エラー検出回路110は、ヘッドアップディスプレイ用画像データIMDに基づいて、ヘッドアップディスプレイの眩しさを示す指標値である眩しさ指標値を求める。エラー検出回路110は、眩しさ指標値が第1しきい値を超えたか否かを判断し、眩しさ指標値が第1しきい値を超えたときに第1眩しさエラーの発生を検出する。処理回路120は、第1眩しさエラーの発生が検出されたとき、第1眩しさエラーに対応した処理を行う。【選択図】図3

Description

本発明は、回路装置、電子機器及び移動体等に関する。
透明な物体に画像を投影することで、ユーザーの視界に情報を重ねて表示するヘッドアップディスプレイ(HUD:Head Up Display)が知られている。このようなヘッドアップディスプレイにおいて表示の明るさを調整する技術が特許文献1に開示されている。特許文献1のヘッドアップディスプレイは、発光素子と液晶表示素子と反射ミラーと制御手段とを含み、発光素子が液晶表示素子に光を出射し、液晶表示素子を透過した光を反射ミラーが反射することで自動車のフロントガラスに画像を投影し、発光素子を駆動する電流を制御手段が制御することで表示の明るさを制御する。
特開2008−83429号公報
ヘッドアップディスプレイはユーザーの視界に情報を重ねるものであるため、通常は、ヘッドアップディスプレイの背景を視認できる程度の画像がヘッドアップディスプレイに表示される。ヘッドアップディスプレイの表示領域において背景を遮る画素の割合が大きくなると、もしくは、輝度が一定量を超えると、ユーザーがヘッドアップディスプレイの背景を視認しにくくなるおそれがある。
本発明の一態様は、ヘッドアップディスプレイ用画像データに基づいて、ヘッドアップディスプレイの眩しさを示す指標値である眩しさ指標値を求め、前記眩しさ指標値が第1しきい値を超えたか否かを判断し、前記眩しさ指標値が前記第1しきい値を超えたときに第1眩しさエラーの発生を検出するエラー検出回路と、前記第1眩しさエラーの発生が検出されたとき、前記第1眩しさエラーに対応した処理を行う処理回路と、を含む回路装置に関係する。
ヘッドアップディスプレイの表示例。 ヘッドアップディスプレイの表示例。 回路装置の構成例。 ヘッドアップディスプレイに表示される画像データを処理するシステムの第1構成例。 ヘッドアップディスプレイに表示される画像データを処理するシステムの第2構成例。 回路装置が画像処理装置及び表示コントローラーの機能を有する場合の回路装置の詳細構成例。 眩しさエラー検出処理、及び眩しさエラーに対応した処理の手順を示すフローチャート。 回路装置が表示ドライバーの機能を有する場合の回路装置の詳細構成例。 表示パネルが液晶表示パネルである場合におけるヘッドアップディスプレイの詳細構成例。 表示パネルがDLP方式の反射型デバイスである場合におけるヘッドアップディスプレイの詳細構成例。 表示パネルが透明有機ELパネルである場合におけるヘッドアップディスプレイの詳細構成例。 フロントガラスに画像を投影する場合におけるヘッドアップディスプレイの詳細構成例。 電子機器の構成例。 移動体の例。
以下、本開示の好適な実施の形態について詳細に説明する。なお以下に説明する本実施形態は特許請求の範囲に記載された内容を不当に限定するものではなく、本実施形態で説明される構成の全てが必須構成要件であるとは限らない。
1.回路装置
図1は、ヘッドアップディスプレイの表示例である。以下、ヘッドアップディスプレイが、自動車、飛行機又は船舶などの移動体に設置され、その移動体に搭乗したユーザーに情報を提示する場合を例に説明する。なお、ヘッドアップディスプレイの用途は移動体に限定されず、ユーザーの視界に情報を重ねて提示するものであればよい。
図1に示すように、ユーザーからは移動体外部の景色、又は移動体内の操縦席などが見える。以下、これを背景と呼ぶ。ヘッドアップディスプレイの画面10は背景内に設けられ、その画面10内において情報提示部分以外は背景を透過する。図1の例では、メーター表示が情報提示部分であり、そのメーター部分以外は背景を透過する。これにより、ユーザーは背景と共に、ヘッドアップディスプレイに表示された情報を見ることができる。
ヘッドアップディスプレイの画面10を透過する背景をユーザーが視認できるように、通常、画面10において情報提示部分が占める割合は低い。一方、図2に示すように、ヘッドアップディスプレイの画面10において背景を遮る領域の割合が大きい場合、その画面10部分の背景をユーザーが視認できなくなる。或いは、ヘッドアップディスプレイの画面10が背景に対して明るすぎる状態となり、背景の視認性を低下させるおそれがある。例えば、画素値が0〜255の範囲であり、画素値0の画素が背景を透過するとする。このとき、画素値が0から大きくなるに従って、その画素を通して背景が見えにくくなっていく。このような背景を遮る画素の割合がある程度高くなってくると、上記のように背景の視認性が低下する。
このような状態は、画像データの異常によって発生する。画像データの異常としては、例えば、誤った画像データがヘッドアップディスプレイに入力された場合、或いは、回路異常などによって画像処理に異常が発生した場合を想定できる。
図3は、本実施形態における回路装置100の構成例である。回路装置100は、ヘッドアップディスプレイに表示される画像データを処理する経路に配置された回路装置である。具体的には、回路装置100は、ヘッドアップディスプレイに画像データを出力する装置内、又はヘッドアップディスプレイ内に設けられる。後述するように、回路装置100として表示コントローラー又は表示ドライバー等を想定できる。
回路装置100は、エラー検出回路110と処理回路120とを含む。エラー検出回路110は、ヘッドアップディスプレイ用画像データIMDに基づいて、ヘッドアップディスプレイの眩しさを示す指標値である眩しさ指標値を求める。エラー検出回路110は、眩しさ指標値が第1しきい値を超えたか否かを判断し、眩しさ指標値が第1しきい値を超えたときに第1眩しさエラーの発生を検出する。処理回路120は、第1眩しさエラーの発生が検出されたとき、第1眩しさエラーに対応した処理を行う。
ヘッドアップディスプレイ用画像データIMDは、回路装置100に入力された画像データ、又は、回路装置100内において画像処理された画像データ、又は回路装置100が外部に出力する画像データである。ヘッドアップディスプレイ用画像データIMDは、回路装置100の後段における画像処理等を経て、最終的にヘッドアップディスプレイに表示される。
眩しさ指標値は、上記のようにヘッドアップディスプレイの眩しさを示す指標値である。具体的には、眩しさ指標値は、ヘッドアップディスプレイ用画像データIMDがヘッドアップディスプレイに表示されたときに、その画像によって背景の視認性が低下する程度を示す。即ち、図2で説明したように、ヘッドアップディスプレイに表示された画像が背景を遮る場合、或いはヘッドアップディスプレイに表示された画像の眩しさによって背景が見えにくくなる場合があるが、それらの程度を表すのが眩しさ指標値である。
エラー検出回路110は、眩しさ指標値が第1しきい値を超えたか否かを判断し、その判断結果を第1エラー信号SER1として出力する。エラー検出回路110は、眩しさ指標値が第1しきい値を超えたとき、第1エラー信号SER1をアクティブにする。処理回路120は、アクティブの第1エラー信号SER1を受信したとき、第1眩しさエラーに対応した処理を行う。
第1眩しさエラーに対応した処理は、回路装置100の外部にエラーを通知する処理、又は、回路装置100内においてエラーに対処する処理である。
回路装置100の外部にエラーを通知する処理としては、エラーの発生のみを通知して対処方法は外部装置に任せる処理、又は、エラーに対する対処方法を外部装置に通知する処理のいずれであってもよい。通知を受けた外部装置は、画像データの出力を停止する、又は画像データをブランク状態にする、又は画像の輝度を低下させる画像処理を行う等、種々の対応を取ることができる。なお、ブランク状態の画像データとは、その画像データをヘッドアップディスプレイに表示させたとき、ヘッドアップディスプレイの全体が背景を透過する状態となるような画像データのことである。
回路装置100内においてエラーに対処する場合、回路装置100は、画像データの出力を停止する、又は画像データをブランク状態にする、又は画像の輝度を低下させる画像処理を行う等、種々の対応を取ることができる。
本実施形態によれば、ヘッドアップディスプレイ用画像データIMDから眩しさ指標値が求められ、その眩しさ指標値に基づいて第1眩しさエラーの発生が検出される。これにより、ヘッドアップディスプレイに表示される画像が背景の視認性を低下させるか否かを、画像データから検出できる。背景の視認性を低下させる画像データを検出できることで、その検出結果に基づいて、回路装置100又はその外部装置が視認性低下を回避する処理を行うことができる。
また本実施形態では、エラー検出回路110は、眩しさ指標値が第2しきい値を超えたか否かを判断し、眩しさ指標値が第2しきい値を超えたと判断したとき、第2眩しさエラーの発生を検出する。第2しきい値は、第1しきい値より大きい。
具体的には、エラー検出回路110は、眩しさ指標値が第2しきい値を超えたか否かを判断し、その判断結果を第2エラー信号SER2として出力する。エラー検出回路110は、眩しさ指標値が第2しきい値を超えたとき、第2エラー信号SER2をアクティブにする。処理回路120は、アクティブの第2エラー信号SER2を受信したとき、第2眩しさエラーに対応した処理を行う。
このようにすれば、2段階のしきい値を用いて眩しさエラーの発生を検出し、その各段階の眩しさエラーに応じて適切なエラー対応処理を実行できる。本実施形態では第2しきい値が第1しきい値より大きいので、第2眩しさエラーは第1眩しさエラーに比較して視認性の低下度合いが大きい。このため、第2眩しさエラーが検出された場合に、より直接的に視認性を回復できるようなエラー対応処理を処理回路120に実行させることが可能となる。
具体的には、処理回路120は、第1眩しさエラーの発生が検出されたとき、ホストへの通知処理を行う。処理回路120は、第2眩しさエラーの発生が検出されたとき、ヘッドアップディスプレイの表示をオフさせる表示オフ処理を行う。
表示オフ処理は、ホスト等を介さずに回路装置100がヘッドアップディスプレイに対して直接的に実行する処理である。表示オフ処理は、例えばヘッドアップディスプレイの光源をオフすることによって、画像データの内容に関わらずヘッドアップディスプレイに画像が表示されないようにする処理である。なお、表示オフ処理の具体例は後述する。
本実施形態によれば、第1眩しさエラーが検出された場合に、処理回路120がホストにエラーを通知することで、エラー対処をホストに行わせることができる。例えば、ホストはシステムのリセット等によって、ヘッドアップディスプレイの表示を正常化してもよい。即ち、ホストは、表示を出来るだけ維持しつつ、背景の視認性を回復する対処を行ってもよい。一方、第2眩しさエラーが検出された場合、処理回路120が表示オフ処理を行うことで、ヘッドアップディスプレイに画像が表示されなくなる。これにより、ホストを介さずに回路装置100が直接的に背景の視認性を回復する対処を実行できる。以上のように、第1しきい値及び第2しきい値を設けたことで、各段階の眩しさエラーに応じて適切なエラー対応処理を実行できる。通常は、第1眩しさエラーもしくは第2眩しさエラーが1フレームでも発生した場合にエラー処理を行うが、複数フレーム連続してエラーが発生した場合に、エラー処理を実行してもよい。
また本実施形態では、眩しさ指標値は、ヘッドアップディスプレイ用画像データIMDのピクセル値の積算値から求められた輝度値である。眩しさ指標値は、このように1フレームの積算値から求めるが、複数フレームのピクセル値から求めてもよい。
具体的には、エラー検出回路110は、1画面、即ち1表示フレームのヘッドアップディスプレイ用画像データIMDに含まれるピクセル値を積算する。エラー検出回路110は、積算値そのものを輝度値としてもよいし、積算値に何らかの演算を行うことで輝度値に変換してもよい。例えば、エラー検出回路110は、積算値を画素数で割ることで、1画面におけるピクセル値の平均値を求め、その平均値を輝度値としてもよい。ここで1画面、即ち1表示フレームのヘッドアップディスプレイ用画像データIMDは、画面全体の画像データであってもよいし、画面の特定領域の画像データであってもよい。
上述したように、画素のピクセル値は、その画素が背景を遮る程度、又は画素の眩しさの程度を示す。このピクセル値を画面内で積算することで、ヘッドアップディスプレイの画面が背景の視認性を低下させる程度を求めることができる。
具体的には、眩しさ指標値をBとすると、Bは、B=C1×Rsum+C2×Gsum+C3×Bsumである。ここで、Rsumが赤色ピクセル値の積算値であり、Gsumが緑色ピクセル値の積算値であり、Bsumが青色ピクセル値の積算値であり、C1、C2、C3が係数である。係数C1、C2、C3は、RGBのピクセル値をYCrCbの輝度値Yに変換する際の係数であり、画像データに採用される色空間に応じて適切な係数が設定される。但し係数C1、C2、C3はこれに限定されず、0より大きい任意の実数であってよい。また、1ピクセル単位で輝度値Yを計算してから、Yを積算することにより、眩しさ指標値Bを計算しても良い。その場合、Y=C1×Rpx+C2×Gpx+C3×Bpx、B=Ysumとなる。Rpx、Gpx、Bpxは、1ピクセルの赤色ピクセル値、緑色ピクセル値、青色ピクセル値である。Ysumは、輝度値Yの積算値である。
本実施形態によれば、処理回路120は、ピクセル値の積算値であるRsum、Gsum、Bsumに基づいて、輝度値に相当する眩しさ指標値Bを求めることができる。ピクセル値がゼロでない画素数が多いほど、且つ、その画素のピクセル値が大きいほど、眩しさ指標値Bは大きくなる。このため、眩しさ指標値Bは、ヘッドアップディスプレイが背景の視認性を低下させる程度を示す指標となっている。
本実施形態では、第1しきい値は、眩しさ指標値の最大値に対して半分以下である。
図2で説明したように、ヘッドアップディスプレイに表示された画像が背景を遮らないように、ヘッドアップディスプレイの画面内において画像が占める割合は低い。このため、画像データが適切なものであれば、眩しさ指標値Bが最大値の半分以上となることはないと考えられる。本実施形態では、第1しきい値を眩しさ指標値の最大値とすることで、画像データの異常、即ち第1眩しさエラーを検出できる。
なお眩しさ指標値は、ピクセル値の積算値に基づく輝度値に限定されない。例えば、眩しさ指標値は、ヘッドアップディスプレイの画面において背景を遮る部分の面積を表す指標値であってもよい。例えば、眩しさ指標値は、1画面のヘッドアップディスプレイ用画像データIMDに含まれる画素のうち、ピクセル値がしきい値を超える画素の個数であってもよい。
2.詳細構成例
以下、本実施形態の詳細構成例を説明する。まず回路装置100の適用対象について説明する。
図4は、ヘッドアップディスプレイに表示される画像データを処理するシステムの第1構成例である。図4のシステムは、処理装置510と画像処理装置520と表示コントローラー530と表示ドライバー540と表示パネル550とを含む。
処理装置510は、システムを制御するホスト装置である。処理装置510は、SoC(System on Chip)であり、具体的にはマイクロコンピューター、CPU、又はMPU等である。処理装置510は、画像処理装置520に画像データを出力する。
画像処理装置520は、画像データに対する種々の画像処理を行い、処理後の画像データを表示コントローラー530に出力する。画像処理としては、画像の変形処理、スーパーインポーズ処理、階調変換処理、又は色変換処理等を想定できる。ヘッドアップディスプレイは、透明スクリーンに画像を投影することで、又は透明表示パネルに画像を表示させることで、画像をユーザーに提示する。このとき、透明スクリーン又は透明表示パネルの湾曲等に合わせて画像を変形させることで、ユーザーには歪みの無い画像として見える。このような画像の変形処理を画像処理装置520が行う。
表示コントローラー530は、ヘッドアップディスプレイにおける表示のタイミング制御を行う。具体的には、表示コントローラー530は、同期信号等のタイミング制御信号を画像データと共に表示ドライバー540に出力する。
表示ドライバー540は、受信したタイミング制御信号及び画像データに基づいて表示パネル550を駆動することで、表示パネル550に画像を表示させる。表示パネル550は液晶表示パネル、反射型デバイス、又は透明有機ELパネル等である。反射型デバイスとしては、例えばミラーアレイにおいて各ミラーの反射をオンオフさせることで映像表示するDLP(Digital Light Processing)方式、或はMEMSスキャナーによりレーザー光をスキャンすることで映像表示するレーザースキャン方式を採用できる。表示パネル550が液晶表示パネル又は反射型デバイスである場合、その表示画像が透明スクリーンに投影されることで画像がユーザーに提示される。
処理装置510、画像処理装置520、表示コントローラー530、及び表示ドライバー540の各々は、集積回路装置として構成される。或いは、処理装置510、画像処理装置520、表示コントローラー530、及び表示ドライバー540のうち2以上が1つの集積回路装置として構成されてもよい。例えば、表示コントローラー530及び表示ドライバー540の機能が1つの集積回路装置により実現されてもよいし、或いは画像処理装置520及び表示コントローラー530の機能が1つの集積回路装置により実現されてもよい。
図5は、ヘッドアップディスプレイに表示される画像データを処理するシステムの第2構成例である。図5のシステムは、処理装置510と表示コントローラー530と表示ドライバー540と表示パネル550とを含む。
図5では、SoCである処理装置510に画像処理装置520の機能が実装される。即ち、画像処理装置520の機能が記述されたプログラムを処理装置510が実行することで、画像処理装置520の機能が実現される。表示コントローラー530、表示ドライバー540、及び表示パネル550は図4と同様である。
図5において、処理装置510、表示コントローラー530、及び表示ドライバー540の各々は、集積回路装置として構成される。或いは、処理装置510、表示コントローラー530、及び表示ドライバー540のうち2以上が1つの集積回路装置として構成されてもよい。例えば、表示コントローラー530及び表示ドライバー540の機能が1つの集積回路装置により実現されてもよい。
図4及び図5で説明した集積回路装置のいずれも、図3で説明したエラー検出回路110及び処理回路120を含むことが可能である。また集積回路装置のいずれかを回路装置100が有する構成で、画像データを処理するシステムを構成することも可能である。即ち、上記いずれの集積回路装置も本実施形態の適用対象となり得る。
以下、回路装置100の詳細構成例を説明する。図6は、回路装置100が画像処理装置520及び表示コントローラー530の機能を有する場合の回路装置100の詳細構成例である。図6の構成例では、ヘッドアップディスプレイ400は、表示ドライバー540と表示パネル550と光源410とを含む。なお図6では表示パネル550が液晶表示パネルである場合を例に説明するが、ヘッドアップディスプレイの構成は、これに限定されない。
回路装置100は、エラー検出回路110と処理回路120とインターフェース回路130と画像処理回路140とインターフェース回路150とレジスター回路160とタイミング制御回路170と端子TA、TBとを含む。なお、上述した構成要素と同一の構成要素には同一の符号を付し、その構成要素についての説明を適宜に省略する。
インターフェース回路130は、処理装置510と回路装置100の回路間通信を行う。具体的には、処理装置510は回路装置100に画像データを送信し、インターフェース回路130は、その画像データを受信して画像処理回路140に出力する。また処理装置510は、回路装置100の動作を設定する設定情報を送信し、インターフェース回路130は、その設定情報を受信してレジスター回路160に書き込む。またインターフェース回路130は、レジスター回路160に記憶された情報を読み出し、その情報を処理装置510に送信する。例えば、インターフェース回路130は、LVDS(Low Voltage Differential Signaling)方式、RGBパラレル方式又はeDP(embedded Display Port)方式等の画像データインターフェースを含むことができる。またインターフェース回路130は、SPI(Serial Peripheral Interface)方式又はI2C(Inter Integrated Circuit)方式等のシリアル通信インターフェースを含んでもよい。
画像処理回路140は、上述した画像処理装置520の機能を実現する回路である。即ち、画像処理回路140は、ヘッドアップディスプレイのスクリーンに画像を投影するための画像変形処理を行う。また画像処理回路140は、ガンマ補正、FRC(Frame Rate Control)、ホワイトバランス処理、画像回転処理、スーパーインポーズ処理等を行ってもよい。画像処理回路140は、上記画像処理を行うことで、ヘッドアップディスプレイ用画像データIMDを生成し、そのヘッドアップディスプレイ用画像データIMDをインターフェース回路150に出力する。
タイミング制御回路170は、上述した表示コントローラー530の機能を実現する回路である。即ち、タイミング制御回路170は、ヘッドアップディスプレイにおける表示のタイミング制御を行うためのタイミング制御信号を生成し、そのタイミング制御信号をインターフェース回路150に出力する。
インターフェース回路150は、ヘッドアップディスプレイ用画像データIMD及びタイミング制御信号をヘッドアップディスプレイ400の表示ドライバー540に出力する。例えば、インターフェース回路150は、LVDS方式、RGBパラレル方式、mini−LVDS方式、RSDS(Reduced Swing Differential Signaling)方式又はiSP方式等の画像データインターフェースである。表示ドライバー540は、受信した画像データ及びタイミング制御信号に基づいて表示パネル550を駆動することで、画像を表示パネル550に表示させる。光源410は投影用の光を表示パネル550に出射し、表示パネル550を透過した光が透明スクリーンに投影されることで、画像が透明スクリーンに表示される。
エラー検出回路110は、インターフェース回路150に入力されるヘッドアップディスプレイ用画像データIMDに基づいて眩しさ指標値を求め、その眩しさ指標値を処理回路120に出力する。このようにすれば、回路装置100内における画像処理の経路において最もヘッドアップディスプレイ400に近い下流側で眩しさエラーを検出できる。眩しさエラーは画像処理の経路のどこで発生するか分からないため、出来るだけ下流側でエラー検出されることが望ましい。
処理回路120は、眩しさ指標値が第1しきい値を超えたとき、ホストである処理装置510に対して端子TAから割り込み要求信号を出力すると共に、第1眩しさエラーの発生を示す第1エラー情報をレジスター回路160に書き込む。処理装置510は、回路装置100から割り込み要求信号が入力されたとき、インターフェース回路130を介してレジスター回路160から第1エラー情報を読み出す。処理装置510は、第1眩しさエラーの発生を第1エラー情報に基づいて判断し、第1眩しさエラーを解消する処理を行う。
処理回路120は、眩しさ指標値が第2しきい値を超えたとき、光源410のオフを指示する制御信号を、端子TBから光源410に出力する。この処理は、上述した表示オフ処理である。光源410は、回路装置100から入力された制御信号に基づいて、投影用の光をオフする。これにより、ヘッドアップディスプレイ400の表示がオフになる。
なお、エラー検出回路110、処理回路120、画像処理回路140、レジスター回路160、及びタイミング制御回路170は、ロジック回路である。これらのロジック回路は、別個の回路として構成されてもよいし、或いは自動配置配線等により一体化された回路として構成されてもよい。或いは、これらのロジック回路の一部又は全部が、DSP(Digital Signal Processor)等のプロセッサーにより実現されてもよい。この場合、各回路の機能が記述されたプログラムや命令セットがメモリーに記憶され、そのプログラムや命令セットをプロセッサーが実行することで、各回路の機能が実現される。
図7は、眩しさエラー検出処理、及び眩しさエラーに対応した処理の手順を示すフローチャートである。なお図6の構成例を用いて説明するが、図4及び図5で説明した適用対象のいずれにエラー検出を適用した場合であっても、図7の手順を用いることができる。また図7では第1眩しさエラーを例に説明するが、フローチャート中のTB1をTB2に読み替えることで図7の手順を第2眩しさエラーに適用できる。第1眩しさエラーに関する手順と第2眩しさエラーに関する手順は、並列に実行されてもよいし、順次に実行されてもよい。
ステップS1において、エラー検出回路110はレジスター回路160からチェックモードを読み出す。チェックモードは、処理装置510によりレジスター回路160に予め書き込まれる。ステップS2において、エラー検出回路110は、ノーマルチェックモードか否かを判断する。ノーマルチェックモードはしきい値判断を1回だけ行うモードである。なお、レジスター回路160に書き込まれるチェックモードの情報は、しきい値判断を行う回数情報であってもよい。エラー検出回路110は、回数情報に基づいて、ステップS2における分岐を判断する。
ステップS2においてノーマルチェックモードと判断されたとき、ステップS3において、エラー検出回路110は眩しさ指標値Bを求める。ステップS4において、エラー検出回路110は、眩しさ指標値Bが第1しきい値TB1より大きいか否かを判断する。眩しさ指標値Bが第1しきい値TB1より大きくない場合、ステップS1に戻る。眩しさ指標値Bが第1しきい値TB1より大きい場合、処理回路120は、第1眩しさエラーの発生を示す第1エラー情報を、レジスター回路160に書き込む。
ステップS2においてノーマルチェックモードでないと判断されたとき、ステップS6において、エラー検出回路110は眩しさ指標値Bを求める。ステップS7において、エラー検出回路110は、眩しさ指標値Bが第1しきい値TB1より大きいか否かを判断する。
エラー検出回路110は、エラー検出回数をカウントするカウンターを有する。ステップS7において眩しさ指標値Bが第1しきい値TB1より大きい場合、ステップS8において、エラー検出回路110はカウンターのカウント値Cntをインクリメントする。ステップS9において、エラー検出回路110は、カウント値Cntがしきい値TCnt以上であるか否かを判断する。しきい値TCntは、例えば処理装置510により予めレジスター回路160に書き込まれている。カウント値Cntがしきい値TCnt以上でない場合、ステップS1に戻る。カウント値Cntがしきい値TCnt以上である場合、処理回路120はステップS5を実行する。
ステップS7において眩しさ指標値Bが第1しきい値TB1より大きくない場合、ステップS10において、エラー検出回路110はカウント値Cntをクリアする。即ちエラー検出回路110はカウント値Cntをゼロにする。ステップS10の後、ステップS1に戻る。
ステップS5の次に、ステップS11において、処理回路120は割り込み要求設定がイネーブルであるか否かを判断する。割り込み要求設定は、例えば処理装置510により予めレジスター回路160に書き込まれている。割り込み要求設定がイネーブルである場合、ステップS12において、処理回路120は端子TAから処理装置510に割り込み要求信号を出力する。
ステップS12の後、又はステップS11において割り込み要求設定がイネーブルでない場合、ステップS13において、処理回路120は、ブランク処理設定がイネーブルであるか否かを判断する。ブランク処理設定は、例えば処理装置510により予めレジスター回路160に書き込まれている。ブランク処理設定がイネーブルである場合、処理回路120はステップS14においてブランク処理を実行する。ブランク処理は、例えば上述した表示オフ処理、或いは、画像データをブランク状態にする処理である。ブランク状態は、例えば全画素のピクセル値がゼロである状態であり、ヘッドアップディスプレイに何も画像が表示されないことでヘッドアップディスプレイが背景を透過する状態である。表示オフ処理では光源オフ等により表示動作そのものをオフするが、ブランク処理は表示動作をオフしない。ステップS14の後、又はステップS13においてブランク処理設定がイネーブルでない場合、ステップS1に戻る。
図8は、回路装置100が表示ドライバー540の機能を有する場合の回路装置100の詳細構成例である。図8の構成例では、ヘッドアップディスプレイ400は、表示コントローラー530と表示ドライバー540と表示パネル550と光源410とを含む。なお図8では表示パネル550が液晶表示パネルである場合を例に説明するが、ヘッドアップディスプレイの構成は、これに限定されない。
回路装置100は、エラー検出回路110と処理回路120とインターフェース回路135と駆動回路180とレジスター回路190と端子TA、TBとを含む。なお、上述した構成要素と同一の構成要素には同一の符号を付し、その構成要素についての説明を適宜に省略する。
インターフェース回路135は、表示コントローラー530と回路装置100の回路間通信を行う。具体的には、表示コントローラー530は回路装置100に画像データ及びタイミング制御信号を送信し、インターフェース回路135は、その画像データ及びタイミング制御信号を受信して駆動回路180に出力する。図8では、駆動回路180に入力される画像データがヘッドアップディスプレイ用画像データIMDである。また表示コントローラー530は、回路装置100の動作を設定する設定情報を送信し、インターフェース回路135は、その設定情報を受信してレジスター回路190に書き込む。例えば、インターフェース回路130は、LVDS方式、RGBパラレル方式又はeDP方式等の画像データインターフェースを含むことができる。またインターフェース回路130は、SPI方式又はI2C方式等のシリアル通信インターフェースを含んでもよい。
駆動回路180は、ヘッドアップディスプレイ用画像データIMD及びタイミング制御信号に基づいて表示パネル550を駆動する。例えば、駆動回路180は、液晶表示パネルのデータ線を駆動するデータ線ドライバーと、液晶表示パネルの走査線を駆動する走査線ドライバーとを含む。
エラー検出回路110は、駆動回路180に入力されるヘッドアップディスプレイ用画像データIMDに基づいて眩しさ指標値を求め、その眩しさ指標値を処理回路120に出力する。表示ドライバーにおいて眩しさエラーを検出することで、システム内における画像処理の経路において最もヘッドアップディスプレイ400に近い場所で眩しさエラーを検出できる。眩しさエラーは画像処理の経路のどこで発生するか分からないため、出来るだけ下流側でエラー検出されることが望ましい。
処理回路120は、眩しさ指標値が第1しきい値を超えたとき、回路装置100のホストである表示コントローラー530に対して端子TAから割り込み要求信号を出力すると共に、第1眩しさエラーの発生を示す第1エラー情報をレジスター回路190に書き込む。表示コントローラー530は、回路装置100から割り込み要求信号が入力されたとき、インターフェース回路135を介してレジスター回路190から第1エラー情報を読み出す。表示コントローラー530は、第1眩しさエラーの発生を第1エラー情報に基づいて判断し、第1眩しさエラーを解消する処理を行う。なお処理回路120は、眩しさ指標値が第1しきい値を超えたとき、システムのホストである処理装置510に対して端子TAから割り込み要求信号を出力してもよい。
処理回路120は、眩しさ指標値が第2しきい値を超えたとき、光源410のオフを指示する制御信号を、端子TBから光源410に出力する。この処理は、上述した表示オフ処理である。光源410は、回路装置100から入力された制御信号に基づいて、投影用の光をオフする。これにより、ヘッドアップディスプレイ400の表示がオフになる。
なお、エラー検出回路110、処理回路120、及びレジスター回路190は、ロジック回路である。これらのロジック回路は、別個の回路として構成されてもよいし、或いは自動配置配線等により一体化された回路として構成されてもよい。或いは、これらのロジック回路の一部又は全部が、DSP(Digital Signal Processor)等のプロセッサーにより実現されてもよい。この場合、各回路の機能が記述されたプログラムや命令セットがメモリーに記憶され、そのプログラムや命令セットをプロセッサーが実行することで、各回路の機能が実現される。
3.ヘッドアップディスプレイ
ヘッドアップディスプレイの詳細構成例を説明する。
図9は、表示パネル550が液晶表示パネルである場合におけるヘッドアップディスプレイ400の詳細構成例である。図9のヘッドアップディスプレイ400は、光源410と表示ドライバー540とミラー420と透明スクリーン430とを含む。
光源410は、LED又はレーザー等の発光素子と、その発光素子を駆動する駆動回路とを含む。回路装置100の処理回路120から出力される表示オフの制御信号は駆動回路に入力され、駆動回路は、制御信号に基づいて発光素子の駆動を停止することで、光源410の発光がオフになる。
光源410が出射する光は液晶表示パネルを透過し、ミラー420によって透明スクリーン430の方向へ反射される。透明スクリーン430の反射面は例えば凹面になっており、ユーザーから見て投影画像は虚像となる。即ち、ユーザーから見て投影画像は透明スクリーン430よりも遠くに結像しているように見える。これにより背景内に投影画像を表示できる。
図10は、表示パネル550がDLP方式の反射型デバイスである場合におけるヘッドアップディスプレイ400の詳細構成例である。図10のヘッドアップディスプレイ400は、光源410と表示ドライバー540と表示パネル550と透明スクリーン430とを含む。なお、上述したように反射型デバイスはレーザースキャン方式であってもよい。
表示ドライバー540は、表示データとタイミング制御信号に基づいて反射型デバイスを駆動する。反射型デバイスには、微細ミラーがアレイ状に配置されており、表示ドライバー540は、各微細ミラーの傾きを表示データに基づいて制御する。反射型デバイスの各微細ミラーが光源410からの光を反射することで、透明スクリーン430に画像が投影される。
回路装置100の処理回路120は、表示オフ処理において、光源410のオフを指示する制御信号、又は反射型デバイスの駆動オフを指示する制御信号を、ヘッドアップディスプレイ400に出力する。光源410のオフを指示する制御信号は、光源410の駆動回路に入力され、駆動回路は、制御信号に基づいて発光素子の駆動を停止することで、光源410の発光がオフになる。反射型デバイスの駆動オフを指示する制御信号は、表示ドライバー540に入力され、表示ドライバー540は、制御信号に基づいて反射型デバイスの駆動を停止することで、反射型デバイスの表示がオフになる。
図11は、表示パネル550が透明有機ELパネルである場合におけるヘッドアップディスプレイ400の詳細構成例である。図11のヘッドアップディスプレイ400は、表示ドライバー540と表示パネル550とを含む。
表示パネル550である透明有機ELパネルは、フレキシブルに曲げることが可能であり、自動車のフロントガラスFLG等に貼り付けられている。表示ドライバー540は、例えば、有機ELパネルのデータ線を駆動するデータ線ドライバーと、有機ELパネルの走査線を駆動する走査線ドライバーとを含む。
回路装置100の処理回路120は、表示オフ処理において、有機ELパネルの駆動オフを指示する制御信号を、ヘッドアップディスプレイ400に出力する。制御信号は、表示ドライバー540に入力され、表示ドライバー540は、制御信号に基づいて有機ELパネルの駆動を停止することで、有機ELパネルの表示がオフになる。
図12は、フロントガラスFLGに画像を投影する場合におけるヘッドアップディスプレイ400の詳細構成例である。図12のヘッドアップディスプレイ400は、光源410とミラー430と表示ドライバー540と表示パネル550とを含む。
図12では表示パネル550は液晶表示パネルである。光源410が出射する光は液晶表示パネルを透過し、ミラー430によってフロントガラスFLGの方向へ反射される。これにより背景内に投影画像を表示できる。なお、表示パネル550は反射型デバイスであってもよい。この場合、ミラー430は省略される。反射型デバイスが光源410からの光を反射することで、フロントガラスFLGに画像が投影される。
4.電子機器、移動体
図13は、本実施形態の回路装置320を含む電子機器の構成例である。電子機器300は、処理装置310、回路装置320、記憶装置350、操作装置360、通信装置370、ヘッドアップディスプレイ400を含む。ヘッドアップディスプレイ400は、表示ドライバー330、表示パネル340を含む。処理装置310は、例えばMCU等である。図13の構成例では回路装置320は表示コントローラーに対応する。但し、図4及び図5で説明したように、眩しさエラー検出の手法は、画像データを処理する種々の集積回路装置に適用できる。
処理装置310は、記憶装置350に記憶された画像データ、又は通信装置370が受信した画像データを回路装置320に転送する。回路装置320は、画像データに対する画像処理や、表示タイミング制御や、表示ドライバーに転送する画像データの眩しさエラー検出等を行う。表示ドライバー330は、回路装置320から転送された画像データと、回路装置320による表示タイミング制御に基づいて、表示パネル340を駆動し、画像を表示させる。表示パネル340は、例えば液晶表示パネル、或いはEL表示パネル等である。記憶装置350は、例えばメモリー、或いはハードディスクドライブ、或いは光学ディスクドライブ等である。操作装置360は、電子機器300をユーザーが操作するための装置であり、例えばボタンや、或いはタッチパネルや、或いはキーボード等である。通信装置370は、例えば有線通信を行う装置、或いは無線通信を行う装置である。有線通信は、例えばLAN、又はUSB等である。無線通信は、例えば無線LANや、無線近接通信等である。
本実施形態の回路装置を含む電子機器としては、車載用の電子機器、工場設備等の表示端末、ロボットに搭載された表示装置、又は情報処理装置等の種々の機器を想定できる。車載用の電子機器は、例えばメーターパネル等である。情報処理装置は例えばPC等である。
図14は、本実施形態の回路装置320を含む移動体の例である。移動体は、本実施形態の回路装置320と、回路装置320による眩しさエラー検出の結果に基づいてエラー対応処理を行う処理装置310と、を含む。具体的には移動体は、ヘッドアップディスプレイ400と制御装置208とを含む。制御装置208はECU(Electronic Control Unit)であり、ECUに回路装置320と処理装置310が組み込まれる。なお回路装置320はヘッドアップディスプレイ400に組み込まれてもよい。本実施形態の回路装置320は、例えば、車、飛行機、バイク、自転車、或いは船舶等の種々の移動体に組み込むことができる。移動体は、例えばエンジンやモーター等の駆動機構、ハンドルや舵等の操舵機構、各種の電子機器を備えて、地上や空や海上を移動する機器・装置である。図14は移動体の具体例としての自動車206を概略的に示している。ヘッドアップディスプレイ400は透明スクリーンを有し、その透明スクリーンは運転席とフロントガラスの間に設置される。或いは、ヘッドアップディスプレイは、フロントガラスを透明スクリーンとして用い、フロントガラスに画像を投影してもよい。ヘッドアップディスプレイ400は、例えば自動車206のメーターパネルとして機能する。
以上に説明した本実施形態の回路装置は、エラー検出回路と処理回路とを含む。エラー検出回路は、ヘッドアップディスプレイ用画像データに基づいて、ヘッドアップディスプレイの眩しさを示す指標値である眩しさ指標値を求める。エラー検出回路は、眩しさ指標値が第1しきい値を超えたか否かを判断し、眩しさ指標値が第1しきい値を超えたときに第1眩しさエラーの発生を検出する。処理回路は、第1眩しさエラーの発生が検出されたとき、第1眩しさエラーに対応した処理を行う。
このようにすれば、ヘッドアップディスプレイに表示される画像が背景の視認性を低下させるか否かを、ヘッドアップディスプレイ用画像データから検出できる。背景の視認性を低下させるヘッドアップディスプレイ用画像データを検出できることで、その検出結果に基づいて、回路装置又はその外部装置が視認性低下を回避する処理を行うことができる。
また本実施形態では、エラー検出回路は、眩しさ指標値が、第1しきい値より大きい第2しきい値を超えたか否かを判断し、眩しさ指標値が第2しきい値を超えたと判断したとき、第2眩しさエラーの発生を検出してもよい。
このようにすれば、2段階のしきい値を用いて眩しさエラーの発生を検出し、その各段階のしきい値によって検出される眩しさエラーに応じて適切なエラー対応処理を実行できる。本実施形態では第2しきい値が第1しきい値より大きいので、第2眩しさエラーは第1眩しさエラーに比較して視認性の低下度合いが大きい。例えば、第2眩しさエラーが検出された場合に、より直接的に視認性を回復できるようなエラー対応処理を処理回路が実行する。
また本実施形態では、処理回路は、第2眩しさエラーの発生が検出されたとき、ヘッドアップディスプレイの表示をオフさせる表示オフ処理を行ってもよい。
このようにすれば、第2眩しさエラーが検出された場合、処理回路が表示オフ処理を行うことで、ヘッドアップディスプレイに画像が表示されなくなる。これにより、ホストを介さずに回路装置が直接的に背景の視認性を回復する対処を実行できる。
また本実施形態では、ヘッドアップディスプレイは、液晶表示パネルと光源とを含んでもよい。表示オフ処理は、光源のオフを指示する制御信号をヘッドアップディスプレイに出力する処理であってもよい。
このようにすれば、エラー検出回路により第2眩しさエラーが検出されたとき、ヘッドアップディスプレイの光源がオフされる。液晶表示パネルの表示画像を透明スクリーンに投影する光源がオフされるので、ヘッドアップディスプレイの表示がオフとなり、背景の視認性が回復する。
また本実施形態では、ヘッドアップディスプレイは、有機ELパネルを含んでもよい。表示オフ処理は、有機ELパネルの表示オフを指示する制御信号を出力する処理であってもよい。
このようにすれば、エラー検出回路により第2眩しさエラーが検出されたとき、ヘッドアップディスプレイの有機ELパネルの表示がオフされる。有機ELパネルの表示がオフされるので、ヘッドアップディスプレイの表示がオフとなり、背景の視認性が回復する。
また本実施形態では、ヘッドアップディスプレイは、反射型デバイスと光源とを含んでもよい。表示オフ処理は、光源のオフを指示する制御信号をヘッドアップディスプレイに出力する処理、又は反射型デバイスの駆動オフを指示する制御信号をヘッドアップディスプレイに出力する処理であってもよい。
このようにすれば、エラー検出回路により第2眩しさエラーが検出されたとき、反射型デバイスに光を出射する光源、又は反射型デバイスの駆動がオフされる。反射型デバイスに光を出射する光源、又は反射型デバイスの駆動がオフされるので、ヘッドアップディスプレイの表示がオフとなり、背景の視認性が回復する。
また本実施形態では、処理回路は、第2眩しさエラーの発生が検出されたとき、ホストへの通知処理を行ってもよい。
このようにすれば、第2眩しさエラーが検出された場合に、処理回路がホストにエラーを通知することで、エラー対処をホストに行わせることができる。例えば、ホストは、ヘッドアップディスプレイの表示をオフすることで、背景の視認性を回復する対処を行ってもよい。
また本実施形態では、処理回路は、第1眩しさエラーの発生が検出されたとき、ホストへの通知処理を行ってもよい。
このようにすれば、第1眩しさエラーが検出された場合に、処理回路がホストにエラーを通知することで、エラー対処をホストに行わせることができる。例えば、ホストは、表示を出来るだけ維持しつつ、背景の視認性を回復する対処を行ってもよい。
また本実施形態では、通知処理は、ホストに対して割り込み要求を出力する処理であってもよい。
このようにすれば、第1眩しさエラーの発生が検出されたときホストに対して割り込み要求が出力されるので、その割り込み要求によってホストに第1眩しさエラーの発生を通知できる。
また本実施形態では、眩しさ指標値は、ヘッドアップディスプレイ用画像データのピクセル値の積算値から求められた輝度値であってもよい。もしくは、1ピクセル単位の輝度値を求めて、それを積算することにより眩しさ指標値を求めても良い。
画素のピクセル値は、その画素が背景を遮る程度、又は画素の眩しさの程度を示す。このピクセル値を画面内で積算することで、ヘッドアップディスプレイの画面が背景の視認性を低下させる程度を求めることができる。
また本実施形態では、Rsumが赤色ピクセル値の積算値であり、Gsumが緑色ピクセル値の積算値であり、Bsumが青色ピクセル値の積算値であり、C1、C2、C3が係数であってもよい。このとき、眩しさ指標値は、B=C1×Rsum+C2×Gsum+C3×Bsumであってもよい。
このようにすれば、処理回路は、ピクセル値の積算値であるRsum、Gsum、Bsumに基づいて、輝度値に相当する眩しさ指標値Bを求めることができる。ピクセル値がゼロでない画素数が多いほど、且つ、その画素のピクセル値が大きいほど、眩しさ指標値Bは大きくなる。このため、眩しさ指標値Bは、ヘッドアップディスプレイが背景の視認性を低下させる程度を示す指標となっている。
また本実施形態では、Rpxが赤色ピクセル値であり、Gpxが緑色ピクセル値であり、Bpxが青色ピクセル値であり、C1、C2、C3が係数であり、Yがピクセルの輝度値であり、Ysumが輝度値Yの積算値であってもよい。このとき、輝度値は、Y=C1×Rpx+C2×Gpx+C3×Bpxであってもよい。眩しさ指標値は、B=Ysumであってもよい。
このようにすれば、処理回路は、ピクセルの輝度値Yを積算することで、眩しさ指標値B=Ysumを求めることができる。輝度値がゼロでない画素数が多いほど、且つ、その画素の輝度値が大きいほど、眩しさ指標値Bは大きくなる。このため、眩しさ指標値Bは、ヘッドアップディスプレイが背景の視認性を低下させる程度を示す指標となっている。
また本実施形態では、第1しきい値は、眩しさ指標値の最大値に対して半分以下であってもよい。
ヘッドアップディスプレイに表示された画像が背景を遮らないように、ヘッドアップディスプレイの画面内において画像が占める割合は低い。このため、画像データが適切なものであれば、眩しさ指標値が最大値の半分以上となることはないと考えられる。本実施形態では、第1しきい値を眩しさ指標値の最大値とすることで、画像データの異常、即ち第1眩しさエラーを検出できる。
また本実施形態では、エラー検出回路は、眩しさ指標値が第1しきい値を超えた回数をカウントし、回数が所定値となったとき第1眩しさエラーの発生を検出してもよい。
このようにすれば、第1眩しさエラーの誤検出を抑制できる。即ち、ノイズ等によって眩しさが誤検出された場合であっても、それが一時的なものである場合には、第1眩しさエラーが検出されない。
また本実施形態の回路装置は、画像処理回路とインターフェース回路とを含んでもよい。画像処理回路は、ヘッドアップディスプレイ用画像データを生成してもよい。インターフェース回路は、ヘッドアップディスプレイ用画像データをヘッドアップディスプレイの表示ドライバーに出力してもよい。エラー検出回路は、インターフェース回路に入力されるヘッドアップディスプレイ用画像データに基づいて眩しさ指標値を求めてもよい。
画像データの異常は処理のどの段階で発生するか分からないため、できるだけ処理の下流において眩しさエラーを検出することが望ましい。本実施形態によれば、回路装置が画像データを処理した後に最終的に表示ドライバーに出力しようとするヘッドアップディスプレイ用画像データに基づいて、エラー検出回路が眩しさ指標値を求めることができる。
また本実施形態の回路装置は、駆動回路を含んでもよい。駆動回路は、ヘッドアップディスプレイ用画像データに基づいて、ヘッドアップディスプレイのパネルを駆動してもよい。エラー検出回路は、駆動回路に入力されるヘッドアップディスプレイ用画像データに基づいて眩しさ指標値を求めてもよい。
上述のように、できるだけ画像データ処理の下流において眩しさエラーを検出することが望ましい。本実施形態によれば、画像データ処理の最終段である表示ドライバーにおいて眩しさエラーを検出できる。
また本実施形態の電子機器は、上記のいずれかに記載された回路装置を含む。
また本実施形態の移動体は、上記のいずれかに記載された回路装置を含む。
なお、上記のように本実施形態について詳細に説明したが、本開示の新規事項および効果から実体的に逸脱しない多くの変形が可能であることは当業者には容易に理解できるであろう。従って、このような変形例はすべて本開示の範囲に含まれるものとする。例えば、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。また本実施形態及び変形例の全ての組み合わせも、本開示の範囲に含まれる。また回路装置、ヘッドアップディスプレイ、電子機器及び移動体の構成及び動作等も、本実施形態で説明したものに限定されず、種々の変形実施が可能である。
10…画面、100…回路装置、110…エラー検出回路、120…処理回路、130…インターフェース回路、135…インターフェース回路、140…画像処理回路、150…インターフェース回路、160…レジスター回路、170…タイミング制御回路、180…駆動回路、190…レジスター回路、200…処理装置、206…自動車、208…制御装置、300…電子機器、310…処理装置、320…回路装置、330…表示ドライバー、340…表示パネル、350…記憶装置、360…操作装置、370…通信装置、400…ヘッドアップディスプレイ、410…光源、420…ミラー、430…透明スクリーン、510…処理装置、520…画像処理装置、530…表示コントローラー、540…表示ドライバー、550…表示パネル、IMD…ヘッドアップディスプレイ用画像データ、SER1…第1エラー信号、SER2…第2エラー信号、TA…端子、TB…端子

Claims (19)

  1. ヘッドアップディスプレイ用画像データに基づいて、ヘッドアップディスプレイの眩しさを示す指標値である眩しさ指標値を求め、前記眩しさ指標値が第1しきい値を超えたか否かを判断し、前記眩しさ指標値が前記第1しきい値を超えたときに第1眩しさエラーの発生を検出するエラー検出回路と、
    前記第1眩しさエラーの発生が検出されたとき、前記第1眩しさエラーに対応した処理を行う処理回路と、
    を含むことを特徴とする回路装置。
  2. 請求項1に記載の回路装置において、
    前記エラー検出回路は、
    前記眩しさ指標値が、前記第1しきい値より大きい第2しきい値を超えたか否かを判断し、前記眩しさ指標値が前記第2しきい値を超えたと判断したとき、第2眩しさエラーの発生を検出することを特徴とする回路装置。
  3. 請求項2に記載の回路装置において、
    前記処理回路は、
    前記第2眩しさエラーの発生が検出されたとき、前記ヘッドアップディスプレイの表示をオフさせる表示オフ処理を行うことを特徴とする回路装置。
  4. 請求項3に記載の回路装置において、
    前記ヘッドアップディスプレイは、液晶表示パネルと光源とを含み、
    前記表示オフ処理は、前記光源のオフを指示する制御信号を前記ヘッドアップディスプレイに出力する処理であることを特徴とする回路装置。
  5. 請求項3に記載の回路装置において、
    前記ヘッドアップディスプレイは、有機ELパネルを含み、
    前記表示オフ処理は、前記有機ELパネルの表示オフを指示する制御信号を出力する処理であることを特徴とする回路装置。
  6. 請求項3に記載の回路装置において、
    前記ヘッドアップディスプレイは、反射型デバイスと光源とを含み、
    前記表示オフ処理は、前記光源のオフを指示する制御信号を前記ヘッドアップディスプレイに出力する処理、又は前記反射型デバイスの駆動オフを指示する制御信号を前記ヘッドアップディスプレイに出力する処理であることを特徴とする回路装置。
  7. 請求項1乃至6のいずれか一項に記載の回路装置において、
    前記処理回路は、
    前記第1眩しさエラーの発生が検出されたとき、ホストへの通知処理を行うことを特徴とする回路装置。
  8. 請求項1乃至6のいずれか一項に記載の回路装置において、
    前記処理回路は、
    前記第2眩しさエラーの発生が検出されたとき、ホストへの通知処理を行うことを特徴とする回路装置。
  9. 請求項1に記載の回路装置において、
    前記エラー検出回路は、
    前記眩しさ指標値が、前記第1しきい値より大きい第2しきい値を超えたか否かを判断し、前記眩しさ指標値が前記第2しきい値を超えたと判断したとき、第2眩しさエラーの発生を検出し、
    前記処理回路は、
    前記第1眩しさエラーの発生が検出されたとき、ホストへの通知処理を行い、
    前記第2眩しさエラーの発生が検出されたとき、前記ヘッドアップディスプレイの表示をオフさせる表示オフ処理を行うことを特徴とする回路装置。
  10. 請求項7乃至9のいずれか一項に記載の回路装置において、
    前記通知処理は、前記ホストに対して割り込み要求を出力する処理であることを特徴とする回路装置。
  11. 請求項1乃至10のいずれか一項に記載の回路装置において、
    前記眩しさ指標値は、前記ヘッドアップディスプレイ用画像データのピクセル値の積算値から求められた輝度値であることを特徴とする回路装置。
  12. 請求項11に記載の回路装置において、
    Rpxが赤色ピクセル値であり、Gpxが緑色ピクセル値であり、Bpxが青色ピクセル値であり、C1、C2、C3が係数であり、Yがピクセルの輝度値であり、Ysumが輝度値Yの積算値であるとき、
    前記輝度値は、Y=C1×Rpx+C2×Gpx+C3×Bpxであり、
    前記眩しさ指標値は、B=Ysumであることを特徴とする回路装置。
  13. 請求項11に記載の回路装置において、
    Rsumが赤色ピクセル値の積算値であり、Gsumが緑色ピクセル値の積算値であり、Bsumが青色ピクセル値の積算値であり、C1、C2、C3が係数であるとき、
    前記眩しさ指標値は、B=C1×Rsum+C2×Gsum+C3×Bsumであることを特徴とする回路装置。
  14. 請求項11乃至13のいずれか一項に記載の回路装置において、
    前記第1しきい値は、前記眩しさ指標値の最大値に対して半分以下であることを特徴とする回路装置。
  15. 請求項1乃至14のいずれか一項に記載の回路装置において、
    前記エラー検出回路は、
    前記眩しさ指標値が前記第1しきい値を超えた回数をカウントし、前記回数が所定値となったとき前記第1眩しさエラーの発生を検出することを特徴とする回路装置。
  16. 請求項1乃至15のいずれか一項に記載の回路装置において、
    前記ヘッドアップディスプレイ用画像データを生成する画像処理回路と、
    前記ヘッドアップディスプレイ用画像データを前記ヘッドアップディスプレイの表示ドライバーに出力するインターフェース回路と、
    を含み、
    前記エラー検出回路は、
    前記インターフェース回路に入力される前記ヘッドアップディスプレイ用画像データに基づいて前記眩しさ指標値を求めることを特徴とする回路装置。
  17. 請求項1乃至15のいずれか一項に記載の回路装置において、
    前記ヘッドアップディスプレイ用画像データに基づいて、前記ヘッドアップディスプレイのパネルを駆動する駆動回路を含み、
    前記エラー検出回路は、
    前記駆動回路に入力される前記ヘッドアップディスプレイ用画像データに基づいて前記眩しさ指標値を求めることを特徴とする回路装置。
  18. 請求項1乃至17のいずれか一項に記載の回路装置を含むことを特徴とする電子機器。
  19. 請求項1乃至17のいずれか一項に記載の回路装置を含むことを特徴とする移動体。
JP2019117587A 2018-12-20 2019-06-25 回路装置、表示システム、電子機器及び移動体 Active JP7263941B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
EP19217507.3A EP3680121B1 (en) 2018-12-20 2019-12-18 Circuit device, electronic apparatus, and mobile body

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201862782657P 2018-12-20 2018-12-20
US62/782,657 2018-12-20

Publications (2)

Publication Number Publication Date
JP2020101784A true JP2020101784A (ja) 2020-07-02
JP7263941B2 JP7263941B2 (ja) 2023-04-25

Family

ID=71098479

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019117587A Active JP7263941B2 (ja) 2018-12-20 2019-06-25 回路装置、表示システム、電子機器及び移動体

Country Status (3)

Country Link
US (1) US11707984B2 (ja)
JP (1) JP7263941B2 (ja)
CN (1) CN111354285B (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022091999A1 (ja) * 2020-10-28 2022-05-05 Agc株式会社 透明電子デバイス、合わせガラス、及び透明電子デバイスの製造方法
WO2023161975A1 (ja) * 2022-02-22 2023-08-31 株式会社ソシオネクスト 画像表示制御装置、画像表示システム及び画像表示制御方法
US11837183B2 (en) 2021-10-12 2023-12-05 Seiko Epson Corporation Circuit device and head-up display device
US11869393B2 (en) 2022-01-28 2024-01-09 Seiko Epson Corporation Circuit device and head-up display

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102021204928B4 (de) * 2021-05-12 2022-12-08 Continental Automotive Technologies GmbH Head-Up-Display mit Anzeigevorrichtung
JP2023010142A (ja) * 2021-07-09 2023-01-20 セイコーエプソン株式会社 回路装置、制御装置及びレーザープロジェクター

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014130278A (ja) * 2012-12-28 2014-07-10 Jvc Kenwood Corp 画像表示装置および画像表示方法
US20180151154A1 (en) * 2016-11-29 2018-05-31 Samsung Electronics Co., Ltd. Method and apparatus to prevent glare
JP2018127099A (ja) * 2017-02-08 2018-08-16 株式会社デンソー 車両用表示制御装置
JP2018136370A (ja) * 2017-02-20 2018-08-30 セイコーエプソン株式会社 ドライバー、電気光学装置及び電子機器

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6606116B1 (en) * 2000-03-30 2003-08-12 Ncr Corporation Methods and apparatus for assessing quality of information displays
JP3591535B2 (ja) * 2003-03-24 2004-11-24 日本精機株式会社 車両用表示装置
DE10346507B4 (de) * 2003-10-02 2007-10-11 Daimlerchrysler Ag Vorrichtung zur Verbesserung der Sichtverhältnisse in einem Kraftfahrzeug
JP4622740B2 (ja) * 2005-08-17 2011-02-02 株式会社デンソー 車両用表示制御装置
JP2007245911A (ja) * 2006-03-15 2007-09-27 Omron Corp 監視装置および方法、記録媒体、並びに、プログラム
JP5283325B2 (ja) * 2006-09-28 2013-09-04 日本精機株式会社 発光装置
US8704653B2 (en) * 2009-04-02 2014-04-22 GM Global Technology Operations LLC Enhanced road vision on full windshield head-up display
EP2523077A4 (en) * 2010-01-08 2016-10-12 Sharp Kk OPTICAL SENSOR DISPLAY DEVICE
JP5842735B2 (ja) * 2012-05-29 2016-01-13 日本精機株式会社 光源駆動装置及びヘッドアップディスプレイ装置
JP6348791B2 (ja) 2014-07-16 2018-06-27 クラリオン株式会社 表示制御装置および表示制御方法
RU2017105422A (ru) * 2014-07-22 2018-08-26 Навди Инк. Компактная система индикации на лобовом стекле
JP2016097818A (ja) * 2014-11-21 2016-05-30 日本精機株式会社 ヘッドアップディスプレイ装置
JP6415968B2 (ja) * 2014-12-24 2018-10-31 パイオニア株式会社 通信装置、警告装置、表示装置、制御方法、プログラム、及び記憶媒体
JP6769154B2 (ja) 2016-07-27 2020-10-14 日本精機株式会社 ヘッドアップディスプレイ

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014130278A (ja) * 2012-12-28 2014-07-10 Jvc Kenwood Corp 画像表示装置および画像表示方法
US20180151154A1 (en) * 2016-11-29 2018-05-31 Samsung Electronics Co., Ltd. Method and apparatus to prevent glare
JP2018127099A (ja) * 2017-02-08 2018-08-16 株式会社デンソー 車両用表示制御装置
JP2018136370A (ja) * 2017-02-20 2018-08-30 セイコーエプソン株式会社 ドライバー、電気光学装置及び電子機器

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022091999A1 (ja) * 2020-10-28 2022-05-05 Agc株式会社 透明電子デバイス、合わせガラス、及び透明電子デバイスの製造方法
US11837183B2 (en) 2021-10-12 2023-12-05 Seiko Epson Corporation Circuit device and head-up display device
US11869393B2 (en) 2022-01-28 2024-01-09 Seiko Epson Corporation Circuit device and head-up display
WO2023161975A1 (ja) * 2022-02-22 2023-08-31 株式会社ソシオネクスト 画像表示制御装置、画像表示システム及び画像表示制御方法

Also Published As

Publication number Publication date
US20200201035A1 (en) 2020-06-25
JP7263941B2 (ja) 2023-04-25
CN111354285B (zh) 2023-08-18
US11707984B2 (en) 2023-07-25
CN111354285A (zh) 2020-06-30

Similar Documents

Publication Publication Date Title
JP7263941B2 (ja) 回路装置、表示システム、電子機器及び移動体
US10720097B2 (en) Driver that outputs a result of error detection
US20190013826A1 (en) Circuit device, electro-optical device, electronic apparatus, mobile body, and error detection method
US20180015879A1 (en) Side-view mirror camera system for vehicle
JP6194432B2 (ja) 投写型表示装置及びその光源制御方法
EP2784572A1 (en) Head-up display device and display method of head-up display device
EP3547021A1 (en) Image pickup device, display system, and display method
US10102826B2 (en) Method for operating a display device for a vehicle
JP2017081456A (ja) 表示装置及び表示方法
CN109074685B (zh) 用于调整图像的方法、设备、系统和计算机可读存储介质
US9527443B2 (en) Around view monitoring system and operating method thereof
CN111353951A (zh) 电路装置、电子设备以及移动体
US20170148148A1 (en) Image processing device, image display system and vehicle provided with same, image processing method and recording medium records program for executing same
EP3680121B1 (en) Circuit device, electronic apparatus, and mobile body
JP7268526B2 (ja) 車両用表示制御装置、及び車両用表示システム
JP2018189956A (ja) スクリーンシステム、表示システム、スクリーンシステムの制御方法、プログラム、及び表示システムを備える移動体
JP2010064646A (ja) 車両周辺監視装置および車両周辺監視方法
WO2017056412A1 (ja) モニタ制御システム、モニタ制御方法、及び、モニタ制御プログラム
WO2016051846A1 (ja) 投写型表示装置及びその光源制御方法
JP7488085B2 (ja) 画像歪補正回路及び表示装置
JP2023037738A (ja) 制御システム及び電子機器
JP2017202762A (ja) 表示画像投影装置及び表示画像投影方法
US11074843B2 (en) Drive circuit, electro-optical device, electronic apparatus including electro-optical device, and movable body including electronic apparatus
US20190064514A1 (en) Head-up display device
US20220366818A1 (en) Head-up display with display apparatus

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220519

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221227

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20221228

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230216

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230314

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230327

R150 Certificate of patent or registration of utility model

Ref document number: 7263941

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150