JP2019039883A - 車両用表示装置および表示制御方法 - Google Patents

車両用表示装置および表示制御方法 Download PDF

Info

Publication number
JP2019039883A
JP2019039883A JP2017163941A JP2017163941A JP2019039883A JP 2019039883 A JP2019039883 A JP 2019039883A JP 2017163941 A JP2017163941 A JP 2017163941A JP 2017163941 A JP2017163941 A JP 2017163941A JP 2019039883 A JP2019039883 A JP 2019039883A
Authority
JP
Japan
Prior art keywords
image
vehicle
driver
display
drawing area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017163941A
Other languages
English (en)
Other versions
JP6991794B2 (ja
Inventor
伴丈 若月
Tomotake Wakatsuki
伴丈 若月
一賀 小笠原
Kazuyoshi Ogasawara
一賀 小笠原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yazaki Corp
Original Assignee
Yazaki Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yazaki Corp filed Critical Yazaki Corp
Priority to JP2017163941A priority Critical patent/JP6991794B2/ja
Priority to US16/110,087 priority patent/US20190064531A1/en
Priority to DE102018214346.3A priority patent/DE102018214346B4/de
Priority to CN201810988761.0A priority patent/CN109421535B/zh
Publication of JP2019039883A publication Critical patent/JP2019039883A/ja
Application granted granted Critical
Publication of JP6991794B2 publication Critical patent/JP6991794B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Arrangement of adaptations of instruments
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0968—Systems involving transmission of navigation instructions to the vehicle
    • G08G1/096855—Systems involving transmission of navigation instructions to the vehicle where the output is provided in a suitable form to the driver
    • G08G1/096861—Systems involving transmission of navigation instructions to the vehicle where the output is provided in a suitable form to the driver where the immediate route instructions are output to the driver, e.g. arrow signs for next turn
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/38—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory with means for controlling the display position
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0141—Head-up displays characterised by optical features characterised by the informative content of the display
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Abstract

【課題】運転者が常に視線を向ける位置に運転者に報知する情報を固定表示することができる車両用表示装置および表示制御方法を提供する。
【解決手段】車両用表示装置１は、前方画像２０を取得する車両前方カメラ２と、前方画像２０から白線２１ａ，２１ｂの位置および車線２２上に先行車３０が存在する場合には当該先行車３０の位置を検知する画像解析部１２と、白線２１ａ，２１ｂの位置、または、白線２１ａ，２１ｂの位置および先行車３０の位置に基づいて車線２２上に描画エリア２３を設定し、経路案内情報を含む報知画像２５を描画エリア２３の形状に基づいて描画エリア２３ａに描画する制御部１３とを備える。制御部１３は、報知画像２５を、表示画像における描画エリア２３ａの形状の変化に合わせて変形させる。
【選択図】図３

Description

本発明は、車両用表示装置および表示制御方法に関する。
従来、自動車等の車両に搭載され、表示装置から表示画像をウィンドシールドに投影して、当該表示画像を実風景に重ねて運転者に視認させるヘッドアップディスプレイ装置が提供されている。
例えば、特許文献１では、実風景に重ねて案内情報を表示する際に、運転者が見落としてはならない障害物等の優先度を決定し、案内情報よりも優先度が高い障害物に対して、その被視認性が著しく低下しないように、案内情報の表示位置や表示方法を決定するナビゲーション装置が開示されている。
特開２００６−１６２４４２号公報
しかしながら、上記特許文献１では、車両の走行中に案内情報の表示位置や表示方法が変更されることから、運転者がウィンドシールドに表示されている案内情報を探す必要があり、改善の余地がある。
本発明は、運転者が常に視線を向ける位置に運転者に報知する情報を固定表示することができる車両用表示装置および表示制御方法を提供することを目的とする。
上記目的を達成するため、本発明に係る車両用表示装置は、車両の運転者の前方に表示画像を投影し、前記車両前方の実風景に前記表示画像を重畳させて表示する画像表示手段を有する車両用表示装置であって、前記車両前方の実風景を撮像して前方画像を取得する前方画像取得手段と、前記前方画像から、前記車両前方に延びる車線を挟む一対の着色線の位置と、前記車線上に先行車が存在する場合には当該先行車の位置とを検知する白線検知手段と、一対の前記着色線の位置、または、一対の前記着色線の位置および前記先行車の位置に基づいて、前記車線上に描画エリアを設定する描画エリア設定手段と、前記運転者に報知する経路案内情報を含む報知画像を前記描画エリアの形状に基づいて前記描画エリアに描画する描画手段と、を備え、前記描画手段は、前記報知画像を、前記表示画像における前記描画エリアの形状の変化に合わせて変形させる、ことを特徴とする。
また、上記車両用表示装置において、前記描画エリア設定手段は、前記前方画像における前記着色線の位置を示す座標、または、前記前方画像における前記着色線の位置を示す座標および前記先行車の位置を示す座標から、前記先行車と重ならず、かつ、前記車両の前方から前記車線上を前記着色線に沿って延びる領域に前記描画エリアを設定する、ことが好ましい。
また、上記車両用表示装置において、前記運転者を撮像して運転者画像を取得する運転者画像取得手段と、前記運転者画像から前記運転者のアイポイントの位置を検知するアイポイント検知手段とをさらに備え、前記描画手段は、前記表示画像における前記描画エリアの位置を前記アイポイントの位置に応じて調整する、ことが好ましい。
上記目的を達成するため、本発明に係る表示制御方法は、車両の運転者の前方に表示画像を投影し、前記車両前方の実風景に前記表示画像を重畳させて表示する画像表示手段を有する車両用表示装置の表示制御方法であって、前記車両前方の実風景を撮像して前方画像を取得する前方画像取得ステップと、前記前方画像から、前記車両前方に延びる車線を挟む一対の着色線の位置と、前記車線上に先行車が存在する場合には当該先行車の位置とを検知する白線検知ステップと、一対の前記着色線の位置、または、一対の前記着色線の位置および前記先行車の位置に基づいて、前記車線上に描画エリアを設定する描画エリア設定ステップと、前記運転者に報知する経路案内情報を含む報知画像を前記描画エリアの形状に基づいて前記描画エリアに描画する描画ステップと、を備え、前記描画ステップは、前記報知画像を、前記表示画像における前記描画エリアの形状の変化に合わせて変形させる、ことを特徴とする。
本発明に係る車両用表示装置および表示制御方法によれば、運転者が常に視線を向ける位置に運転者に報知する情報を固定表示することができるという効果を奏する。
図１は、実施形態に係る車両用表示装置の概略構成図である。 図２は、実施形態に係る車両用表示装置のブロック図である。 図３は、実施形態に係る車両用表示装置の動作例を示すフローチャートである。 図４は、実施形態に係る前方画像の白線検知の説明図である。 図５（Ａ）、図５（Ｂ）は、実施形態に係る前方画像の白線検知の説明図である。 図６は、実施形態に係る前方画像の白線検知および先行車検知の説明図である。 図７は、実施形態に係る運転者画像のアイポイント検知の説明図である。 図８は、実施形態に係る前方画像から表示画像への変換の説明図である。 図９は、実施形態に係る描画エリアに表示される表示画像の説明図である。
以下に、本発明の実施形態に係る車両用表示装置および表示制御方法を図面を参照しながら詳細に説明する。なお、以下に示す実施形態により本発明が限定されるものではない。また、下記実施形態における構成要素には、当業者が置換可能かつ容易なもの、あるいは実質的に同一のものが含まれる。
［実施形態］
図１は、実施形態に係る車両用表示装置の概略構成図である。図２は、実施形態に係る車両用表示装置のブロック図である。図３は、実施形態に係る車両用表示装置の動作例を示すフローチャートである。図４は、実施形態に係る前方画像の白線検知の説明図である。図５（Ａ）、図５（Ｂ）は、実施形態に係る前方画像の白線検知の説明図である。図６は、実施形態に係る前方画像の白線検知および先行車検知の説明図である。図７は、実施形態に係る運転者画像のアイポイント検知の説明図である。図８は、実施形態に係る前方画像から表示画像への変換の説明図である。図９は、実施形態に係る描画エリアに表示される表示画像の説明図である。なお、図４に示す前方画像は、平坦な道路上で撮像した画像である。図５（Ａ）に示す前方画像は、坂道上で撮像した画像であり、図５（Ｂ）に示す前方画像は、右方向に曲線状に曲がる道路上で撮像したものである。
本実施形態に係る車両用表示装置１は、図１および図２に示すように、例えば、自動車等の車両１００に搭載されるヘッドアップディスプレイ（Head Up Display：ＨＵＤ）装置である。車両用表示装置１は、車両１００の運転者Ｄの前方に表示画像を投影し、車両前方の実風景に表示画像を重畳させて表示する。表示画像は、ウィンドシールド１０４上の表示範囲２４（図８参照）に投影される。表示画像は、運転者Ｄに報知する報知画像２５，２５ａ（図９参照）が含まれる。報知画像２５は、後述する描画エリア２３ａの形状に合わせて変形する前の元画像である。報知画像２５ａは、描画エリア２３ａの形状に合わせて変形した後の画像である。報知画像２５には、例えば、経路案内情報等を表す。経路案内情報は、車両１００の曲がる方向や曲がるまでの距離、目印となるランドマーク、車線（レーン）情報等が含まれる。経路案内情報の報知画像２５としては、例えば、曲がる方向の矢印がある。車両用表示装置１は、ウィンドシールド１０４に表示画像を投影して、車両１００の運転者Ｄの前方に虚像Ｓを表示する。虚像Ｓは、運転者ＤのアイポイントＥＰ上で視認させる画像である。ウィンドシールド１０４は、半透過性を有し、車両用表示装置１から入射するレーザ光ＬをアイポイントＥＰに向けて反射する。アイポイントＥＰは、車両１００の運転席１０６に着座した運転者Ｄの視点位置である。アイポイントＥＰは、例えば、運転者Ｄの両眼の間（眉間）を表す。アイポイントＥＰは、車両１００におけるいわゆるアイレンジＥＲ内に位置するものとして予め設定される。ここで、アイレンジＥＲは、「自動車の運転者アイレンジ」であり、車両１００に応じて予め定まる運転者Ｄの視点が位置する領域に相当する。アイレンジＥＲは、車両１００において運転者Ｄの目の位置の分布を統計的に表したものであり、例えば、運転者Ｄが運転席１０６に座った状態で所定割合（例えば、９５％）の運転者Ｄの目の位置が含まれる領域に相当する。運転者Ｄは、ウィンドシールド１０４によって反射された画像を虚像Ｓとして認識する。虚像Ｓは、運転者Ｄにとって、ウィンドシールド１０４よりも前方に存在するかのように認識される。車両用表示装置１は、車両１００の始動（例えば、イグニッションスイッチＯＮ）と共に始動し、車両１００の停止（例えば、イグニッションスイッチＯＦＦ）と共に停止するものとするが、これに限定されるものではない。車両用表示装置１は、具体的には、車両前方カメラ２と、運転者カメラ３と、車両用表示装置本体４とを含んで構成される。
車両前方カメラ２は、前方画像取得手段であり、車両１００の前方の実風景を逐次撮像し、当該前方の画像である前方画像２０（図４等参照）を取得する。車両前方カメラ２は、車両１００の車室内に配置される。車両前方カメラ２は、例えば、車両１００の車室内におけるルーフ１０３に配置される。車両前方カメラ２は、ルーフ１０３に配置されたバックミラー（不図示）に設けられてもよい。車両前方カメラ２は、ウィンドシールド１０４を通して車両１００の前方を撮像するように設置される。車両前方カメラ２による撮像範囲は、図８に示すように、少なくとも道路上に引かれている白線および車両１００の前方を走行する先行車３０を撮像できるように設定される。車両前方カメラ２は、通信線１５により車両用表示装置本体４に接続される。車両前方カメラ２は、撮像した画像を前方画像２０として、通信線１５を介して車両用表示装置本体４に逐次出力する。出力される画像には、動画像も含まれる。
運転者カメラ３は、運転者画像取得手段であり、運転者Ｄを逐次撮像し、当該運転者Ｄの画像である運転者画像４０（図７参照）を取得する。運転者カメラ３は、車両１００の車室内における運転者Ｄの前方に配置される。運転者カメラ３は、例えば、ステアリングコラム１０５の上部で、かつ運転者Ｄから見てステアリングホイール１０１の背後に配置される。運転者カメラ３は、少なくとも運転者ＤのアイポイントＥＰを撮像するように設置される。運転者カメラ３による撮像範囲は、図７に示すように、少なくとも運転者Ｄの両眼を含む顔部を撮像できるように定められる。運転者カメラ３は、通信線１６により車両用表示装置本体４に接続される。運転者カメラ３は、撮像した画像を運転者画像４０として、通信線１６を介して車両用表示装置本体４に逐次出力する。出力される画像には、動画像も含まれる。
車両用表示装置本体４は、ウィンドシールド１０４に向けてレーザ光Ｌを照射することで表示画像を投影し、運転者Ｄの前方に虚像Ｓを表示する。車両用表示装置本体４は、車両１００のインストルメントパネル１０２の内側に配置されている。インストルメントパネル１０２の上面には、開口１０２ｂが設けられている。車両用表示装置本体４は、開口１０２ｂを介してウィンドシールド１０４に向けてレーザ光Ｌを照射することで表示画像を投影する。車両用表示装置本体４は、図２に示すように、画像表示部１１と、画像解析部１２と、制御部１３とを含んで構成される。
画像表示部１１は、画像表示手段であり、車両１００の運転者Ｄの前方に表示画像を投影し、車両前方の実風景に表示画像を重畳させて表示する機能を有する。画像表示部１１は、制御部１３からの情報をもとに車両前方の実風景に虚像Ｓを重畳表示する。画像表示部１１は、例えば、ＴＦＴ−ＬＣＤ（Thin Film Transistor−Liquid Crystal Display）等の液晶表示装置である。画像表示部１１は、不図示の液晶表示部およびバックライトを有する。液晶表示部は、任意の画像、例えばカラー画像を表示する。バックライトは、液晶表示部の背面側から光を照射して、液晶表示部に表示された画像を反射ミラー１４に向けて投影する。反射ミラー１４は、画像表示部１１から投影された画像をウィンドシールド１０４に向けて反射する。反射ミラー１４により反射され投影された画像は、ウィンドシールド１０４によって運転者Ｄに向けて反射される。ウィンドシールド１０４によって反射された画像は、運転者Ｄから見た場合にウィンドシールド１０４よりも車両前方の位置で虚像Ｓとして結像される。
画像解析部１２は、白線検知手段であり、図４に示す前方画像２０から、車両前方に延びる車線２２を挟む一対の白線２１ａ，２１ｂの位置を検知する機能を有する。白線２１ａ，２１ｂの位置は、例えば、前方画像２０に設定された平面上の座標で表される。車線２２は、前方画像２０において、車両１００の前方に延びる一対の白線２１ａ，２１ｂに挟まれた領域である。そのため、車線２２は、白線２１ａ，２１ｂの位置により特定される。また、画像解析部１２は、先行車検知手段であり、図６に示す前方画像２０から、車線２２上に先行車３０が存在する場合には当該先行車３０の位置を検知する機能を有する。先行車３０の位置は、例えば、前方画像２０における座標と、先行車３０の高さＨと、先行車３０の幅Ｗとで表される。なお、画像解析部１２は、先進運転支援システム（Advanced Driver Assistance System）を利用して、先行車３０の位置を検知する構成であってもよい。
また、画像解析部１２は、アイポイント検知手段であり、運転者画像４０から運転者ＤのアイポイントＥＰの位置を検知する機能を有する。アイポイントＥＰの位置は、例えば、車両１００に設定された３次元の直交座標で表される。アイポイントＥＰの位置を示す座標は、車両１００の車幅方向の位置および車両高さ方向の位置を含み、さらに、車両前後方向の位置を含んでもよい。なお、アイポイントＥＰの位置は、画像解析部１２が算出するだけでなく、制御部１３が算出する構成であってもよい。
制御部１３は、描画エリア設定手段であり、一対の白線２１ａ，２１ｂの位置、または、一対の白線２１ａ，２１ｂの位置および先行車３０の位置に基づいて、車線２２上に描画エリア２３を設定する機能を有する。描画エリア２３は、運転者Ｄに報知する経路案内情報を含む報知画像２５が描画される領域であり、車線２２上に設定される。経路案内情報は、後述するナビゲーション装置５から得られる。車線２２上には、先行車３０が存在する場合があることから、描画エリア２３は、前方画像２０における白線２１ａ，２１ｂの位置、または、前方画像２０における白線２１ａ，２１ｂの位置および先行車３０の位置に基づいて設定される。描画エリア２３は、先行車３０と重ならず、かつ、車両１００の前方から車線２２上を白線２１ａ，２１ｂに沿って延びる領域で表される。また、制御部１３は、描画手段であり、経路案内情報を含む報知画像２５を描画エリア２３に描画する機能を有する。制御部１３は、例えば、ＣＰＵ（Central Processing Unit）、メモリ、各種インタフェース等を有するコンピュータであり、車両前方カメラ２、運転者カメラ３、画像表示部１１、および画像解析部１２を制御する。制御部１３は、車両前方カメラ２、運転者カメラ３、画像表示部１１、およびナビゲーション装置５のそれぞれと通信可能に接続されている。制御部１３は、ナビゲーション装置５から経路案内情報を取得し、当該経路案内情報の表示可否を決定する。制御部１３は、画像表示部１１および画像解析部１２と一体的に構成されていてもよい。
ナビゲーション装置５は、いわゆるカーナビゲーションであり、運転者Ｄを含む車両１００の搭乗者に対して自車位置や周辺の詳細な地図情報を提供したり、目的地への経路案内を行う装置である。ナビゲーション装置５は、ＧＰＳ（Global Positioning System）衛星からの情報等に基づいて自車位置を取得する。また、ナビゲーション装置５は、地図情報や経路案内情報等を、内部のメモリから読み出したり、通信によって外部から取得する。ナビゲーション装置５は、通信線１７により制御部１３に接続され、取得した経路案内情報を通信線１７を介して制御部１３に出力する。
次に、車両用表示装置１の動作について図３〜図９を参照して説明する。
図３において、ステップＳ１では、画像解析部１２は、車両前方カメラ２によって撮像された前方画像２０を取得し、前方画像２０から白線検知および先行車検知を行う。画像解析部１２は、車線２２上に先行車３０が存在せず、先行車３０が検知できない場合には、白線検知のみを行う。画像解析部１２は、白線検知により、前方画像２０における白線２１ａ，２１ｂの位置を示す座標を取得する。白線２１ａの位置を示す座標（以下、「白線２１ａの座標」とも呼ぶ。）は、図４、図５（Ａ）および図５（Ｂ）に示すように、例えば、ａ１（Ｘ１，Ｙ１）、ａ２（Ｘ３，Ｙ３）、ａ３（Ｘ５，Ｙ５）、ａ４（Ｘ７，Ｙ７）で表す。一方、白線２１ｂの位置を示す座標（以下、「白線２１ｂの座標」とも呼ぶ。）は、ｂ１（Ｘ２，Ｙ２）、ｂ２（Ｘ４，Ｙ４）、ｂ３（Ｘ６，Ｙ６）、ｂ４（Ｘ８，Ｙ８）で表す。また、画像解析部１２は、車線２２上に先行車３０が存在する場合、先行車検知により、図６に示すように、先行車３０の位置を表す座標ＣＡ（Ｘ２０，Ｙ２０）、先行車３０の高さＨ、および先行車３０の幅Ｗを取得する。先行車３０の位置を示す座標（以下、「先行車３０の座標」とも呼ぶ。）ＣＡは、図６に示す矩形状の領域３１の左上角の座標とするが、これに限定されるものではない。この領域３１は、座標ＣＡ、高さＨ、および幅Ｗにより規定される。
ステップＳ２では、画像解析部１２は、運転者カメラ３によって撮像された運転者画像４０を取得し、運転者画像４０から運転者Ｄのアイポイント検知を行う。画像解析部１２は、アイポイント検知により、運転者ＤのアイポイントＥＰの位置を示す座標を取得する。
ステップＳ３では、制御部１３は、ナビゲーション装置５から経路案内情報等を取得する。制御部１３は、取得した経路案内情報の表示可否を決定する。制御部１３は、例えば、ナビゲーション装置５から取得した経路案内情報のうち、交差点までの距離が所定値（例えば、４０ｍ）になった場合、ターンバイターンによる表示を開始したり、速度規制が切り替わった時点で、表示を開始したりする。
ステップＳ４では、制御部１３は、図６に示すように、白線２１ａ，２１ｂの位置、または、白線２１ａ，２１ｂの位置および先行車３０の位置に基づいて、車線２２上の描画エリア２３を設定する。より具体的には、制御部１３は、前方画像２０における白線２１ａ，２１ｂの座標、または、前方画像２０における白線２１ａ，２１ｂの座標および先行車３０の位置を示す座標から、先行車３０と重ならず、かつ、車両１００の前方から車線２２上を白線２１ａ，２１ｂに沿って延びる領域に描画エリア２３を設定する。制御部１３は、車線２２上に先行車３０が存在せず、白線２１ａ，２１ｂの座標から描画エリア２３を設定する場合は、予め決められた大きさになるように、描画エリア２３が設定される。予め決められる描画エリア２３の大きさは、描画エリア２３ａに描画される報知画像２５ａの被視認性を考慮したサイズであることが好ましい。
ステップＳ５では、制御部１３は、図８に示すように、描画エリア２３を、画像表示部１１により投影される表示画像に適したサイズの描画エリア２３ａに変換する。ステップＳ４で設定された描画エリア２３は、前方画像２０における座標で設定されたものであり、画像表示部１１により投影される表示画像の解像度、表示範囲２４と異なることから、そのまま用いることができない。そこで、制御部１３は、描画エリア２３を、表示画像の解像度および表示範囲２４に基づいて拡大した後、平行移動することで表示画像に対応する描画エリア２３ａの座標に変換する。制御部１３は、例えば、描画エリア２３を示す座標ａ１（Ｘ１，Ｙ１）、ａ２（Ｘ３，Ｙ３）、ａ３（Ｘ５，Ｙ５）、ｂ１（Ｘ２，Ｙ２）、ｂ２（Ｘ４，Ｙ４）、ｂ３（Ｘ６，Ｙ６）を、描画エリア２３ａを示す座標ａ´１（Ｘ´１，Ｙ´１）、ａ´２（Ｘ´３，Ｙ´３）、ａ´３（Ｘ´５，Ｙ´５）、ｂ´１（Ｘ´２，Ｙ´２）、ｂ´２（Ｘ´４，Ｙ´４）、ｂ´３（Ｘ´６，Ｙ´６）に変換する。変換後の描画エリア２３ａを示す座標は、車両前方の実風景に重畳させた場合に、必ずしも白線２１ａ，２１ｂと重なる必要はないが、描画エリア２３ａを挟んだ白線２１ａ，２１ｂの幅方向の外側にならないことが好ましい。さらに、ステップＳ５では、制御部１３は、ステップＳ２で検知したアイポイントＥＰの位置に応じて、描画エリア２３ａの位置を微調整する。
ステップＳ６では、制御部１３は、図９に示すように、経路案内情報を含む報知画像２５を描画エリア２３ａの形状に合わせて報知画像２５ａに変形させて描画する。報知画像２５は、例えば、右方向に誘導する誘導図形２６を有する場合、誘導図形２６が描画エリア２３ａの形状に合わせて、奥行きのある誘導図形２６ａに変形される。さらに、制御部１３は、報知画像２５を、表示画像における描画エリア２３ａの形状の変化に合わせて変形させる。
ステップＳ７では、制御部１３は、ウィンドシールド１０４に投影する表示画像の歪みの補正を行う。表示画像は、車両用表示装置本体４内に配置された曲面状の反射ミラー１４や湾曲したウィンドシールド１０４の反射面により歪んでしまうことから、ステップＳ２で検知したアイポイントＥＰの位置に基づいて表示画像の歪みを計算し、画像をあえて歪ませて表示画像の歪みを軽減する。ステップＳ７が終了した後はステップＳ１に戻り、動作処理を繰り返す。
以上のように、本実施形態に係る車両用表示装置１は、前方画像２０を取得する車両前方カメラ２と、前方画像２０から白線２１ａ，２１ｂの位置および車線２２上に先行車３０が存在する場合には当該先行車３０の位置を検知する画像解析部１２とを備える。車両用表示装置１は、さらに、白線２１ａ，２１ｂの位置、または、白線２１ａ，２１ｂの位置および先行車３０の位置に基づいて車線２２上に描画エリア２３を設定し、経路案内情報を含む報知画像２５を描画エリア２３の形状に基づいて描画エリア２３ａに描画する制御部１３を備える。制御部１３は、報知画像２５を、表示画像における描画エリア２３ａの形状の変化に合わせて変形させる。
本実施形態に係る車両用表示装置１および表示制御方法によれば、運転者Ｄが常に視線を向ける車線２２上に運転者Ｄに報知する情報を固定表示することができる。その結果、運転者Ｄがウィンドシールド１０４に表示されている案内情報を探す必要がなくなり、運転者ＤのＨＵＤ使用時の安全性を向上させると共に、ＨＵＤの利便性を向上させることができる。また、報知画像２５を、描画エリア２３の形状に基づいて描画エリア２３ａに描画し、描画エリア２３ａの形状の変化に合わせて変形させるので、車両前方の実風景の経時変化に対して報知画像２５ａを白線２１ａ，２１ｂや先行車３０と重なることなく表示することができ、経路案内情報等の被視認性を向上させることができる。
また、本実施形態に係る車両用表示装置１は、制御部１３が、前方画像２０における白線２１ａ，２１ｂの位置を示す座標、または、白線２１ａ，２１ｂの位置を示す座標および先行車３０の位置を示す座標から、先行車３０と重ならず、かつ、車両１００の前方から車線２２上を白線２１ａ，２１ｂに沿って延びる領域に描画エリア２３を設定する。これにより、白線２１ａ，２１ｂ、または、白線２１ａ，２１ｂおよび先行車３０と重ならないように、車線２２上に描画エリア２３を設定することができる。その結果、上記効果に加えて、描画エリア２３ａに描画される報知画像２５ａの被視認性を向上させることができる。
また、本実施形態に係る車両用表示装置１は、運転者Ｄを撮像して運転者画像４０を取得する運転者カメラ３をさらに備え、画像解析部１２が、運転者画像４０から運転者ＤのアイポイントＥＰの位置を検知し、制御部１３が、表示画像における描画エリア２３ａの位置をアイポイントＥＰの位置に応じて調整する。これにより、車両前方カメラ２の位置と運転者ＤのアイポイントＥＰの位置とが異なる場合において、描画エリア２３ａの位置を運転者ＤのアイポイントＥＰの位置に合わせて調整することができ、描画エリア２３ａに描画される報知画像２５ａの被視認性をより向上させることができる。
［変形例］
なお、上記実施形態では、自車両である車両１００と先行車３０との車間距離が短い場合、必要な大きさの描画エリア２３を確保することができず、描画エリア２３ａに描画される報知画像２５ａの被視認性が低下するおそれがある。そこで、報知画像２５ａ全体または誘導図形２６ａ自体の透過率を上げて、報知画像２５ａの一部を先行車３０に重ねて表示するように構成してもよい。また、報知画像２５を描画エリア２３ａの形状に基づいて当該描画エリア２３ａに描画した場合、報知画像２５ａの被視認性を考慮して、報知画像２５の変形を行わないようにしてもよい。すなわち、描画エリア２３ａの形状に合わせて報知画像２５を変形しても誘導図形２６ａの認識ができない場合には、報知画像２５を変形せずに表示する構成であってもよい。
また、上記実施形態では、車線２２上に描かれた道路標示の有無にかかわらず、描画エリア２３ａに報知画像２５ａを描画する構成としているが、これに限定されるものではない。例えば、画像解析部１２が、前方画像２０から車線２２上の道路標示を検知するように構成してもよい。そして、車線２２上に道路標示が検知された場合、制御部１３が、検知された道路標示上に描画エリア２３を設定しないように制限するように構成してもよい。
また、上記実施形態では、白線２１ａ，２１ｂの座標は、図４、図５（Ａ）および図５（Ｂ）に示すように、各白線２１ａ，２１ｂの幅方向（Ｘ軸方向）の中央に位置するが、白線２１ａ，２１ｂの位置を特定することができる位置であれば、これに限定されるものではない。
また、上記実施形態では、車線２２を挟む一対の白線２１ａ，２１ｂは、白色線としているが、これに限定されるものではなく、いずれか一方が黄色線であってもよい。また、一対の白線２１ａ，２１ｂは、いずれか一方が実線、他方が破線であってもよい。また、一対の白線２１ａ，２１ｂは、いずれか一方が黄色線の２本の実線であってもよい。また、一対の白線２１ａ，２１ｂのうち、一方の白線の位置が検知できなかった場合、直前に検知した白線２１ａまたは白線２１ｂの位置を用いて車線２２の特定を行ってもよい。または、一方の白線と他方の白線との間のＸ方向の距離（車線幅員）を、例えば３ｍとして予め規定しておき、一方の白線の位置が検知できなった場合には、当該車線幅員を用いて車線２２の特定を行ってもよい。なお、ここでは車線幅員を３ｍとしたが、これに限定されるものではなく、車道の種類（例えば一般国道、高速自動車道等）に応じて車線幅員を異なるように構成してもよい。
また、上記実施形態では、車両前方カメラ２および運転者カメラ３は、それぞれ通信線１５，１６を介して有線により車両用表示装置本体４に接続されているが、無線により接続されていてもよい。これにより、通信線１５，１６自体や配線作業が不要となると共に、車両前方カメラ２および運転者カメラ３のレイアウトの制限を改善することが可能となる。
また、上記実施形態では、制御部１３は、車両１００に搭載されたナビゲーション装置５から経路案内情報等を取得しているが、これに限定されるものではない。例えば、制御部１３が無線通信により外部から経路案内情報等を取得するように構成されていてもよい。
また、上記実施形態では、運転者Ｄに報知する情報の一例として経路案内情報について説明したが、運転者Ｄの運転を支援するための情報であれば、例えば、車速情報、車両状態情報、道路情報、外部環境情報、搭乗者情報等であってもよい。
１ 車両用表示装置
２ 車両前方カメラ
３ 運転者カメラ
４ 車両用表示装置本体
５ ナビゲーション装置
１１ 画像表示部
１２ 画像解析部
１３ 制御部
１４ 反射ミラー
１５，１６，１７ 通信線
２０ 前方画像
２１ａ，２１ｂ 白線
２２ 車線
２３，２３ａ 描画エリア
２４ 表示範囲
２５，２５ａ 報知画像
２６，２６ａ 誘導図形
３０ 先行車
４０ 運転者画像
１００ 車両
１０１ ステアリングホイール
１０２ インストルメントパネル
１０３ ルーフ
１０４ ウィンドシールド
１０５ ステアリングコラム
Ｄ 運転者
Ｓ 虚像
Ｌ レーザ光
ＥＰ アイポイント
ＥＲ アイレンジ

Claims (4)

  1. 車両の運転者の前方に表示画像を投影し、前記車両前方の実風景に前記表示画像を重畳させて表示する画像表示手段を有する車両用表示装置であって、
    前記車両前方の実風景を撮像して前方画像を取得する前方画像取得手段と、
    前記前方画像から、前記車両前方に延びる車線を挟む一対の着色線の位置と、前記車線上に先行車が存在する場合には当該先行車の位置とを検知する白線検知手段と、
    一対の前記着色線の位置、または、一対の前記着色線の位置および前記先行車の位置に基づいて、前記車線上に描画エリアを設定する描画エリア設定手段と、
    前記運転者に報知する経路案内情報を含む報知画像を前記描画エリアの形状に基づいて前記描画エリアに描画する描画手段と、
    を備え、
    前記描画手段は、前記報知画像を、前記表示画像における前記描画エリアの形状の変化に合わせて変形させる、
    ことを特徴とする車両用表示装置。
  2. 前記描画エリア設定手段は、
    前記前方画像における前記着色線の位置を示す座標、または、前記前方画像における前記着色線の位置を示す座標および前記先行車の位置を示す座標から、前記先行車と重ならず、かつ、前記車両の前方から前記車線上を前記着色線に沿って延びる領域に前記描画エリアを設定する、
    請求項１に記載の車両用表示装置。
  3. 前記運転者を撮像して運転者画像を取得する運転者画像取得手段と、
    前記運転者画像から前記運転者のアイポイントの位置を検知するアイポイント検知手段とをさらに備え、
    前記描画手段は、
    前記表示画像における前記描画エリアの位置を前記アイポイントの位置に応じて調整する、
    請求項１または２に記載の車両用表示装置。
  4. 車両の運転者の前方に表示画像を投影し、前記車両前方の実風景に前記表示画像を重畳させて表示する画像表示手段を有する車両用表示装置の表示制御方法であって、
    前記車両前方の実風景を撮像して前方画像を取得する前方画像取得ステップと、
    前記前方画像から、前記車両前方に延びる車線を挟む一対の着色線の位置と、前記車線上に先行車が存在する場合には当該先行車の位置とを検知する白線検知ステップと、
    一対の前記着色線の位置、または、一対の前記着色線の位置および前記先行車の位置に基づいて、前記車線上に描画エリアを設定する描画エリア設定ステップと、
    前記運転者に報知する経路案内情報を含む報知画像を前記描画エリアの形状に基づいて前記描画エリアに描画する描画ステップと、
    を備え、
    前記描画ステップは、前記報知画像を、前記表示画像における前記描画エリアの形状の変化に合わせて変形させる、
    ことを特徴とする表示制御方法。
JP2017163941A 2017-08-29 2017-08-29 車両用表示装置および表示制御方法 Active JP6991794B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2017163941A JP6991794B2 (ja) 2017-08-29 2017-08-29 車両用表示装置および表示制御方法
US16/110,087 US20190064531A1 (en) 2017-08-29 2018-08-23 Vehicle display device and display control method
DE102018214346.3A DE102018214346B4 (de) 2017-08-29 2018-08-24 Fahrzeuganzeigevorrichtung und Anzeigensteuerungsverfahren
CN201810988761.0A CN109421535B (zh) 2017-08-29 2018-08-28 车辆用显示装置和显示控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017163941A JP6991794B2 (ja) 2017-08-29 2017-08-29 車両用表示装置および表示制御方法

Publications (2)

Publication Number Publication Date
JP2019039883A true JP2019039883A (ja) 2019-03-14
JP6991794B2 JP6991794B2 (ja) 2022-01-13

Family

ID=65321916

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017163941A Active JP6991794B2 (ja) 2017-08-29 2017-08-29 車両用表示装置および表示制御方法

Country Status (4)

Country Link
US (1) US20190064531A1 (ja)
JP (1) JP6991794B2 (ja)
CN (1) CN109421535B (ja)
DE (1) DE102018214346B4 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7205154B2 (ja) * 2018-10-16 2023-01-17 トヨタ自動車株式会社 表示装置
JP2022184350A (ja) * 2021-06-01 2022-12-13 マツダ株式会社 ヘッドアップディスプレイ装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006162442A (ja) * 2004-12-07 2006-06-22 Matsushita Electric Ind Co Ltd ナビゲーション装置及びナビゲーション方法
CN105438066A (zh) * 2014-08-22 2016-03-30 怡利电子工业股份有限公司 能同时显示导航资讯与行车安全提示的装置
JP2016090344A (ja) * 2014-10-31 2016-05-23 アイシン・エィ・ダブリュ株式会社 ナビゲーション装置、及びナビゲーションプログラム
US20170187963A1 (en) * 2015-12-24 2017-06-29 Lg Electronics Inc. Display device for vehicle and control method thereof

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10344120A1 (de) 2003-09-24 2005-04-21 Daimler Chrysler Ag Vorrichtung und Verfahren zur Darstellung von Fahrhinweisen
KR20120113579A (ko) * 2011-04-05 2012-10-15 현대자동차주식회사 길안내 정보의 윈드쉴드 표시 장치 및 그 방법
CN102322869A (zh) * 2011-08-24 2012-01-18 深圳市凯立德科技股份有限公司 一种投影式车载导航显示方法、装置及系统
WO2013113500A1 (de) 2012-02-02 2013-08-08 Audi Ag Fahrerassistenzsystem und verfahren zur virtuellen darstellung eines strassenverlaufs bei verdeckung und/oder schlechten sichtverhältnissen
JP2016503741A (ja) * 2012-12-21 2016-02-08 ハーマン ベッカー オートモーティブ システムズ ゲーエムベーハー 自動車用の入力装置
WO2017138297A1 (ja) * 2016-02-08 2017-08-17 株式会社リコー 画像表示装置及び画像表示方法
US20170287217A1 (en) * 2016-03-30 2017-10-05 Kahyun Kim Preceding traffic alert system and method
CA2976543A1 (en) * 2016-08-23 2018-02-23 8696322 Canada Inc. System and method for augmented reality head up display for vehicles
CN106226910A (zh) * 2016-09-08 2016-12-14 邹文韬 Hud系统及其影像调整方法
JP6855350B2 (ja) * 2017-08-08 2021-04-07 アルパイン株式会社 ヘッドアップディスプレイ装置、ナビゲーション装置、表示方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006162442A (ja) * 2004-12-07 2006-06-22 Matsushita Electric Ind Co Ltd ナビゲーション装置及びナビゲーション方法
CN105438066A (zh) * 2014-08-22 2016-03-30 怡利电子工业股份有限公司 能同时显示导航资讯与行车安全提示的装置
JP2016090344A (ja) * 2014-10-31 2016-05-23 アイシン・エィ・ダブリュ株式会社 ナビゲーション装置、及びナビゲーションプログラム
US20170187963A1 (en) * 2015-12-24 2017-06-29 Lg Electronics Inc. Display device for vehicle and control method thereof

Also Published As

Publication number Publication date
CN109421535A (zh) 2019-03-05
US20190064531A1 (en) 2019-02-28
DE102018214346A1 (de) 2019-02-28
DE102018214346B4 (de) 2024-03-07
JP6991794B2 (ja) 2022-01-13
CN109421535B (zh) 2022-02-25

Similar Documents

Publication Publication Date Title
US20190080496A1 (en) Vehicle display device and display control method
US9827907B2 (en) Drive assist device
JP6252365B2 (ja) 安全確認支援システム、安全確認支援方法
WO2019097763A1 (ja) 重畳画像表示装置及びコンピュータプログラム
US20120235805A1 (en) Information display apparatus and information display method
CN110001400B (zh) 车辆用显示装置
WO2019097755A1 (ja) 表示装置及びコンピュータプログラム
JP6626069B2 (ja) 車両用表示装置
CN103140377A (zh) 用于在显示装置上显示图像的方法和驾驶员辅助系统
US11803053B2 (en) Display control device and non-transitory tangible computer-readable medium therefor
JP5327025B2 (ja) 車両用走行案内装置、車両用走行案内方法及びコンピュータプログラム
WO2020003750A1 (ja) 車両用表示制御装置、車両用表示制御方法、及び制御プログラム
CN109421535B (zh) 车辆用显示装置和显示控制方法
CN110462699B (zh) 车辆用显示控制装置以及车辆用显示单元
JP6287351B2 (ja) ヘッドアップディスプレイ装置
US20230294517A1 (en) Vehicle display control device, display device, and vehicle display control method
WO2019239709A1 (ja) 移動体用表示制御装置、移動体用表示制御方法、及び制御プログラム
JP2006035995A (ja) 車両用表示装置
JP2009149306A (ja) 車両用表示装置
CN115079411A (zh) 车辆用显示装置
JP6699601B2 (ja) 車両用表示装置
US20200047686A1 (en) Display device, display control method, and storage medium
JP7313896B2 (ja) 車両用表示装置
US20240101138A1 (en) Display system
US20230132456A1 (en) Image processing device, mobile object, image processing method, and storage medium

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200716

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210531

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210608

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210728

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211207

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211208

R150 Certificate of patent or registration of utility model

Ref document number: 6991794

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350