JP2018171971A - Display device for automobile - Google Patents

Display device for automobile Download PDF

Info

Publication number
JP2018171971A
JP2018171971A JP2017070373A JP2017070373A JP2018171971A JP 2018171971 A JP2018171971 A JP 2018171971A JP 2017070373 A JP2017070373 A JP 2017070373A JP 2017070373 A JP2017070373 A JP 2017070373A JP 2018171971 A JP2018171971 A JP 2018171971A
Authority
JP
Japan
Prior art keywords
display
route
automobile
change section
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017070373A
Other languages
Japanese (ja)
Other versions
JP6920088B2 (en
Inventor
徳昭 田口
Noriaki Taguchi
徳昭 田口
雅俊 保科
Masatoshi Hoshina
雅俊 保科
隆良 仲井
Takayoshi Nakai
隆良 仲井
俊介 真壁
Shunsuke Makabe
俊介 真壁
寛基 加藤
Hiroki Kato
寛基 加藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Subaru Corp
Original Assignee
Subaru Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Subaru Corp filed Critical Subaru Corp
Priority to JP2017070373A priority Critical patent/JP6920088B2/en
Publication of JP2018171971A publication Critical patent/JP2018171971A/en
Application granted granted Critical
Publication of JP6920088B2 publication Critical patent/JP6920088B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Abstract

PROBLEM TO BE SOLVED: To provide a display device for an automobile suppressing anxiety of an occupant to running of an automatically operated automobile.SOLUTION: The display device for an automobile comprises: a display part 8 displaying a running image of an automobile M to an occupant D boarded on the automatically operated automobile M; a change section identifying part 5 identifying a change section P1 in which a running direction changes in a target route T2 in which a running route of the automobile M is set; a display route generation part 6 generating a display route S in which the target route T2 is changed so as to smooth the change section P1 identified by the change section identifying part 5; and a display control part 7 causing a display part 8 to change the display router S generated by the display route generation part 6 to the target route T2 and to display the target route T2.SELECTED DRAWING: Figure 2

Description

この発明は、自動車用表示装置に係り、特に、自動運転される自動車に搭乗した搭乗者に対して自動車の走行画像を表示する自動車用表示装置に関する。   The present invention relates to an automobile display device, and more particularly to an automobile display device that displays a running image of an automobile to a passenger who has boarded an automobile that is automatically operated.

従来から、自動運転される自動車に搭乗した搭乗者に対して自動車の走行画像を表示する自動車用表示装置が用いられている。自動車用表示装置は、例えば、自動車を自動運転で走行させる目標経路を入力し、その目標経路を搭乗者に対して表示することで搭乗者が自動車の進路を把握することができ、搭乗者の不安を抑制することができる。
しかしながら、搭乗者に対して複雑な情報を表示すると搭乗者が表示内容をスムーズに理解できないおそれがあった。
2. Description of the Related Art Conventionally, an automobile display device that displays a running image of an automobile to a passenger who has boarded an automobile that is automatically driven has been used. For example, the display device for an automobile inputs a target route for driving the vehicle by automatic driving, and displays the target route for the passenger so that the passenger can grasp the route of the vehicle. Anxiety can be suppressed.
However, if complicated information is displayed to the passenger, the passenger may not be able to understand the displayed content smoothly.

そこで、搭乗者に表示内容をスムーズに伝達する技術として、例えば、特許文献1には、自動運転中の自車両が次に取ろうとしている走行行動を搭乗者に直観的かつ瞬間的に分かり易く予告表示する車両用画像表示システムが提案されている。この車両用画像表示システムは、自車両の走行行動を視覚的なイメージ画像として予告表示させるため、搭乗者に表示内容をスムーズに伝達することができる。   Therefore, as a technique for smoothly transmitting display contents to the passenger, for example, Patent Document 1 discloses that the driving behavior that the vehicle that is being driven automatically is about to be taken next is intuitively and instantaneously understandable to the passenger. A vehicle image display system for displaying a notice has been proposed. Since this vehicle image display system displays the traveling behavior of the host vehicle as a visual image image in advance, the display content can be smoothly transmitted to the passenger.

特開2016−182891号公報JP, 2006-182891, A

しかしながら、特許文献1の車両用画像表示システムでは、自動車を走行させる目標経路と同じ経路の表示を行うため、その表示された経路が搭乗者の運転感覚と異なる場合には搭乗者を不安にさせるおそれがあった。   However, since the vehicle image display system of Patent Document 1 displays the same route as the target route on which the vehicle travels, if the displayed route is different from the driving sensation of the passenger, the passenger is made uneasy. There was a fear.

この発明は、このような従来の問題点を解消するためになされたもので、自動運転される自動車の走行に対する搭乗者の不安を抑制する自動車用表示装置を提供することを目的とする。   The present invention has been made to solve such a conventional problem, and an object of the present invention is to provide an automobile display device that suppresses passengers' anxiety about traveling of an automobile that is automatically driven.

この発明に係る自動車用表示装置は、自動運転される自動車に搭乗した搭乗者に対して自動車の走行画像を表示する表示部と、自動車の走行する経路が設定された目標経路において走行方向が変化する変化区間を特定する変化区間特定部と、変化区間特定部で特定された変化区間を滑らかにするように目標経路を変化させた表示経路を生成する表示経路生成部と、表示経路生成部で生成された表示経路を目標経路に換えて表示部に表示させる表示制御部とを備えるものである。   The display device for a vehicle according to the present invention has a display unit that displays a travel image of a vehicle for a passenger who has boarded the vehicle that is automatically operated, and a travel direction changes in a target route in which a route traveled by the vehicle is set. A change path specifying unit for specifying a change section to be generated, a display path generating unit for generating a display path in which the target path is changed to smooth the change section specified by the change section specifying unit, and a display path generating unit And a display control unit that displays the generated display route on the display unit instead of the target route.

ここで、表示経路生成部は、変化区間の開始位置から変化区間の終了位置を過ぎた位置に設定される目標位置に向かって直線状に滑らかに延びる表示経路を生成することが好ましい。   Here, it is preferable that the display path generation unit generates a display path that extends smoothly in a straight line from a start position of the change section to a target position set at a position past the end position of the change section.

また、変化区間特定部は、目標経路から外れた自動車の走行位置を戻すように目標経路が変更された場合には、変更された目標経路の変化区間を特定し、表示経路生成部は、変更された目標経路の変化区間を滑らかにするように表示経路を生成することができる。
また、変化区間特定部は、自動車が走行する車線内で目標経路から外れた場合には、目標経路から外れた区間を変化区間から除外し、表示制御部は、目標経路を表示部に表示することができる。
In addition, when the target route is changed so as to return the travel position of the automobile that has deviated from the target route, the change interval specifying unit specifies the changed target route change region, and the display route generating unit The display path can be generated so as to smooth the changed section of the target path.
Further, when the change section specifying unit deviates from the target route in the lane in which the vehicle travels, the change section identifying unit excludes the section deviating from the target route from the change section, and the display control unit displays the target route on the display unit. be able to.

また、自動車が走行する車線の形状を取得する車線形状取得部をさらに有し、表示経路生成部は、車線形状取得部で取得された車線の形状に基づいて車線に沿って滑らかに延びる表示経路を生成することが好ましい。   In addition, the vehicle further includes a lane shape acquisition unit that acquires the shape of the lane in which the automobile travels, and the display route generation unit smoothly extends along the lane based on the lane shape acquired by the lane shape acquisition unit. Is preferably generated.

また、表示経路生成部は、車線形状取得部で取得された車線の形状がほぼ一定の幅で曲がる場合に表示経路を生成することができる。   In addition, the display route generation unit can generate a display route when the lane shape acquired by the lane shape acquisition unit bends with a substantially constant width.

また、表示経路生成部は、変化区間の開始位置近傍が自動車の走行方向とほぼ同じ方向に延びる場合には、表示経路を強調して表示部に表示させることができる。   In addition, when the vicinity of the start position of the change section extends in substantially the same direction as the traveling direction of the automobile, the display route generation unit can display the display route with emphasis on the display unit.

この発明によれば、表示経路生成部が変化区間を滑らかにするように目標経路を変化させた表示経路を生成して、表示制御部が生成された表示経路を目標経路に換えて表示部に表示させるので、自動運転される自動車の走行に対する搭乗者の不安を抑制する自動車用表示装置を提供することが可能となる。   According to the present invention, the display route generation unit generates a display route in which the target route is changed so as to smooth the change section, and the display control unit changes the generated display route to the target route to the display unit. Since the display is performed, it is possible to provide a vehicle display device that suppresses the passenger's anxiety about the traveling of the automatically driven vehicle.

この発明の実施の形態1に係る自動車用表示装置を備えた自動車の構成を示す図である。It is a figure which shows the structure of the motor vehicle provided with the display apparatus for motor vehicles based on Embodiment 1 of this invention. 自動車用表示装置の構成を示すブロック図である。It is a block diagram which shows the structure of the display apparatus for motor vehicles. 目標経路に沿って自動車が走行する様子を示す図である。It is a figure which shows a mode that a motor vehicle drive | works along a target path | route. 表示経路を生成する様子を示す図である。It is a figure which shows a mode that a display path | route is produced | generated. 実施の形態2に係る自動車用表示装置の構成を示すブロック図である。4 is a block diagram illustrating a configuration of a display device for an automobile according to Embodiment 2. FIG. 実施の形態2において表示経路を生成する様子を示す図である。FIG. 10 is a diagram illustrating a manner of generating a display path in the second embodiment. 実施の形態3において表示経路を生成する様子を示す図である。FIG. 10 is a diagram showing a state of generating a display path in the third embodiment. 実施の形態4において表示経路を強調表示した様子を示す図である。FIG. 10 is a diagram showing a state in which a display path is highlighted in the fourth embodiment. 実施の形態1〜4の変形例において表示経路を生成する様子を示す図である。It is a figure which shows a mode that a display path | route is produced | generated in the modification of Embodiment 1-4.

以下、この発明の実施の形態を添付図面に基づいて説明する。
実施の形態1
図1に、この発明の実施の形態1に係る自動車用表示装置を備えた自動車の構成を示す。この自動車は、自動運転と手動運転とを切り換え可能に構成されたものであり、運転席1と、運転席1の前方に配置されたインストルメントパネル2と、運転席1とインストルメントパネル2との間に配置されたステアリング3と、インストルメントパネル2に配置された自動車用表示装置4とを有する。
Embodiments of the present invention will be described below with reference to the accompanying drawings.
Embodiment 1
FIG. 1 shows the configuration of an automobile provided with the automobile display device according to Embodiment 1 of the present invention. This vehicle is configured to be able to switch between automatic driving and manual driving, and includes a driver's seat 1, an instrument panel 2 disposed in front of the driver's seat 1, a driver's seat 1 and an instrument panel 2. And a vehicle display device 4 disposed on the instrument panel 2.

インストルメントパネル2は、車室の前部を車幅方向に延びるように配置され、自動運転と手動運転とを切り換えるスイッチなどの様々な車載機器が設けられている。なお、自動運転としては、自動車の運転を完全に制御するものだけでなく、搭乗者Dの運転を部分的に支援する運転支援システムも含むものである。
ステアリング3は、手動運転時に搭乗者Dが自動車を操舵するためのものであり、自動運転時には収納可能に形成されている。
The instrument panel 2 is arranged so that the front part of the passenger compartment extends in the vehicle width direction, and various in-vehicle devices such as a switch for switching between automatic operation and manual operation are provided. In addition, as an automatic driving | operation, not only what controls the driving | operation of a motor vehicle completely but the driving assistance system which partially supports the driving | operation of the passenger D is also included.
The steering 3 is for the passenger D to steer the automobile during manual driving, and is configured to be retractable during automatic driving.

自動車用表示装置4は、運転席1に座る搭乗者Dに対して自動車の走行における安全性を表示するものであり、搭乗者Dの前方において視認可能な位置に配置されている。   The vehicle display device 4 displays the safety in traveling of the vehicle with respect to the passenger D sitting in the driver's seat 1, and is disposed at a position that can be seen in front of the passenger D.

次に、自動車用表示装置4の構成について詳細に説明する。
図2示すように、自動車用表示装置4は、変化区間特定部5を有し、この変化区間特定部5に表示経路生成部6、表示制御部7および表示部8が順次接続されている。また、表示制御部7には走行画像生成部9が接続され、表示経路生成部6と走行画像生成部9から画像生成部10が構成されている。また、変化区間特定部5、画像生成部10および表示制御部7には装置制御部11が接続され、この装置制御部11に運転制御部12が接続されている。
Next, the configuration of the automobile display device 4 will be described in detail.
As shown in FIG. 2, the automobile display device 4 includes a change section specifying unit 5, and a display path generating unit 6, a display control unit 7, and a display unit 8 are sequentially connected to the change section specifying unit 5. In addition, a travel image generation unit 9 is connected to the display control unit 7, and an image generation unit 10 is configured by the display route generation unit 6 and the travel image generation unit 9. A device control unit 11 is connected to the change section specifying unit 5, the image generating unit 10, and the display control unit 7, and an operation control unit 12 is connected to the device control unit 11.

運転制御部12は、搭乗者Dによる自動運転と手動運転の切り換えに応じて自動車の運転を制御する。運転制御部12は、図示しない記憶部と位置取得部とを有し、自動運転時には、記憶部に予め記憶された地図データと位置取得部から得られる自動車の現在の位置とに基づいて、自動車が走行する目的地までの経路を示す目標経路が設定される。そして、運転制御部12は、算出された目標経路に沿って自動車が走行するように自動車の走行を制御する。一方、運転制御部12は、手動運転時には搭乗者Dによるステアリング3などの操作量に応じて自動車の運転を制御する。   The driving control unit 12 controls driving of the automobile in accordance with switching between automatic driving and manual driving by the passenger D. The driving control unit 12 includes a storage unit and a position acquisition unit (not shown), and at the time of automatic driving, the vehicle is based on map data stored in the storage unit in advance and the current position of the vehicle obtained from the position acquisition unit. A target route indicating a route to the destination where the vehicle travels is set. Then, the operation control unit 12 controls the traveling of the automobile so that the automobile travels along the calculated target route. On the other hand, the driving control unit 12 controls the driving of the automobile according to the operation amount of the steering 3 and the like by the passenger D during the manual driving.

変化区間特定部5は、運転制御部12で算出された目標経路において自動車の走行方向が変化する変化区間を特定する。
表示経路生成部6は、変化区間特定部5で特定された変化区間が滑らかになるように目標経路を変化させた表示経路を生成する。
走行画像生成部9は、運転制御部12における地図データと自動車の位置情報とに基づいて自動車が現在走行している位置の周辺情報を示す走行画像を生成する。
The change section specifying unit 5 specifies a change section in which the traveling direction of the vehicle changes in the target route calculated by the driving control unit 12.
The display route generation unit 6 generates a display route in which the target route is changed so that the change section specified by the change section specifying unit 5 is smooth.
The travel image generation unit 9 generates a travel image indicating peripheral information of a position where the vehicle is currently traveling based on the map data in the operation control unit 12 and the position information of the vehicle.

表示制御部7は、走行画像生成部9で生成された自動車の走行画像に表示経路生成部6で生成された表示経路を目標経路に換えて表示部8に表示させる。
表示部8は、インストルメントパネル2において搭乗者Dに視認可能な位置に配置され、表示制御部7の制御の下、搭乗者Dに対して自動車の走行画像と表示経路を表示する。
The display control unit 7 causes the display unit 8 to display the vehicle driving image generated by the driving image generation unit 9 by replacing the display route generated by the display route generation unit 6 with the target route.
The display unit 8 is disposed at a position visible to the occupant D on the instrument panel 2, and displays a running image and a display route of the vehicle for the occupant D under the control of the display control unit 7.

装置制御部11は、運転制御部12から入力される自動運転および手動運転の運転情報に基づいて自動車用表示装置4内の各部の制御を行うものである。
なお、画像生成部10、表示制御部7、装置制御部11および運転制御部12は、CPUと、CPUに各種の処理を行わせるための動作プログラムから構成されるが、それらをデジタル回路で構成してもよい。
The device control unit 11 controls each part in the automobile display device 4 based on the driving information of automatic driving and manual driving input from the driving control unit 12.
The image generation unit 10, the display control unit 7, the device control unit 11, and the operation control unit 12 are composed of a CPU and an operation program for causing the CPU to perform various processes. May be.

次に、この実施の形態の動作について説明する。
まず、図1に示すように、運転席1に座る搭乗者Dがステアリング3を操舵して自動車が運転される。ここで、自動車が自動運転される場合には、図2に示すように、運転制御部12が、地図データと自動車の現在の位置とに基づいて目標経路を算出し、その目標経路に基づいて自動車の運転を制御する。
Next, the operation of this embodiment will be described.
First, as shown in FIG. 1, the passenger D sitting in the driver's seat 1 steers the steering 3 to drive the automobile. Here, when the vehicle is automatically driven, as shown in FIG. 2, the operation control unit 12 calculates a target route based on the map data and the current position of the vehicle, and based on the target route. Control the driving of the car.

この時、運転制御部12は、装置制御部11を介して目標経路の情報を変化区間特定部5に出力する。また、運転制御部12は、装置制御部11を介して地図データおよび自動車の位置情報を画像生成部10の走行画像生成部9に出力する。   At this time, the operation control unit 12 outputs information on the target route to the change section specifying unit 5 via the device control unit 11. In addition, the operation control unit 12 outputs map data and vehicle position information to the travel image generation unit 9 of the image generation unit 10 via the device control unit 11.

走行画像生成部9は、図3に示すように、運転制御部12から入力された地図データおよび自動車Mの位置情報に基づいて、車線R(走行レーン)を走行する自動車Mの周辺情報を示す走行画像を生成する。生成された走行画像は、走行画像生成部9から表示制御部7に出力される。
一方、変化区間特定部5は、運転制御部12から目標経路T1が入力されると、その目標経路T1に沿って自動車Mの走行方向の変化を特定する。この時、目標経路T1において特定された走行方向の変化が所定の値より小さい場合には、画像生成部10を介して目標経路T1の情報を表示制御部7にそのまま出力する。
As illustrated in FIG. 3, the travel image generation unit 9 indicates peripheral information of the vehicle M traveling in the lane R (travel lane) based on the map data input from the operation control unit 12 and the position information of the vehicle M. A running image is generated. The generated travel image is output from the travel image generation unit 9 to the display control unit 7.
On the other hand, when the target route T1 is input from the driving control unit 12, the change section specifying unit 5 specifies a change in the traveling direction of the automobile M along the target route T1. At this time, if the change in the traveling direction specified in the target route T1 is smaller than a predetermined value, the information on the target route T1 is output to the display control unit 7 as it is via the image generation unit 10.

表示制御部7は、自動車Mの走行画像が走行画像生成部9から入力されると共に目標経路T1が変化区間特定部5から入力されると、自動車Mの走行画像に目標経路T1を重ねて表示部8に表示させる。
これにより、自動車Mに搭乗した搭乗者Dが、表示部8に表示された目標経路T1を視認することで自動車Mの進路を明確に把握することができ、自動運転される自動車Mに安心して搭乗することができる。
When the travel image of the vehicle M is input from the travel image generation unit 9 and the target route T1 is input from the change section specifying unit 5, the display control unit 7 displays the target route T1 superimposed on the travel image of the vehicle M. This is displayed on part 8.
Thereby, the passenger D who has boarded the automobile M can clearly grasp the course of the automobile M by visually recognizing the target route T1 displayed on the display unit 8, and the automobile M that is automatically driven can feel at ease. You can board.

ここで、自動車Mが外部環境の変化、例えば横風および轍などの外乱により目標経路T1から突然外れた場合には、運転制御部12により自動車Mの目標経路T1が新たに算出される。例えば、図4に示すように、自動車Mが、右側からの強い横風により目標経路T1から左側に外れたものとする。運転制御部12は、自動車Mの位置情報に基づいて自動車Mの走行位置が目標経路T1から外れていることを検知すると、目標経路T1から外れた自動車Mの走行位置を目標経路T1上に戻すために新たな目標経路T2を算出し、自動車Mの進路を目標経路T1から目標経路T2に変更する。   Here, when the automobile M suddenly deviates from the target route T1 due to changes in the external environment, for example, disturbances such as crosswinds and hail, the operation control unit 12 newly calculates the target route T1 of the automobile M. For example, as shown in FIG. 4, it is assumed that the automobile M has deviated to the left from the target route T1 due to a strong crosswind from the right side. When the driving control unit 12 detects that the traveling position of the automobile M is out of the target route T1 based on the position information of the automobile M, the driving control unit 12 returns the traveling position of the automobile M outside the target route T1 to the target route T1. Therefore, a new target route T2 is calculated, and the route of the automobile M is changed from the target route T1 to the target route T2.

そして、運転制御部12は、算出した目標経路T2を変化区間特定部5に出力する。変化区間特定部5は、運転制御部12から目標経路T2が入力されると、目標経路T1と同様に、目標経路T2に沿って自動車Mの走行方向の変化を探索する。そして、目標経路T2において走行方向の変化が所定の値以上である場合には、その区間を目標経路T2の変化区間P1として特定する。
例えば、運転制御部12が、自動車Mの走行位置を早い段階で元の目標経路T1上に戻す目標経路T2を設定すると、走行方向が大きく変化する変化区間P1が形成される場合がある。なお、変化区間特定部5は、目標経路T2が変化する角度および角度の変化率などに基づいて変化区間P1を特定することができる。特定された変化区間P1は、変化区間特定部5から表示経路生成部6に出力される。
Then, the operation control unit 12 outputs the calculated target route T2 to the change section specifying unit 5. When the target route T2 is input from the driving control unit 12, the change section specifying unit 5 searches for a change in the traveling direction of the automobile M along the target route T2, similarly to the target route T1. And when the change of a running direction is more than a predetermined value in target route T2, the section is specified as change section P1 of target route T2.
For example, when the operation control unit 12 sets a target route T2 that returns the traveling position of the automobile M to the original target route T1 at an early stage, a change section P1 in which the traveling direction greatly changes may be formed. The change section specifying unit 5 can specify the change section P1 based on the angle at which the target route T2 changes, the change rate of the angle, and the like. The identified change section P1 is output from the change section specifying unit 5 to the display path generating unit 6.

変化区間特定部5から表示経路生成部6に目標経路T2の変化区間P1が入力されると、表示経路生成部6は、変化区間P1が全体的に滑らかになるように目標経路T2を変化させた表示経路Sを生成する。
例えば、表示経路生成部6は、上記のように目標経路T1から外れた自動車の走行位置を戻すように目標経路T1が変更された場合には、目標経路T2における変化区間P1の開始位置P2から変化区間P1の終了位置を過ぎた位置に目標位置P3を設定する。目標位置P3としては、例えば、自動車Mが目標経路T2に従って走行した時に、自動車Mの走行位置が元の目標経路T1上に完全に戻ると推定される位置に設定することができる。このようにして、目標位置P3が設定されると、表示経路生成部6は、変化区間P1の開始位置P2から目標位置P3に向かって直線状に滑らかに延びる表示経路Sを生成する。すなわち、表示経路生成部6は、局所的に変化することなく滑らかに延びる表示経路Sを生成する。生成された表示経路Sは、表示経路生成部6から表示制御部7に出力される。
When the change interval P1 of the target route T2 is input from the change interval specifying unit 5 to the display route generation unit 6, the display route generation unit 6 changes the target route T2 so that the change interval P1 is generally smooth. Display path S is generated.
For example, when the target route T1 is changed so as to return the travel position of the automobile that has deviated from the target route T1 as described above, the display route generation unit 6 starts from the start position P2 of the change section P1 in the target route T2. The target position P3 is set at a position past the end position of the change section P1. As the target position P3, for example, when the automobile M travels according to the target route T2, it can be set to a position where it is estimated that the traveling position of the automobile M completely returns to the original target route T1. In this way, when the target position P3 is set, the display path generation unit 6 generates the display path S that smoothly extends linearly from the start position P2 of the change section P1 toward the target position P3. That is, the display path generation unit 6 generates a display path S that extends smoothly without locally changing. The generated display path S is output from the display path generation unit 6 to the display control unit 7.

一方、走行画像生成部9が、上記と同様に、運転制御部12から入力された地図データと自動車Mの位置情報に基づいて自動車Mの走行画像を生成し、その走行画像が表示制御部7に出力される。
表示制御部7は、表示経路生成部6から表示経路Sが入力されると共に走行画像生成部9から自動車Mの走行画像が入力されると、目標経路T2に換えて表示経路Sを走行画像に重ねて表示部8に表示させる。
On the other hand, the driving image generation unit 9 generates a driving image of the car M based on the map data input from the driving control unit 12 and the position information of the car M, as described above, and the driving image is displayed on the display control unit 7. Is output.
When the display route S is input from the display route generation unit 6 and the driving image of the automobile M is input from the driving image generation unit 9, the display control unit 7 changes the display route S to the driving image instead of the target route T2. Overlapping is displayed on the display unit 8.

これにより、自動車Mに搭乗した搭乗者Dが、表示部8に表示された表示経路Sを視認することで自動運転される自動車Mに安心して搭乗することができる。ここで、自動車Mが走行する目標経路T2には、走行方向が大きく変化する変化区間P1が存在する。このため、目標経路T2をそのまま表示部8に表示すると、変化区間P1において自動車Mの走行方向が大きく変化する自動運転に搭乗者Dが不安になるおそれがある。   As a result, the passenger D who has boarded the automobile M can board the automobile M that is automatically driven by viewing the display route S displayed on the display unit 8 with confidence. Here, in the target route T2 on which the automobile M travels, there is a change section P1 in which the travel direction changes greatly. For this reason, if the target route T2 is displayed on the display unit 8 as it is, the passenger D may be anxious about the automatic driving in which the traveling direction of the automobile M greatly changes in the change section P1.

そこで、自動車Mが目標経路T2に沿って走行するのに対し、表示部8には自動車Mの目標経路T2とは異なる表示経路Sを表示する。この表示経路Sは、目標経路T2における変化区間P1の開始位置P2から目標位置P3に向かって直線状に滑らかに延びるように形成されており、搭乗者Dに対して自動車Mの走行方向を大まかに伝えることで、自動運転される自動車Mの走行に対する搭乗者Dの不安を抑制することができる。   Therefore, while the automobile M travels along the target route T2, the display unit 8 displays a display route S different from the target route T2 of the automobile M. The display route S is formed so as to extend smoothly in a straight line from the start position P2 of the change section P1 in the target route T2 toward the target position P3, and the traveling direction of the automobile M with respect to the passenger D is roughly determined. By telling to, the anxiety of the passenger D with respect to the traveling of the automobile M that is automatically driven can be suppressed.

本実施の形態によれば、目標経路T1から外れた自動車Mの走行位置を戻すように目標経路T1が変更された場合には、変化区間特定部5が変更された目標経路T2の変化区間P1を特定し、表示経路生成部6が目標経路T2における変化区間P1の開始位置P2から目標位置P3に向かって直線状に滑らかに延びる表示経路Sを生成するため、自動運転される自動車Mの走行に対する搭乗者Dの不安を抑制することができる。
なお、変化区間特定部5は、自動車Mが走行する車線R内で目標経路T1から外れた場合には、自動車Mの走行方向の変化が小さいとして目標経路T1から外れた区間を変化区間P1から除外することが好ましい。このため、表示経路生成部6は表示経路Sを生成せず、表示制御部7は目標経路T1を表示部8に表示させることになる。
According to the present embodiment, when the target route T1 is changed so as to return the travel position of the automobile M that has deviated from the target route T1, the change interval P1 of the target route T2 changed by the change interval specifying unit 5 The display route generation unit 6 generates a display route S that smoothly extends linearly from the start position P2 of the change section P1 in the target route T2 toward the target position P3. The anxiety of the passenger D with respect to can be suppressed.
Note that, when the vehicle M deviates from the target route T1 in the lane R in which the vehicle M travels, the change segment specifying unit 5 determines that the segment deviating from the target route T1 from the change segment P1 because the change in the traveling direction of the vehicle M is small It is preferable to exclude. For this reason, the display route generation unit 6 does not generate the display route S, and the display control unit 7 causes the display unit 8 to display the target route T1.

実施の形態2
上記の実施の形態1では、表示経路生成部6は、目標経路T2における変化区間P1の開始位置P2から目標位置P3に向かって直線状に滑らかに延びる表示経路Sを生成したが、変化区間P1を滑らかにするように目標経路を変化させた表示経路Sを生成できればよく、この生成方法に限られるものではない。
Embodiment 2
In the first embodiment, the display path generation unit 6 generates the display path S that smoothly extends linearly from the start position P2 of the change section P1 in the target path T2 toward the target position P3. It is only necessary to generate the display path S in which the target path is changed so as to be smooth, and the present invention is not limited to this generation method.

例えば、図5に示すように、実施の形態1において車線形状取得部21を新たに表示経路生成部6に接続することができる。この車線形状取得部21は、自動車Mが走行する車線の形状を取得するものである。車線形状取得部21としては、例えばカメラなどから構成することができる。また、車線形状取得部21は、運転制御部12から地図データを取得して、その地図データに基づいて車線の形状を算出することもできる。
表示経路生成部6は、車線形状取得部21で取得された車線の形状に基づいて車線に沿って滑らかに延びる表示経路Sを生成する。
For example, as shown in FIG. 5, the lane shape acquisition unit 21 can be newly connected to the display route generation unit 6 in the first embodiment. The lane shape acquisition unit 21 acquires the shape of the lane in which the automobile M travels. The lane shape acquisition unit 21 can be composed of, for example, a camera. The lane shape acquisition unit 21 can also acquire map data from the operation control unit 12 and calculate the lane shape based on the map data.
The display route generation unit 6 generates a display route S that extends smoothly along the lane based on the lane shape acquired by the lane shape acquisition unit 21.

例えば、図6に示すように、自動車Mがほぼ一定の幅で緩やかに曲がる車線Rを走行する場合に、運転制御部12は、搭乗者Dに対して連続的に圧力がかかるため、自動車Mを車線Rに沿って走行させずに、自動車Mを目標経路Tに沿って直線的に走行させるものとする。
まず、変化区間特定部5が、運転制御部12から入力された目標経路Tに基づいて目標経路Tにおいて自動車Mの走行方向が変化する変化区間P1を特定する。また、車線形状取得部21が、自動車Mが走行する車線Rの形状を取得する。変化区間特定部5で特定された変化区間P1と車線形状取得部21で取得された車線Rの形状は、表示経路生成部6に出力される。
For example, as shown in FIG. 6, when the automobile M travels on a lane R that bends gently with a substantially constant width, the driving control unit 12 continuously applies pressure to the passenger D. The vehicle M is allowed to travel linearly along the target route T without traveling along the lane R.
First, the change section specifying unit 5 specifies a change section P1 in which the traveling direction of the automobile M changes on the target route T based on the target route T input from the driving control unit 12. The lane shape acquisition unit 21 acquires the shape of the lane R on which the automobile M travels. The changed section P1 specified by the changed section specifying unit 5 and the shape of the lane R acquired by the lane shape acquiring unit 21 are output to the display route generating unit 6.

表示経路生成部6は、変化区間特定部5により変化区間P1が特定された場合には、車線形状取得部21で取得された車線Rの形状に基づいて、変化区間P1の開始位置P1から目標位置P3に向かって車線Rに沿って滑らかに延びる表示経路Sを生成する。この時、表示経路生成部6は、車線形状取得部21で取得された車線Rの形状が一定の幅で曲がる場合には、車線Rに沿って滑らかに延びる表示経路Sを生成することが好ましい。このようにして、表示経路生成部6は、車線Rの中央部を滑らかに延びる表示経路Sを容易に生成することができる。   When the change section P1 is specified by the change section specifying unit 5, the display route generation unit 6 determines the target from the start position P1 of the change section P1 based on the shape of the lane R acquired by the lane shape acquisition unit 21. A display path S that smoothly extends along the lane R toward the position P3 is generated. At this time, when the shape of the lane R acquired by the lane shape acquisition unit 21 bends with a certain width, the display route generation unit 6 preferably generates the display route S that extends smoothly along the lane R. . In this way, the display route generation unit 6 can easily generate the display route S that smoothly extends in the center of the lane R.

これにより、自動車Mは目標経路Tに沿って直線的に走行するのに対し、表示部8には車線Rに沿って延びる表示経路Sが表示される。このように、搭乗者Dに対して自動車Mの走行方向を大まかに伝えることで、自動車Mの自動運転に対する搭乗者Dの不安を抑制することができる。
本実施の形態によれば、表示経路生成部6が車線Rの形状に基づいて車線Rに沿って滑らかに延びる表示経路Sを生成するため、自動車Mの自動運転に対する搭乗者Dの不安を抑制することができる。
As a result, the automobile M travels linearly along the target route T, whereas a display route S extending along the lane R is displayed on the display unit 8. In this way, by roughly reporting the traveling direction of the automobile M to the passenger D, the anxiety of the passenger D with respect to the automatic driving of the automobile M can be suppressed.
According to the present embodiment, since the display route generation unit 6 generates the display route S that smoothly extends along the lane R based on the shape of the lane R, the anxiety of the passenger D with respect to the automatic driving of the automobile M is suppressed. can do.

実施の形態3
上記の実施の形態1では、表示経路生成部6は、目標経路T1から外れた自動車Mの走行位置を戻すように目標経路T1が変更された場合に表示経路Sを生成したが、目標経路における変化区間P1の開始位置P2から変化区間P1の終了位置を過ぎた位置に設定される目標位置P3に向かって直線状に延びる表示経路Sを生成できればよく、目標経路T1が変更された場合に限られるものではない。
Embodiment 3
In the first embodiment, the display route generation unit 6 generates the display route S when the target route T1 is changed so as to return the traveling position of the automobile M that has deviated from the target route T1. It is only necessary to generate a display path S that extends linearly from the start position P2 of the change section P1 to the target position P3 set at a position past the end position of the change section P1, and only when the target path T1 is changed. It is not something that can be done.

例えば、図7に示すように、表示経路生成部6は、目標経路Tを変更しない場合でも表示経路Sを生成することができる。
ここで、自動車Mが走行する車線Rが拡幅するように形成されており、運転制御部12が、自動車Mの走行位置を早い段階で拡幅された車線Rの中央部に変更するように目標経路Tを生成する。これにより、目標経路Tには変化区間P1が生じ、この変化区間P1が変化区間特定部5により特定される。
For example, as shown in FIG. 7, the display route generation unit 6 can generate the display route S even when the target route T is not changed.
Here, the lane R in which the automobile M travels is formed so as to widen, and the operation control unit 12 changes the travel position of the automobile M to the center of the lane R widened at an early stage. T is generated. Thereby, a change section P1 occurs in the target route T, and the change section P1 is specified by the change section specifying unit 5.

表示経路生成部6は、目標経路Tにおける変化区間P1の開始位置P2から変化区間P1の終了位置を過ぎた位置に目標位置P3を設定する。そして、表示経路生成部6は、変化区間P1の開始位置P2から目標位置P3に向かって直線状に滑らかに延びる表示経路Sを生成する。   The display path generation unit 6 sets the target position P3 at a position past the end position of the change section P1 from the start position P2 of the change section P1 in the target path T. Then, the display path generation unit 6 generates a display path S that smoothly extends linearly from the start position P2 of the change section P1 toward the target position P3.

本実施の形態によれば、表示経路生成部6が、目標経路Tにおける変化区間P1の開始位置P2から目標位置P3に向かって直線状に滑らかに延びる表示経路Sを生成するため、自動運転される自動車Mの走行に対する搭乗者Dの不安を抑制することができる。   According to the present embodiment, the display route generator 6 is automatically driven to generate the display route S that smoothly extends linearly from the start position P2 of the change section P1 in the target route T toward the target position P3. The anxiety of the passenger D regarding the traveling of the automobile M can be suppressed.

実施の形態4
上記の実施の形態1〜3において、表示経路生成部6は、目標経路において変化区間P1の開始位置P2近傍が自動車Mの走行方向とほぼ同じ方向に延びる場合には、表示経路を強調して表示部8に表示させることができる。
例えば、図8に示すように、自動車Mの走行位置を遅い段階、すなわち開始位置P2と目標位置P3との中間位置近傍において変更するものとする。この時、目標経路Tの変化区間P1は、開始位置P2近傍が自動車Mの現在の走行方向とほぼ同じ方向に延びるように形成される。
Embodiment 4
In the above first to third embodiments, the display route generation unit 6 emphasizes the display route when the vicinity of the start position P2 of the change section P1 extends in substantially the same direction as the traveling direction of the vehicle M in the target route. It can be displayed on the display unit 8.
For example, as shown in FIG. 8, the traveling position of the automobile M is changed at a late stage, that is, in the vicinity of an intermediate position between the start position P2 and the target position P3. At this time, the change section P1 of the target route T is formed such that the vicinity of the start position P2 extends in substantially the same direction as the current traveling direction of the automobile M.

このように、目標経路Tにおいて変化区間P1の開始位置P2近傍が自動車Mの現在の走行方向とほぼ同じ方向に延びる場合には、自動車Mの走行方向が開始位置P2から緩やかに変更されるため自動車Mに搭乗する搭乗者Dに不安を与えるおそれがある。そこで、表示経路生成部6が、表示経路Sを強調して表示部8に表示することにより、自動車Mの走行方向が変更されることを明確に伝達し、自動運転される自動車Mの走行に対する搭乗者Dの不安を抑制することができる。   As described above, when the vicinity of the start position P2 of the change section P1 in the target route T extends in substantially the same direction as the current travel direction of the automobile M, the travel direction of the automobile M is gradually changed from the start position P2. There is a possibility of giving anxiety to the passenger D boarding the automobile M. Therefore, the display route generation unit 6 highlights the display route S and displays it on the display unit 8 to clearly transmit that the traveling direction of the automobile M is changed, and to the traveling of the automobile M that is automatically driven. The anxiety of the passenger D can be suppressed.

本実施の形態によれば、表示経路生成部6は、目標経路Tにおける変化区間P1の開始位置P2近傍が自動車Mの走行方向とほぼ同じ方向に延びる場合には、表示経路Sを強調して表示部8に表示させるため、自動運転される自動車Mの走行に対する搭乗者Dの不安を抑制することができる。   According to the present embodiment, the display route generation unit 6 emphasizes the display route S when the vicinity of the start position P2 of the change section P1 in the target route T extends in substantially the same direction as the traveling direction of the automobile M. Since it is displayed on the display unit 8, it is possible to suppress the anxiety of the passenger D with respect to the traveling of the automobile M that is automatically driven.

なお、上記の実施の形態1〜4では、表示経路生成部6は、変化区間P1が完全になくすように目標経路を変化させた表示経路Sを生成したが、変化区間P1を滑らか、すなわち変化区間P1の局所的な変化が搭乗者に不安を与えない程度に減少していればよく、変化区間P1を完全になくすものに限られるものではない。
例えば、図9に示すように、実施の形態1において、変化区間P1が変化する角度を搭乗者Dに不安を与えない程度に減少、例えば変化区間P1の変化を半分以上減少させるように表示経路Sを生成することができる。
In the first to fourth embodiments, the display path generation unit 6 generates the display path S in which the target path is changed so that the change section P1 is completely eliminated, but the change section P1 is smooth, that is, changes. It is sufficient that the local change in the section P1 is reduced to such an extent that the passenger does not feel uneasy, and the present invention is not limited to the one that completely eliminates the change section P1.
For example, as shown in FIG. 9, in the first embodiment, the angle at which the change section P1 changes is reduced to such an extent that the occupant D is not worried, for example, the display path so as to reduce the change in the change section P1 by more than half. S can be generated.

また、上記の実施の形態1〜4において、走行画像生成部9は、自動車Mが表示経路Sに沿って走行するように自動車Mの表示を表示経路Sの位置に基づいて修正することができる。すなわち、走行画像生成部9は、目標経路に沿った実際の走行位置に自動車Mを表示するのではなく、表示経路Sに沿った位置に自動車Mの表示を修正する。これにより、表示部8には走行経路Sに沿って移動する自動車Mが表示されるため、表示部8を視認した搭乗者Dに無用な不安を与えることを抑制することができる。   In the first to fourth embodiments, the traveling image generation unit 9 can correct the display of the automobile M based on the position of the display path S so that the automobile M travels along the display path S. . That is, the traveling image generation unit 9 does not display the automobile M at the actual traveling position along the target route, but corrects the display of the automobile M at a position along the display route S. Thereby, since the automobile M moving along the travel route S is displayed on the display unit 8, it is possible to suppress giving unnecessary uneasiness to the passenger D who visually recognizes the display unit 8.

1 運転席、2 インストルメントパネル、3 ステアリング、4 自動車用表示装置、5 変化区間特定部、6 表示経路生成部、7 表示制御部、8 表示部、9 走行画像生成部、10 画像生成部、11 装置制御部、12 運転制御部、21 車線形状取得部、D 搭乗者、M 自動車、R 車線、T,T1,T2 目標経路、P1 変化区間、P2 開始位置、P3 目標位置、S 表示経路。   DESCRIPTION OF SYMBOLS 1 Driver's seat, 2 Instrument panel, 3 Steering, 4 Car display device, 5 Change area specific | specification part, 6 Display route generation part, 7 Display control part, 8 Display part, 9 Traveling image generation part, 10 Image generation part, DESCRIPTION OF SYMBOLS 11 Device control part, 12 Operation control part, 21 Lane shape acquisition part, D passenger, M car, R lane, T, T1, T2 target route, P1 change area, P2 start position, P3 target position, S display route

Claims (7)

自動運転される自動車に搭乗した搭乗者に対して前記自動車の走行画像を表示する表示部と、
前記自動車の走行する経路が設定された目標経路において走行方向が変化する変化区間を特定する変化区間特定部と、
前記変化区間特定部で特定された前記変化区間を滑らかにするように前記目標経路を変化させた表示経路を生成する表示経路生成部と、
前記表示経路生成部で生成された前記表示経路を前記目標経路に換えて前記表示部に表示させる表示制御部とを備える自動車用表示装置。
A display unit for displaying a traveling image of the vehicle for a passenger who has boarded the vehicle to be automatically driven;
A change section identifying unit that identifies a change section in which a traveling direction changes in a target route in which a route on which the vehicle travels is set;
A display path generation unit that generates a display path in which the target path is changed to smooth the change section specified by the change section specifying unit;
A display device for an automobile, comprising: a display control unit that causes the display unit to display the display route generated by the display route generation unit in place of the target route.
前記表示経路生成部は、前記変化区間の開始位置から前記変化区間の終了位置を過ぎた位置に設定される目標位置に向かって直線状に滑らかに延びる前記表示経路を生成する請求項1に記載の自動車用表示装置。   2. The display path generation unit generates the display path that smoothly extends linearly from a start position of the change section to a target position set at a position past the end position of the change section. Automobile display device. 前記変化区間特定部は、前記目標経路から外れた前記自動車の走行位置を戻すように前記目標経路が変更された場合には、変更された前記目標経路の前記変化区間を特定し、
前記表示経路生成部は、変更された前記目標経路の前記変化区間を滑らかにするように前記表示経路を生成する請求項2に記載の自動車用表示装置。
The change section specifying unit specifies the change section of the changed target route when the target route is changed so as to return the travel position of the automobile deviating from the target route,
The automobile display device according to claim 2, wherein the display route generation unit generates the display route so as to smooth the change section of the changed target route.
前記変化区間特定部は、前記自動車が走行する車線内で前記目標経路から外れた場合には、前記目標経路から外れた区間を前記変化区間から除外し、
前記表示制御部は、前記目標経路を前記表示部に表示させる請求項3に記載の自動車用表示装置。
The change section identifying unit excludes a section out of the target route from the change section when the vehicle deviates from the target route in a lane in which the automobile is traveling,
The vehicle display device according to claim 3, wherein the display control unit displays the target route on the display unit.
前記自動車が走行する車線の形状を取得する車線形状取得部をさらに有し、
前記表示経路生成部は、前記車線形状取得部で取得された前記車線の形状に基づいて前記車線に沿って滑らかに延びる前記表示経路を生成する請求項1〜4のいずれか一項に記載の自動車用表示装置。
A lane shape acquisition unit that acquires a shape of a lane in which the automobile travels;
The said display route production | generation part produces | generates the said display route extended smoothly along the said lane based on the shape of the said lane acquired by the said lane shape acquisition part. Display device for automobiles.
前記表示経路生成部は、前記車線形状取得部で取得された前記車線の形状がほぼ一定の幅で曲がる場合に前記表示経路を生成する請求項5に記載の自動車用表示装置。   The automobile display device according to claim 5, wherein the display route generation unit generates the display route when the shape of the lane acquired by the lane shape acquisition unit bends with a substantially constant width. 前記表示経路生成部は、前記変化区間の開始位置近傍が前記自動車の走行方向とほぼ同じ方向に延びる場合には、前記表示経路を強調して前記表示部に表示させる請求項1〜6のいずれか一項に記載の自動車用表示装置。
The display route generation unit highlights the display route and causes the display unit to display the display route when the vicinity of the start position of the change section extends in the same direction as the travel direction of the automobile. The automobile display device according to claim 1.
JP2017070373A 2017-03-31 2017-03-31 Display device for automobiles Active JP6920088B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017070373A JP6920088B2 (en) 2017-03-31 2017-03-31 Display device for automobiles

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017070373A JP6920088B2 (en) 2017-03-31 2017-03-31 Display device for automobiles

Publications (2)

Publication Number Publication Date
JP2018171971A true JP2018171971A (en) 2018-11-08
JP6920088B2 JP6920088B2 (en) 2021-08-18

Family

ID=64107681

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017070373A Active JP6920088B2 (en) 2017-03-31 2017-03-31 Display device for automobiles

Country Status (1)

Country Link
JP (1) JP6920088B2 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021085638A1 (en) * 2019-10-31 2021-05-06 株式会社三英技研 Travel path correction device and travel path correction method
JP2021075256A (en) * 2019-10-31 2021-05-20 株式会社 三英技研 Travel track correction device and travel track correction method

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009119945A1 (en) * 2008-03-25 2009-10-01 Thinkware Systems Corporation Method and apparatus for path displaying of 3d vector enlargement drawing
JP2016182891A (en) * 2015-03-26 2016-10-20 修一 田山 Vehicular image display system and method

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009119945A1 (en) * 2008-03-25 2009-10-01 Thinkware Systems Corporation Method and apparatus for path displaying of 3d vector enlargement drawing
JP2016182891A (en) * 2015-03-26 2016-10-20 修一 田山 Vehicular image display system and method

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021085638A1 (en) * 2019-10-31 2021-05-06 株式会社三英技研 Travel path correction device and travel path correction method
JP2021075256A (en) * 2019-10-31 2021-05-20 株式会社 三英技研 Travel track correction device and travel track correction method

Also Published As

Publication number Publication date
JP6920088B2 (en) 2021-08-18

Similar Documents

Publication Publication Date Title
US10789490B2 (en) Method for calculating a display of additional information for an advertisement, a display unit, apparatus for carrying out the method, and transportation vehicle and computer program
US7739008B2 (en) Reversing assistant
US10710582B2 (en) Electric power steering device
JP5872517B2 (en) Vehicle periphery display device
JP5803807B2 (en) Parking assistance device, parking assistance method, program, and medium
CN111373461A (en) Method for displaying the course of a safety area in front of a vehicle or an object using a display unit, device for carrying out the method, motor vehicle and computer program
JP6277756B2 (en) Steering device control device
JP5311012B2 (en) Vehicle driving support device
JP5852076B2 (en) Vehicle periphery display device
JP5790306B2 (en) Parking assistance device and parking assistance method
US11958496B2 (en) Driving intention recognition
JP4353014B2 (en) Parking assistance device
CN110892464A (en) Parking control device and method
JP6624016B2 (en) Automatic driving control device for vehicles
JP6920088B2 (en) Display device for automobiles
JP2018100008A (en) Vehicular display device
JP2018065515A (en) Operation switching device
JP4416000B2 (en) Parking assistance device
JP6014569B2 (en) Parking assistance device
JP2011255817A (en) Lane deviation preventing device
JP5655919B2 (en) Lane departure prevention device
JP6842344B2 (en) Display device for automobiles
JP6421687B2 (en) Automatic driving device
JP7002207B2 (en) Display device for automobiles
JP2018094931A (en) Parking support device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200226

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210326

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210406

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210601

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210629

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210726

R150 Certificate of patent or registration of utility model

Ref document number: 6920088

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150