JP2016024574A - Display device for vehicle - Google Patents

Display device for vehicle Download PDF

Info

Publication number
JP2016024574A
JP2016024574A JP2014147431A JP2014147431A JP2016024574A JP 2016024574 A JP2016024574 A JP 2016024574A JP 2014147431 A JP2014147431 A JP 2014147431A JP 2014147431 A JP2014147431 A JP 2014147431A JP 2016024574 A JP2016024574 A JP 2016024574A
Authority
JP
Japan
Prior art keywords
obstacle
vehicle
display
image
host vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014147431A
Other languages
Japanese (ja)
Other versions
JP6361347B2 (en
Inventor
謙二 丸山
Kenji Maruyama
謙二 丸山
望月　千弘
Chihiro Mochizuki
千弘 望月
黒田　浩一
Koichi Kuroda
浩一 黒田
則雄 小坂
Norio Kosaka
則雄 小坂
宍戸　真志
Shinji Shishido
真志 宍戸
和弘 竹藤
Kazuhiro Taketo
和弘 竹藤
美咲 浅井
Misaki Asai
美咲 浅井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nissan Motor Co Ltd
Original Assignee
Nissan Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nissan Motor Co Ltd filed Critical Nissan Motor Co Ltd
Priority to JP2014147431A priority Critical patent/JP6361347B2/en
Publication of JP2016024574A publication Critical patent/JP2016024574A/en
Application granted granted Critical
Publication of JP6361347B2 publication Critical patent/JP6361347B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/80—Technologies aiming to reduce greenhouse gasses emissions common to all road transportation technologies
    • Y02T10/84—Data processing systems or methods, management, administration

Landscapes

  • Traffic Control Systems (AREA)
  • Instrument Panels (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide a display device for a vehicle that can reduce a deviation in position between an obstacle and an image showing the obstacle.SOLUTION: A display device for a vehicle photographs an area in front of an own vehicle, detects an obstacle present in front of the own vehicle from the photographed image, and displays an image showing the position of the obstacle on a display part 15. At this time, if the display device for a vehicle has determined that the detected obstacle approaches a travel line in front of the own vehicle, shortens a display update period of the image compared with a case where the display device for a vehicle has determined that the obstacle does not approach the travel line in front of the own vehicle.SELECTED DRAWING: Figure 2

Description

本発明は、車両用表示装置に関する。   The present invention relates to a vehicle display device.

従来より、自車両のフロントガラスに注意喚起を促す画像を表示する車両用表示装置が知られている（特許文献１）。特許文献１では、特定した歩行者の飛び出し危険度が、所定の危険基準を満たす交差点において、注意喚起の表示を行う。   Conventionally, a display device for a vehicle that displays an image for prompting attention on a windshield of the host vehicle is known (Patent Document 1). In Patent Literature 1, a warning is displayed at an intersection where the specified pedestrian's pop-out risk satisfies a predetermined risk criterion.

特開２００６−９２２５８号公報JP 2006-92258 A

しかしながら、特許文献１では、危険度に応じて注意喚起の表示を行うのみで、障害物の動きは考慮されていない。そこで、注意喚起のために障害物の動きを考慮して障害物を示す画像を表示することが求められる。このとき、障害物の動きを正確に表示するには、障害物と障害物を示す画像の位置ずれを低減することが求められる。   However, in patent document 1, only the warning display is performed according to the degree of danger, and the movement of the obstacle is not considered. Therefore, it is required to display an image showing an obstacle in consideration of the movement of the obstacle for alerting. At this time, in order to accurately display the movement of the obstacle, it is required to reduce the positional deviation between the obstacle and the image showing the obstacle.

本発明は、上記問題に鑑みて成されたものであり、その目的は、障害物と障害物を示す画像との位置ずれを低減できる車両用表示装置を提供することである。   The present invention has been made in view of the above problems, and an object of the present invention is to provide a display device for a vehicle that can reduce displacement between an obstacle and an image showing the obstacle.

本発明の一態様に係る車両用表示装置は、自車両の前方の領域を撮影し、撮影した画像から自車両の前方に存在する障害物を検出し、障害物の位置を示す画像を表示部に表示する。このとき、車両用表示装置は、検出した障害物が自車両の前方の走行ラインに近づいていると判断した場合には、障害物が自車両の前方の走行ラインに近づいていないと判断した場合よりも画像の表示更新周期を短くする。   A vehicle display device according to an aspect of the present invention captures an area in front of the host vehicle, detects an obstacle existing in front of the host vehicle from the captured image, and displays an image indicating the position of the obstacle To display. At this time, when the vehicle display device determines that the detected obstacle is approaching the traveling line ahead of the host vehicle, the vehicle display device determines that the obstacle is not approaching the traveling line ahead of the host vehicle. The display update cycle of the image is shortened.

本発明によれば、障害物と障害物を示す画像との位置ずれを低減できる。   ADVANTAGE OF THE INVENTION According to this invention, the position shift with an image which shows an obstruction and an obstruction can be reduced.

図１は、本実施形態に係る車両用表示装置１０の構成を示すブロック図である。FIG. 1 is a block diagram illustrating a configuration of a vehicle display device 10 according to the present embodiment. 図２は、図１の表示コントローラ１４の詳細な構成を示すブロック図である。FIG. 2 is a block diagram showing a detailed configuration of the display controller 14 of FIG. 図３は、図１の車両用表示装置１０を用いた車両用表示方法の一例を示すフローチャートである。FIG. 3 is a flowchart showing an example of a vehicle display method using the vehicle display device 10 of FIG. 図４は、歩行者Ｍの表示例を示す図である。FIG. 4 is a diagram illustrating a display example of the pedestrian M. 図５（ａ）及び（ｂ）は、自車両が直進走行している場合に撮影した画像を加工した図である。FIGS. 5A and 5B are diagrams obtained by processing an image captured when the host vehicle is traveling straight ahead. 図６（ａ）は、歩行者Ｍの表示例を示す図である。図６（ｂ）は、図６（ａ）から周期ｔ０経過直前の歩行者Ｍの表示例を示す図である。図６（ｃ）は、図６（ａ）から周期ｔ１経過直前の歩行者Ｍの表示例を示す図である。FIG. 6A is a diagram illustrating a display example of the pedestrian M. FIG. 6B is a diagram illustrating a display example of the pedestrian M immediately before the elapse of the period t0 from FIG. FIG.6 (c) is a figure which shows the example of a display of the pedestrian M just before progress of the period t1 from Fig.6 (a). 図７は、表示画像Ｐの表示更新周期がｔ１である場合における車両用表示方法の一例を示すタイミングチャートである。FIG. 7 is a timing chart showing an example of the vehicle display method when the display update period of the display image P is t1. 図８は、表示画像Ｐの表示更新周期がｔ０である場合における車両用表示方法の一例を示すタイミングチャートである。FIG. 8 is a timing chart showing an example of the vehicle display method when the display update period of the display image P is t0.

以下、本発明の実施形態について、図面を参照して説明する。図面の記載において同一部分には同一符号を付して説明を省略する。   Hereinafter, embodiments of the present invention will be described with reference to the drawings. In the description of the drawings, the same portions are denoted by the same reference numerals, and description thereof is omitted.

図１を参照して、本実施形態に係る車両用表示装置１０の構成を説明する。車両用表示装置１０は、自車両の前方を撮影する前方カメラ１１と、ドライバカメラ１２と、画像処理部１３と、自車両の窓ガラスのうち自車両の乗員が外部環境を視認可能な領域に画像を表示する表示部１５と、乗員から見て画像が自車両の前方の障害物に重畳するように、少なくとも画像の表示位置を制御する表示コントローラ１４と、自車両の現在位置から予め定めた目的地までの走行予定経路を示す情報を取得する経路情報取得部としてのナビゲーション装置１６と、車速センサ１７を備える。   With reference to FIG. 1, the structure of the display apparatus 10 for vehicles which concerns on this embodiment is demonstrated. The vehicle display device 10 includes a front camera 11 that captures the front of the host vehicle, a driver camera 12, an image processing unit 13, and a window glass of the host vehicle in an area in which an occupant of the host vehicle can visually recognize the external environment. A display unit 15 that displays an image, a display controller 14 that controls at least the display position of the image so that the image is superimposed on an obstacle ahead of the host vehicle, and a current position of the host vehicle. A navigation device 16 as a route information acquisition unit that acquires information indicating a planned travel route to the destination and a vehicle speed sensor 17 are provided.

前方カメラ１１は、ＣＣＤ撮像素子やＣＭＯＳ撮像素子を撮像素子として備え、フロントガラスの内側に配置され、光軸を前方に向けて自車両前方の画像を撮影する。前方カメラ１１は、撮影した画像信号を画像処理部１３へ出力する。   The front camera 11 includes a CCD image pickup device or a CMOS image pickup device as an image pickup device, is disposed inside the windshield, and takes an image in front of the host vehicle with the optical axis directed forward. The front camera 11 outputs the captured image signal to the image processing unit 13.

ドライバカメラ１２は、乗員（たとえば運転者）の目の位置を測定するために、乗員の顔を含む領域を撮像する。ドライバカメラ１２は、撮影した画像信号を画像処理部１３へ出力する。   The driver camera 12 images an area including the face of the occupant in order to measure the position of the occupant (for example, driver) eyes. The driver camera 12 outputs the captured image signal to the image processing unit 13.

画像処理部１３は、画像プロセッサを備えており、前方カメラ１１で撮影された画像信号に対して所定の画像処理を行い、自車両の前方に存在する障害物の位置座標及び自車両に対する相対速度を演算する。そして、画像処理部１３は、障害物の位置及び相対速度ベクトルの座標を表示コントローラ１４へ出力する。また、画像処理部１３は、ドライバカメラ１２で撮影された画像信号に対して所定の画像処理を行い、乗員の視点位置を演算する。そして、画像処理部１３は、乗員の視点位置座標を表示コントローラ１４へ出力する。   The image processing unit 13 includes an image processor, performs predetermined image processing on the image signal captured by the front camera 11, the position coordinates of an obstacle existing in front of the host vehicle, and the relative speed with respect to the host vehicle. Is calculated. Then, the image processing unit 13 outputs the position of the obstacle and the coordinates of the relative velocity vector to the display controller 14. The image processing unit 13 performs predetermined image processing on the image signal photographed by the driver camera 12 and calculates the occupant's viewpoint position. Then, the image processing unit 13 outputs the occupant's viewpoint position coordinates to the display controller 14.

ナビゲーション装置１６は、地図データベースと、ＧＰＳ信号等の測位信号を受信して車両の地図上の現在位置を検出する車両位置検出部と、車両の乗員が予め設定した目的地までの地図上の走行予定経路を算出する経路計算部とを備える。車速センサ１７は、車輪の回転周期から自車両の速度を算出する。   The navigation device 16 includes a map database, a vehicle position detection unit that receives a positioning signal such as a GPS signal and detects a current position on the map of the vehicle, and travels on the map to a destination preset by a vehicle occupant. A route calculation unit for calculating a planned route. The vehicle speed sensor 17 calculates the speed of the host vehicle from the rotation period of the wheels.

表示コントローラ１４は、入力された情報（車両の地図上の位置、走行予定経路、車速、障害物の位置座標、及び乗員の視点位置座標）に基づいて、乗員から見て画像が車両の前方の障害物に重畳するように表示部１５に画像を表示させる。なお、表示コントローラ１４の詳細な構成は図２を参照して後述する。   Based on the input information (the position on the map of the vehicle, the planned travel route, the vehicle speed, the position coordinates of the obstacle, and the viewpoint position coordinates of the occupant), the display controller 14 displays the image in front of the vehicle. An image is displayed on the display unit 15 so as to be superimposed on the obstacle. The detailed configuration of the display controller 14 will be described later with reference to FIG.

表示部１５は、自車両の窓ガラス（たとえばフロントガラス）を表示画面とするヘッドアップディスプレイである。表示部１５は、窓ガラスに画像を虚像として投影する投影部を備える。虚像は、たとえばフロントガラスの進行方向前方において像に集まる。乗員は、フロントガラスに投影された虚像を通じて、進行方向前方において、外部環境（たとえば、自車両前方の障害物）に重畳する画像を視認することができる。   The display unit 15 is a head-up display that uses a window glass (for example, a windshield) of the host vehicle as a display screen. The display unit 15 includes a projection unit that projects an image as a virtual image on the window glass. For example, the virtual image gathers in the image in front of the windshield in the traveling direction. The occupant can visually recognize an image superimposed on the external environment (for example, an obstacle in front of the host vehicle) in front of the traveling direction through a virtual image projected on the windshield.

次に、図２を参照して、図１の表示コントローラ１４の詳細な構成を説明する。表示コントローラ１４は、例えば、自車両に搭載されたマイコンからなり、予めインストールされたコンピュータプログラムをマイコンが実行することにより、次に示す演算部として機能する。即ち、表示コントローラ１４は、障害物検出部２１、接近判断部２２、予測位置演算部２３、及び表示画像生成部２４として機能する。また、前記したコンピュータプログラムには、マイコンを、ナビゲーション装置１６、前方カメラ１１、ドライバカメラ１２、表示部１５の制御部として機能させるためのプログラムも含まれる。   Next, a detailed configuration of the display controller 14 of FIG. 1 will be described with reference to FIG. The display controller 14 is composed of, for example, a microcomputer mounted on the host vehicle, and functions as a calculation unit shown below when the microcomputer executes a computer program installed in advance. That is, the display controller 14 functions as the obstacle detection unit 21, the approach determination unit 22, the predicted position calculation unit 23, and the display image generation unit 24. The computer program described above also includes a program for causing the microcomputer to function as a control unit for the navigation device 16, the front camera 11, the driver camera 12, and the display unit 15.

障害物検出部２１は、画像処理部１３から出力された信号に基づいて自車両の前方に存在する障害物を検出する。本実施形態において障害物とは、自車両の前方の走行ラインに接近する可能性があるものをいい、例えば、先行車両、バイク、自転車、歩行者、小動物である。     The obstacle detection unit 21 detects an obstacle existing ahead of the host vehicle based on the signal output from the image processing unit 13. In the present embodiment, an obstacle refers to an object that may approach a traveling line ahead of the host vehicle, such as a preceding vehicle, a motorcycle, a bicycle, a pedestrian, and a small animal.

接近判断部２２は、障害物が自車両の前方の走行ラインに近づいているか否かを判断する。接近判断部２２が行う判断手法については後述する。   The approach determination unit 22 determines whether an obstacle is approaching the traveling line ahead of the host vehicle. A determination method performed by the approach determination unit 22 will be described later.

予測位置演算部２３は、障害物の位置及び自車両に対する相対速度に基づいて表示部１５に表示される障害物を示す画像（以下、表示画像という）の予測位置を演算する。   The predicted position calculation unit 23 calculates a predicted position of an image indicating an obstacle (hereinafter referred to as a display image) displayed on the display unit 15 based on the position of the obstacle and the relative speed with respect to the host vehicle.

表示画像生成部２４は、表示部１５に表示される表示画像を生成する。   The display image generation unit 24 generates a display image displayed on the display unit 15.

次に、図３のフローチャートを参照して、表示コントローラ１４の処理動作の一例を説明する。まず、ステップＳ１０１において、表示コントローラ１４は、画像の表示更新周期に係るタイマーｔをリセットしてスタートさせる。本実施形態において、表示コントローラ１４がタイマーｔをリセットする際に、表示部１５に表示される表示画像Ｐを図４に示す。図４に示す場面は、自車両が交差点手前で停車していて、歩行者Ｍが自車両の前方の走行ラインに近づこうとしている場面である。表示画像Ｐは、歩行者Ｍの下部に重畳表示される直線画像であって運転者に対して歩行者Ｍの位置を示す。   Next, an example of the processing operation of the display controller 14 will be described with reference to the flowchart of FIG. First, in step S101, the display controller 14 resets and starts a timer t related to an image display update cycle. In the present embodiment, a display image P displayed on the display unit 15 when the display controller 14 resets the timer t is shown in FIG. The scene shown in FIG. 4 is a scene where the host vehicle is stopped in front of the intersection and the pedestrian M is approaching the traveling line ahead of the host vehicle. The display image P is a linear image superimposed on the lower part of the pedestrian M and shows the position of the pedestrian M with respect to the driver.

次に、ステップＳ１０２において、表示コントローラ１４は、前方カメラ１１及びドライバカメラ１２を制御して画像を取得する。   Next, in step S102, the display controller 14 acquires the image by controlling the front camera 11 and the driver camera 12.

次に、ステップＳ１０３において、障害物検出部２１は、ステップＳ１０２で取得した画像を用いて自車両前方の障害物を検出する。障害物検出部２１が障害物を検出しない場合、表示コントローラ１４は、一連の処理を終了する。障害物検出部２１が障害物を検出した場合、ステップＳ１０４に処理が進む。本実施形態において、障害物検出部２１は、障害物として歩行者Ｍを検出したとする。   Next, in step S103, the obstacle detection unit 21 detects an obstacle ahead of the host vehicle using the image acquired in step S102. When the obstacle detection unit 21 does not detect an obstacle, the display controller 14 ends the series of processes. If the obstacle detection unit 21 detects an obstacle, the process proceeds to step S104. In the present embodiment, it is assumed that the obstacle detection unit 21 detects a pedestrian M as an obstacle.

次に、ステップＳ１０４において、接近判断部２２は、歩行者Ｍが自車両の前方の走行ラインに近づいているか否かを判断する。接近判断部２２は、例えば図５（ａ）に示すように、歩行者Ｍが垂線Ｌ２に近づいた場合に、歩行者Ｍが自車両の前方の走行ラインＬ４に近づいていると判断することができる。垂線Ｌ２は、消失点Ｗから画面下側に垂直に下した線である。図５（ａ）に示すＬ１は、車道と歩道の境界に設けられた縁石を示す境界線である。消失点Ｗは、左右の境界線Ｌ１の交点であり、自車両が走行する走行ラインＬ４が消失する点を示す。   Next, in step S104, the approach determination unit 22 determines whether or not the pedestrian M is approaching the traveling line ahead of the host vehicle. For example, as shown in FIG. 5A, the approach determination unit 22 may determine that the pedestrian M is approaching the traveling line L4 in front of the host vehicle when the pedestrian M approaches the vertical line L2. it can. The perpendicular line L2 is a line that extends vertically from the vanishing point W to the lower side of the screen. L1 shown to Fig.5 (a) is a boundary line which shows the curb provided in the boundary of a roadway and a sidewalk. The vanishing point W is an intersection of the left and right boundary lines L1, and indicates a point where the traveling line L4 on which the host vehicle travels disappears.

なお、自車両の移動速度は、歩行者Ｍの移動速度より大幅に早いため、歩行者Ｍが垂線Ｌ２に近づく方向に移動している場合でも、接近判断部２２は、歩行者Ｍが垂線Ｌ２から遠ざかる方向に移動していると判断する場合が考えられる。そこで、接近判断部２２は、以下のようにして、歩行者Ｍが自車両の前方の走行ラインＬ４に近づいているか否かを判断してもよい。すなわち、接近判断部２２は、図５（ｂ）に示すように、消失点Ｗから画面下側に所定の角度を設けて複数の補助線Ｌ３を引き、歩行者Ｍに重なる補助線Ｌ３を検出する。そして、接近判断部２２は、歩行者Ｍが、歩行者Ｍに重なる補助線Ｌ３から垂線Ｌ２に近いほうの補助線Ｌ３に近づく場合は、歩行者Ｍが自車両の前方の走行ラインＬ４に近づいていると判断することができる。一方、接近判断部２２は、歩行者Ｍが、歩行者Ｍに重なる補助線Ｌ３から画面外側の補助線Ｌ３に近づく場合は、歩行者Ｍが自車両の前方の走行ラインＬ４に近づいていないと判断することができる。   In addition, since the moving speed of the own vehicle is significantly faster than the moving speed of the pedestrian M, even when the pedestrian M is moving in a direction approaching the perpendicular L2, the approach determination unit 22 determines that the pedestrian M is perpendicular to the perpendicular L2. The case where it is judged that it is moving in the direction away from the distance can be considered. Therefore, the approach determination unit 22 may determine whether or not the pedestrian M is approaching the traveling line L4 in front of the host vehicle as follows. That is, as shown in FIG. 5 (b), the approach determination unit 22 draws a plurality of auxiliary lines L <b> 3 by providing a predetermined angle from the vanishing point W to the lower side of the screen, and detects the auxiliary line L <b> 3 overlapping the pedestrian M. To do. Then, when the pedestrian M approaches the auxiliary line L3 closer to the perpendicular L2 from the auxiliary line L3 overlapping the pedestrian M, the approach determination unit 22 approaches the traveling line L4 in front of the host vehicle. Can be determined. On the other hand, when the pedestrian M approaches the auxiliary line L3 on the outer side of the screen from the auxiliary line L3 overlapping the pedestrian M, the approach determination unit 22 determines that the pedestrian M has not approached the traveling line L4 in front of the host vehicle. Judgment can be made.

接近判断部２２によって歩行者Ｍが自車両の前方の走行ラインＬ４に近づいていると判断された場合、ステップＳ１０５に処理が進む。一方、接近判断部２２によって歩行者Ｍが自車両の前方の走行ラインＬ４に近づいていないと判断された場合、ステップＳ１０９に処理が進む。   If the approach determination unit 22 determines that the pedestrian M is approaching the traveling line L4 in front of the host vehicle, the process proceeds to step S105. On the other hand, if the approach determination unit 22 determines that the pedestrian M has not approached the travel line L4 ahead of the host vehicle, the process proceeds to step S109.

ステップＳ１０５〜１０８は、周期ｔ１で処理が進み、ステップＳ１０９〜１１２は、周期ｔ０で処理が進む。ここで、周期ｔ０と周期ｔ１の関係について説明する。まず、本実施形態において周期とは、表示画像Ｐの表示更新に係る時間を示す。また、周期ｔ０は、通常時の表示更新周期である。周期ｔ０及び周期ｔ１は、周期ｔ０＞周期ｔ１なる関係を有する。すなわち、本実施形態において、表示コントローラ１４は、歩行者Ｍが自車両の前方の走行ラインＬ４に近づいていない場合は、周期ｔ０で表示画像Ｐを更新する一方、歩行者Ｍが自車両の前方の走行ラインＬ４に近づいている場合は、周期ｔ０より短い周期ｔ１で表示画像Ｐを更新する。図６を参照してこの点を詳細に説明する。   Processing proceeds from step S105 to step 108 at cycle t1, and processing proceeds from step S109 to step 112 at cycle t0. Here, the relationship between the cycle t0 and the cycle t1 will be described. First, in the present embodiment, the period indicates a time related to display update of the display image P. The period t0 is a normal display update period. The cycle t0 and the cycle t1 have a relationship of cycle t0> cycle t1. That is, in this embodiment, when the pedestrian M is not approaching the traveling line L4 in front of the host vehicle, the display controller 14 updates the display image P at the period t0, while the pedestrian M is in front of the host vehicle. Display image P is updated at a period t1 shorter than the period t0. This point will be described in detail with reference to FIG.

図６（ａ）の状況から歩行者Ｍが自車両の前方の走行ラインＬ４に近づくにしたがい、歩行者Ｍと表示画像Ｐの位置関係は徐々にずれていくことになる。歩行者Ｍが自車両の前方の走行ラインＬ４に近づくということは、歩行者Ｍと自車両とが衝突する可能性があるといえる。このため、安全上の観点からこの位置ずれが発生している時間を短くすることが望ましい。そこで、歩行者Ｍが自車両の前方の走行ラインＬ４に近づいている場合、表示コントローラ１４は、周期ｔ０から周期ｔ１に切り替えて表示更新周期を短くする。これにより、図６（ｂ）に示すように、歩行者Ｍと表示画像Ｐの位置関係がずれる前に表示画像Ｐを更新することができ、歩行者Ｍと表示画像Ｐの位置ずれを低減することができる。一方、図６（ｃ）に示すように、表示更新周期をｔ０から変更しない場合、歩行者Ｍと表示画像Ｐの位置関係が大きくずれるおそれがある。なお、表示コントローラ１４は表示部１５に複数の表示画像Ｐを表示できるが、表示コントローラ１４が有するリソース（情報処理能力や描画能力など）には限りがある。このため、歩行者Ｍが自車両の前方の走行ラインＬ４に近づいている場合、表示コントローラ１４は、この歩行者Ｍを示す表示画像Ｐの処理に優先的にリソースを配分し、表示更新周期を短くする。   The positional relationship between the pedestrian M and the display image P gradually shifts as the pedestrian M approaches the traveling line L4 in front of the host vehicle from the situation of FIG. If the pedestrian M approaches the traveling line L4 in front of the host vehicle, it can be said that the pedestrian M and the host vehicle may collide. For this reason, it is desirable to shorten the time during which this positional deviation occurs from the viewpoint of safety. Therefore, when the pedestrian M is approaching the traveling line L4 in front of the host vehicle, the display controller 14 switches from the cycle t0 to the cycle t1 to shorten the display update cycle. As a result, as shown in FIG. 6B, the display image P can be updated before the positional relationship between the pedestrian M and the display image P is shifted, and the positional deviation between the pedestrian M and the display image P is reduced. be able to. On the other hand, as shown in FIG. 6C, when the display update cycle is not changed from t0, the positional relationship between the pedestrian M and the display image P may be greatly shifted. The display controller 14 can display a plurality of display images P on the display unit 15, but the resources (information processing capability, drawing capability, etc.) of the display controller 14 are limited. For this reason, when the pedestrian M is approaching the traveling line L4 ahead of the host vehicle, the display controller 14 preferentially allocates resources to the processing of the display image P showing the pedestrian M, and sets the display update cycle. shorten.

図３のフローチャートに戻り、ステップＳ１０５において、予測位置演算部２３は、ステップＳ１０２で取得した画像から、歩行者Ｍの位置及び自車両に対する相対速度を算出し、タイマーｔがスタートしてから周期ｔ１経過後の歩行者Ｍの予測位置を演算する。これにより、表示コントローラ１４は、表示更新の際の通信や演算に係る時間中に自車両及び歩行者Ｍが移動することによって発生する位置ずれを低減することができる。   Returning to the flowchart of FIG. 3, in step S105, the predicted position calculation unit 23 calculates the position of the pedestrian M and the relative speed with respect to the host vehicle from the image acquired in step S102, and the period t1 after the timer t is started. The predicted position of the pedestrian M after the lapse is calculated. Thereby, the display controller 14 can reduce the position shift which generate | occur | produces when the own vehicle and the pedestrian M move during the time concerning the communication and calculation at the time of display update.

次に、ステップＳ１０６において、表示画像生成部２４は、表示画像Ｐを生成する。   Next, in step S106, the display image generation unit 24 generates a display image P.

次に、ステップＳ１０７において、表示コントローラ１４は、タイマーｔをスタートさせてから周期ｔ１を経過したか否かを判断する。タイマーｔが周期ｔ１を経過した場合、処理がステップＳ１０８に進む。タイマーｔが周期ｔ１を経過していない場合、表示コントローラ１４は、処理を待機させる。タイマーｔが周期ｔ１を経過するまで処理を待機させる理由は、予測位置演算部２３がステップＳ１０５においてタイマーｔが周期ｔ１を経過した後の表示画像Ｐの予測位置を演算しているからである。   Next, in step S107, the display controller 14 determines whether or not the period t1 has elapsed since the timer t was started. When the timer t has passed the period t1, the process proceeds to step S108. When the timer t has not passed the period t1, the display controller 14 waits for processing. The reason why the process waits until the timer t passes the period t1 is that the predicted position calculation unit 23 calculates the predicted position of the display image P after the timer t has passed the period t1 in step S105.

次に、ステップＳ１０８において、表示コントローラ１４は、表示画像Ｐを更新して表示部１５に表示する。その後、処理がステップＳ１０１に戻り、表示コントローラ１４は、次の周期の表示処理を開始する。   Next, in step S108, the display controller 14 updates the display image P and displays it on the display unit 15. Thereafter, the process returns to step S101, and the display controller 14 starts display processing of the next cycle.

ステップＳ１０９において、ステップＳ１０５と同様に、予測位置演算部２３は、ステップＳ１０２で取得した画像から、歩行者Ｍの位置及び自車両に対する相対速度を算出し、タイマーｔがスタートしてから周期ｔ０経過後の歩行者Ｍの予測位置を演算する。   In step S109, as in step S105, the predicted position calculation unit 23 calculates the position of the pedestrian M and the relative speed with respect to the host vehicle from the image acquired in step S102, and the period t0 has elapsed since the timer t started. The predicted position of the subsequent pedestrian M is calculated.

次に、ステップＳ１１０において、ステップＳ１０６と同様に、表示画像生成部２４は、表示画像Ｐを生成する。   Next, in step S110, as in step S106, the display image generation unit 24 generates a display image P.

次に、ステップＳ１１１において、ステップＳ１０７と同様に、表示コントローラ１４は、タイマーｔをスタートさせてから周期ｔ０を経過したか否かを判断する。タイマーｔが周期ｔ０を経過した場合、処理がステップＳ１１２に進む。タイマーｔが周期ｔ０を経過していない場合、表示コントローラ１４は、処理を待機させる。   Next, in step S111, as in step S107, the display controller 14 determines whether or not the period t0 has elapsed since the timer t was started. When the timer t has passed the period t0, the process proceeds to step S112. When the timer t has not passed the period t0, the display controller 14 waits for processing.

次に、ステップＳ１１２において、ステップＳ１０８と同様に、表示コントローラ１４は、表示画像Ｐを更新して表示部１５に表示する。その後、処理がステップＳ１０１に戻り、表示コントローラ１４は、次の周期の表示処理を開始する。   Next, in step S112, as in step S108, the display controller 14 updates the display image P and displays it on the display unit 15. Thereafter, the process returns to step S101, and the display controller 14 starts display processing of the next cycle.

このように、接近判断部２２によって歩行者Ｍが自車両の前方の走行ラインＬ４に近づいていると判断された場合、表示コントローラ１４は表示画像Ｐの表示更新周期をｔ０からｔ０より短いｔ１に切り替える。ここで、図７及び図８を参照して、表示更新周期をｔ０からｔ０より短いｔ１に切り替えた場合の効果を説明する。図７は、周期ｔ１におけるタイミングチャートであり、図８は周期ｔ０におけるタイミングチャートである。図７に示すように、表示コントローラ１４は、周期ｔ１ごとに、図３に示すフローチャートのステップＳ１０１〜１０８までの処理を行って次の周期に表示するコマを演算し、周期ｔ１経過後に、演算したコマを表示する。また、図８に示すように、表示コントローラ１４は、周期ｔ０ごとに、図３に示すフローチャートのステップＳ１０１〜１０４及びステップＳ１０９〜１１２までの処理を行って次の周期に表示するコマを演算し、周期ｔ０経過後に、演算したコマを表示する。図７及び図８に示すように、表示を更新した直後は、位置ずれがもっとも少ない。その後、時間が経過するにしたがい、位置ずれが大きくなっていく。このとき、図７に示す周期ｔ１の場合は、図８に示す周期ｔ０より表示更新周期が短いため、位置ずれが発生している時間を短くすることができ、さらに位置ずれの最大値を抑えることができる。   As described above, when the approach determination unit 22 determines that the pedestrian M is approaching the traveling line L4 in front of the host vehicle, the display controller 14 changes the display update period of the display image P from t0 to t1 shorter than t0. Switch. Here, with reference to FIG. 7 and FIG. 8, the effect when the display update cycle is switched from t0 to t1 shorter than t0 will be described. FIG. 7 is a timing chart in the period t1, and FIG. 8 is a timing chart in the period t0. As shown in FIG. 7, the display controller 14 calculates the frames to be displayed in the next cycle by performing the processing from steps S101 to S108 in the flowchart shown in FIG. 3 for each cycle t1, and calculates after the cycle t1. Display the selected frame. Further, as shown in FIG. 8, the display controller 14 performs the processing from step S101 to step S104 and step S109 to step 112 in the flowchart shown in FIG. After the period t0 has elapsed, the calculated frame is displayed. As shown in FIGS. 7 and 8, the position shift is the smallest immediately after the display is updated. Thereafter, as time elapses, the positional deviation increases. At this time, in the case of the cycle t1 shown in FIG. 7, since the display update cycle is shorter than the cycle t0 shown in FIG. 8, the time during which the positional deviation occurs can be shortened, and the maximum value of the positional deviation is further suppressed. be able to.

なお、本実施形態において、表示画像Ｐとして、歩行者Ｍの下側に直線上の画像として説明したが、表示画像Ｐはこれに限られない。例えば、歩行者Ｍを四角枠で囲うように表示してもよいし、歩行者Ｍを矢印で示すように表示してもよい。   In the present embodiment, the display image P has been described as a straight image below the pedestrian M, but the display image P is not limited to this. For example, the pedestrian M may be displayed so as to be surrounded by a square frame, or the pedestrian M may be displayed as indicated by an arrow.

以上説明したように、本実施形態に係る車両用表示装置１０は、歩行者Ｍが自車両の前方の走行ラインＬ４に近づいていると判断した場合、歩行者Ｍが自車両の前方の走行ラインＬ４に近づいていないと判断した場合より表示画像Ｐの表示更新周期を短くする。これにより、車両用表示装置１０は、歩行者Ｍと歩行者Ｍを示す表示画像Ｐの位置ずれを低減することができる。   As described above, when the vehicle display device 10 according to the present embodiment determines that the pedestrian M is approaching the travel line L4 in front of the host vehicle, the pedestrian M travels in front of the host vehicle. The display update period of the display image P is shortened compared to the case where it is determined that it is not approaching L4. Thereby, the display apparatus 10 for vehicles can reduce the position shift of the display image P which shows the pedestrian M and the pedestrian M. FIG.

また、本実施形態に係る車両用表示装置１０は、歩行者Ｍが垂線Ｌ２に近づいている場合に、歩行者Ｍが自車両の前方の走行ラインＬ４に近づいていると判断することができる。これにより、車両用表示装置１０は、歩行者Ｍが自車両の前方の走行ラインＬ４に近づいているか否かを容易に判断することができる。   Moreover, the display apparatus 10 for vehicles which concerns on this embodiment can judge that the pedestrian M is approaching the driving line L4 ahead of the own vehicle, when the pedestrian M is approaching the perpendicular L2. Thereby, the display apparatus 10 for vehicles can determine easily whether the pedestrian M is approaching the driving line L4 ahead of the own vehicle.

また、本実施形態に係る車両用表示装置１０は、歩行者Ｍに重なる補助線Ｌ３を検出し、歩行者Ｍが、歩行者Ｍに重なる補助線Ｌ３から垂線Ｌ２に近いほうの補助線Ｌ３に近づく場合は、歩行者Ｍが自車両の前方の走行ラインＬ４に近づいていると判断することができる。これにより、車両用表示装置１０は、歩行者Ｍが自車両の前方の走行ラインＬ４に近づいているか否かを容易に判断することができる。   Further, the vehicle display device 10 according to the present embodiment detects the auxiliary line L3 that overlaps the pedestrian M, and the pedestrian M moves from the auxiliary line L3 that overlaps the pedestrian M to the auxiliary line L3 that is closer to the perpendicular line L2. When approaching, it can be determined that the pedestrian M is approaching the traveling line L4 in front of the host vehicle. Thereby, the display apparatus 10 for vehicles can determine easily whether the pedestrian M is approaching the driving line L4 ahead of the own vehicle.

また、本実施形態に係る車両用表示装置１０は、歩行者Ｍの位置及び自車両に対する相対速度に基づいて表示画像Ｐを表示する予測位置を演算するため、表示更新の際の通信や演算に係る時間中に歩行者Ｍが移動することによって発生する位置ずれを低減することができる。   In addition, the vehicle display device 10 according to the present embodiment calculates a predicted position where the display image P is displayed based on the position of the pedestrian M and the relative speed with respect to the host vehicle. It is possible to reduce misalignment caused by movement of the pedestrian M during the time.

上記のように、本発明の実施形態を記載したが、この開示の一部をなす論述及び図面はこの発明を限定するものであると理解すべきではない。この開示から当業者には様々な代替実施の形態、実施例及び運用技術が明らかとなろう。例えば、歩行者Ｍが自車両の前方の走行ラインＬ４に近づいていて、かつ歩行者Ｍが車道に存在している場合は、歩行者Ｍが歩道に存在する場合より危険な状況であるといえる。換言すれば、このような状況は、歩行者Ｍが自車両に衝突する可能性が高いといえる。そこで、車両用表示装置１０は、歩行者Ｍが車道に存在する場合は、歩行者Ｍが歩道に存在する場合より表示画像Ｐの表示更新周期を短くするようにしてもよい。これにより、車両用表示装置１０は、歩行者Ｍが自車両に衝突する可能性が高い場合の位置ずれをさらに低減することができる。   Although the embodiments of the present invention have been described as described above, it should not be understood that the descriptions and drawings constituting a part of this disclosure limit the present invention. From this disclosure, various alternative embodiments, examples and operational techniques will be apparent to those skilled in the art. For example, when the pedestrian M is approaching the driving line L4 ahead of the host vehicle and the pedestrian M is present on the roadway, it can be said that the situation is more dangerous than when the pedestrian M is present on the sidewalk. . In other words, it can be said that such a situation has a high possibility that the pedestrian M will collide with the own vehicle. Therefore, the vehicle display device 10 may shorten the display update period of the display image P when the pedestrian M exists on the roadway than when the pedestrian M exists on the sidewalk. Thereby, the display apparatus 10 for vehicles can further reduce position shift when the possibility that the pedestrian M will collide with the own vehicle is high.

１０ 車両用表示装置
１１ 前方カメラ（撮影部）
１２ ドライバカメラ
１３ 画像処理部
１４ 表示コントローラ（表示制御部）
１５ 表示部
１６ ナビゲーション装置
１７ 車速センサ
２１ 障害物検出部
２２ 接近判断部
２３ 予測位置演算部
２４ 表示画像生成部 DESCRIPTION OF SYMBOLS 10 Display apparatus 11 for vehicles Front camera (photographing part)
12 Driver Camera 13 Image Processing Unit 14 Display Controller (Display Control Unit)
DESCRIPTION OF SYMBOLS 15 Display part 16 Navigation apparatus 17 Vehicle speed sensor 21 Obstacle detection part 22 Approach judgment part 23 Predicted position calculation part 24 Display image generation part

Claims (5)

自車両の前方の領域を撮影した撮影画像を取得する撮影部と、
前記撮影画像から前記自車両の前方に存在する障害物を検出する障害物検出部と、
前記自車両の窓ガラスのうち前記自車両の乗員が前記障害物を視認可能な領域に前記障害物の位置を示す画像を表示する表示部と、
前記乗員から見て前記画像が前記障害物に重畳するように、少なくとも前記画像の表示位置を制御する表示制御部と、
前記障害物が前記自車両の前方の走行ラインに近づいているか否かを検出する接近判断部と、を備え、
前記表示制御部は、前記接近判断部によって前記障害物が前記自車両の前方の走行ラインに近づいていると判断された場合には、前記接近判断部によって前記障害物が前記自車両の前方の走行ラインに近づいていないと判断された場合よりも前記画像の表示更新周期を短くする
ことを特徴とする車両用表示装置。 A photographing unit for obtaining a photographed image obtained by photographing a region in front of the host vehicle;
An obstacle detection unit for detecting an obstacle present in front of the host vehicle from the captured image;
A display unit that displays an image indicating the position of the obstacle in a region where a passenger of the own vehicle can visually recognize the obstacle in the window glass of the own vehicle;
A display control unit that controls at least a display position of the image so that the image is superimposed on the obstacle as seen from the occupant;
An approach determination unit that detects whether or not the obstacle is approaching a traveling line ahead of the host vehicle,
When the approach determining unit determines that the obstacle is approaching a traveling line ahead of the host vehicle, the display control unit is configured so that the obstacle determining unit determines whether the obstacle is in front of the host vehicle. The vehicle display device, wherein the display update cycle of the image is made shorter than when it is determined that the vehicle is not approaching the travel line. 前記撮影画像の車道が消失する消失点から垂直に前記撮影画像の下側に引いた垂線に前記障害物が近づいた場合、前記接近判断部は、前記障害物が前記自車両の前方の走行ラインに近づいていると判断することを特徴とする請求項１に記載の車両用表示装置。   When the obstacle approaches a vertical line drawn vertically below the photographed image from the vanishing point where the roadway of the photographed image disappears, the approach determination unit determines that the obstacle is a travel line ahead of the host vehicle. The vehicle display device according to claim 1, wherein it is determined that the vehicle is approaching. 前記接近判断部は、前記消失点から前記撮影画像の下側に所定の角度を設けて引いた複数の補助線のうち、前記障害物と重なる第１補助線を検出し、前記障害物が前記第１補助線から前記垂線に近いほうの補助線に近づいた場合、前記障害物が前記自車両の前方の走行ラインに近づいていると判断することを特徴とする請求項２に記載の車両用表示装置。   The approach determination unit detects a first auxiliary line that overlaps the obstacle from a plurality of auxiliary lines drawn from the vanishing point at a predetermined angle below the captured image, and the obstacle is the 3. The vehicle according to claim 2, wherein the obstacle is determined to be approaching a traveling line ahead of the host vehicle when approaching an auxiliary line closer to the perpendicular from the first auxiliary line. Display device. 前記障害物検出部は、前記障害物の位置及び前記自車両に対する前記障害物の相対速度を検出し、
前記表示制御部は、前記障害物の位置及び相対速度に基づいて、前記画像の表示位置を制御することを特徴とする請求項１〜３のいずれか１項に記載の車両用表示装置。 The obstacle detection unit detects a position of the obstacle and a relative speed of the obstacle with respect to the host vehicle,
The vehicle display device according to claim 1, wherein the display control unit controls a display position of the image based on a position and a relative speed of the obstacle. 前記表示制御部は、前記障害物が車道に存在する場合は、前記障害物が歩道に存在する場合よりも前記画像の表示更新周期を短くすることを特徴とする請求項１〜４のいずれか１項に記載の車両用表示装置。   5. The display control unit according to claim 1, wherein, when the obstacle is present on a roadway, the display update period of the image is made shorter than when the obstacle is present on a sidewalk. The vehicle display device according to item 1.
JP2014147431A 2014-07-18 2014-07-18 Vehicle display device Active JP6361347B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014147431A JP6361347B2 (en) 2014-07-18 2014-07-18 Vehicle display device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014147431A JP6361347B2 (en) 2014-07-18 2014-07-18 Vehicle display device

Publications (2)

Publication Number Publication Date
JP2016024574A true JP2016024574A (en) 2016-02-08
JP6361347B2 JP6361347B2 (en) 2018-07-25

Family

ID=55271296

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014147431A Active JP6361347B2 (en) 2014-07-18 2014-07-18 Vehicle display device

Country Status (1)

Country Link
JP (1) JP6361347B2 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018081050A (en) * 2016-11-18 2018-05-24 株式会社Ｓｏｋｅｎ Object detection device
JP2019038372A (en) * 2017-08-25 2019-03-14 株式会社Ｓｕｂａｒｕ Image display device

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006338282A (en) * 2005-06-01 2006-12-14 Sony Corp Surrounding vehicle information providing system, position information transmitter, position information transmitting method, position information receiver, position information receiving method and surrounding vehicle information providing device
JP2006350934A (en) * 2005-06-20 2006-12-28 Denso Corp Information display device
JP2007087337A (en) * 2005-09-26 2007-04-05 Toyota Motor Corp Vehicle peripheral information display device
JP2008062762A (en) * 2006-09-06 2008-03-21 Fujitsu Ten Ltd Drive assist device and drive assist method
JP2011119917A (en) * 2009-12-02 2011-06-16 Denso Corp Display device for vehicle
JP2012073677A (en) * 2010-09-27 2012-04-12 Kyocera Corp On-vehicle imaging apparatus and traffic system
JP2012218505A (en) * 2011-04-05 2012-11-12 Denso Corp Display device for vehicle
JP2013080422A (en) * 2011-10-05 2013-05-02 Denso Corp Display device for vehicle
JP2015138441A (en) * 2014-01-23 2015-07-30 株式会社デンソー Driving support device
US9409519B2 (en) * 2014-08-27 2016-08-09 Toyota Jidosha Kabushiki Kaisha Generating spatial information for a heads-up display

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006338282A (en) * 2005-06-01 2006-12-14 Sony Corp Surrounding vehicle information providing system, position information transmitter, position information transmitting method, position information receiver, position information receiving method and surrounding vehicle information providing device
JP2006350934A (en) * 2005-06-20 2006-12-28 Denso Corp Information display device
JP2007087337A (en) * 2005-09-26 2007-04-05 Toyota Motor Corp Vehicle peripheral information display device
JP2008062762A (en) * 2006-09-06 2008-03-21 Fujitsu Ten Ltd Drive assist device and drive assist method
JP2011119917A (en) * 2009-12-02 2011-06-16 Denso Corp Display device for vehicle
JP2012073677A (en) * 2010-09-27 2012-04-12 Kyocera Corp On-vehicle imaging apparatus and traffic system
JP2012218505A (en) * 2011-04-05 2012-11-12 Denso Corp Display device for vehicle
JP2013080422A (en) * 2011-10-05 2013-05-02 Denso Corp Display device for vehicle
JP2015138441A (en) * 2014-01-23 2015-07-30 株式会社デンソー Driving support device
US9409519B2 (en) * 2014-08-27 2016-08-09 Toyota Jidosha Kabushiki Kaisha Generating spatial information for a heads-up display

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018081050A (en) * 2016-11-18 2018-05-24 株式会社Ｓｏｋｅｎ Object detection device
JP2019038372A (en) * 2017-08-25 2019-03-14 株式会社Ｓｕｂａｒｕ Image display device
JP7037896B2 (en) 2017-08-25 2022-03-17 株式会社Subaru Visual assistance device

Also Published As

Publication number Publication date
JP6361347B2 (en) 2018-07-25

Similar Documents

Publication Publication Date Title
CA3001287C (en) Display assistance device and display assistance method
KR102206272B1 (en) Parking assistance method and parking assistance device
JP6272375B2 (en) Display control device for vehicle
JP6259482B2 (en) Display control device for vehicle
US10810446B2 (en) Parking space line detection method and device
JP6346614B2 (en) Information display system
JP6303428B2 (en) Vehicle information projection system
JP6014440B2 (en) Moving object recognition device
JP6379779B2 (en) Vehicle display device
JP5863607B2 (en) Pedestrian warning device
KR20180064531A (en) Method and apparatus for parking space detection
JP2005202678A (en) Traveling support device
KR20140075505A (en) Apparatus and method for controlling parking assistance
JP2017091176A (en) Driving support device of vehicle
WO2015111417A1 (en) Driving assistance device and driving assistance method
JP2006171950A (en) Display controller for head-up display, and program
JP2019064317A (en) Display device for vehicle
JP6361347B2 (en) Vehicle display device
JP6295868B2 (en) Vehicle display device
JP4930432B2 (en) Vehicle periphery monitoring device
JP6303418B2 (en) Vehicle travel guidance device and vehicle travel guidance method
KR102362485B1 (en) Parking assistance method and parking assistance device
JP5723561B2 (en) Driving assistance device
JP2009116614A (en) Operation support device for vehicle
JP2010018223A (en) Device for detecting vehicle traveling road surface

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170330

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20171220

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180109

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180529

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180611

R151 Written notification of patent or utility model registration

Ref document number: 6361347

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151