JP2016182892A - On-vehicle display device - Google Patents

On-vehicle display device Download PDF

Info

Publication number
JP2016182892A
JP2016182892A JP2015064304A JP2015064304A JP2016182892A JP 2016182892 A JP2016182892 A JP 2016182892A JP 2015064304 A JP2015064304 A JP 2015064304A JP 2015064304 A JP2015064304 A JP 2015064304A JP 2016182892 A JP2016182892 A JP 2016182892A
Authority
JP
Japan
Prior art keywords
vehicle
pedestrian
display
icon
detected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015064304A
Other languages
Japanese (ja)
Other versions
JP6464871B2 (en
Inventor
祐司 西川
Yuji Nishikawa
祐司 西川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to JP2015064304A priority Critical patent/JP6464871B2/en
Publication of JP2016182892A publication Critical patent/JP2016182892A/en
Application granted granted Critical
Publication of JP6464871B2 publication Critical patent/JP6464871B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

PROBLEM TO BE SOLVED: To prevent erroneous recognition as much as possible and reduce a manufacturing cost with a configuration to detect a pedestrian and display an icon.SOLUTION: An on-vehicle display device includes: a communication device (2) communicating with a portable communication terminal (7) possessed by a pedestrian; a calculation section (3) for calculating the direction of the pedestrian and a distance between the pedestrian and a vehicle on the basis of positional information of the portable communication terminal (7) received by the communication device (2) and present position information on the vehicle; a position color setting section (3) for setting a display position and a display color of an icon according to the direction of the pedestrian; a size setting section (3) for setting the size of the icon according to the distance; and a display section (3) for displaying the icon on a display screen (4) by the set display position, display color and size.SELECTED DRAWING: Figure 1

Description

本発明は、車両の周囲の歩行者を検出し、検出した歩行者を示す警告用のアイコンを表示する車載用表示装置に関する。   The present invention relates to an in-vehicle display device that detects a pedestrian around a vehicle and displays a warning icon indicating the detected pedestrian.

近年、物陰などドライバーの死角位置にいる歩行者の見落としや、歩行者の飛び出しなどを原因とする交通事故を防止したいという要望がある。このような要望に対して、特許文献1に記載された表示装置が考えられている。この表示装置においては、車両に搭載されたステレオカメラにより歩行者等の対象物を検出し、検出した対象物を示す警告用のアイコンを、検出された方向に位置させると共に、近いものは大きく、遠いものは小さくして、ヘッドアップディスプレイに表示するように構成されている。   In recent years, there is a desire to prevent traffic accidents caused by oversight of pedestrians in blind spot positions of drivers, such as shadows, and pedestrians jumping out. In response to such a demand, a display device described in Patent Document 1 is considered. In this display device, an object such as a pedestrian is detected by a stereo camera mounted on the vehicle, a warning icon indicating the detected object is positioned in the detected direction, and the near one is large, The distant object is made smaller and displayed on the head-up display.

特開2001−23091号公報JP 2001-23091 A

しかし、上記表示装置の場合、ステレオカメラの死角位置(例えば建物や車両等の後ろ)にいる歩行者を検出することができないという欠点がある。また、例えば強い曲率の右カーブを走行中に、道路左手側の歩行者を検出したとき、その歩行者が遠くにいる場合には、ヘッドアップディスプレイの右側に警告用のアイコンが表示される。このため、運転者は道路右側に歩行者がいると誤認識してしまう問題がある(強い曲率の左カーブでも同様の問題がある)。更に、ステレオカメラを搭載しなければならないので、製造コストが高くなるという不具合もある。   However, in the case of the above display device, there is a drawback that it is not possible to detect a pedestrian at the blind spot position of the stereo camera (for example, behind a building or a vehicle). For example, when a pedestrian on the left hand side of a road is detected while traveling on a right curve with a strong curvature, a warning icon is displayed on the right side of the head-up display when the pedestrian is far away. For this reason, there is a problem that the driver misrecognizes that there is a pedestrian on the right side of the road (the same problem occurs with a left curve with a strong curvature). Furthermore, since a stereo camera must be installed, there is a problem that the manufacturing cost increases.

そこで、本発明の目的は、歩行者を検出してアイコンを表示する構成でありながら、誤認識を極力防止できると共に、製造コストを安くすることができる車載用表示装置を提供することにある。   SUMMARY OF THE INVENTION An object of the present invention is to provide an in-vehicle display device that can prevent erroneous recognition as much as possible and can reduce the manufacturing cost while detecting a pedestrian and displaying an icon.

請求項1の発明は、歩行者が所持する携帯通信端末と通信する通信装置と、前記通信装置が受信した前記携帯通信端末の位置情報と車両の現在位置情報とに基づいて前記歩行者の方向及び前記歩行者と前記車両との間の距離を算出する算出部と、前記歩行者の方向に応じたアイコンの表示位置及び表示色を設定する位置色設定部と、前記距離に応じた前記アイコンのサイズを設定するサイズ設定部と、設定された表示位置、表示色及びサイズで前記アイコンを表示画面に表示する表示部とを備えた車載用表示装置である。   The invention of claim 1 is directed to a communication device that communicates with a mobile communication terminal possessed by a pedestrian, and the direction of the pedestrian based on the location information of the mobile communication terminal and the current location information of the vehicle received by the communication device. And a calculation unit that calculates a distance between the pedestrian and the vehicle, a position color setting unit that sets a display position and a display color of an icon according to the direction of the pedestrian, and the icon according to the distance It is a vehicle-mounted display apparatus provided with the size setting part which sets the size of this, and the display part which displays the said icon on a display screen by the set display position, display color, and size.

本発明の第1実施形態を示す車載用表示装置のブロック図The block diagram of the vehicle-mounted display apparatus which shows 1st Embodiment of this invention. 歩行者の検出表示制御のフローチャートFlow chart of pedestrian detection display control 歩行者の方向及び距離を説明する図The figure explaining the direction and distance of a pedestrian 歩行者の方向と表示位置及び表示色との関係を表にして示す図The figure which shows the relationship between a pedestrian's direction, a display position, and a display color as a table 表示画面の一例を示す図Figure showing an example of the display screen 距離とアイコンのサイズとの関係を表にして示す図A chart showing the relationship between distance and icon size 車両の進行に伴う歩行者の相対位置の変化を示す図The figure which shows the change of the relative position of the pedestrian with the progress of the vehicle 車両の進行に伴う歩行者の相対位置の変化に対応するアイコンの表示位置の変化を示す図The figure which shows the change of the display position of the icon corresponding to the change of the relative position of a pedestrian with advancing of a vehicle. ほぼ同じ方向に2人の歩行者が検出される例を示す図The figure which shows the example in which two pedestrians are detected in substantially the same direction ほぼ同じ方向に2人の歩行者が検出されたときに対応するアイコンの表示例を示す図The figure which shows the example of a display of the icon corresponding when two pedestrians are detected in the substantially same direction. 本発明の第2実施形態を示すもので、車両の後方に歩行者が検出される例を説明する図The figure which shows 2nd Embodiment of this invention and is a figure explaining the example in which a pedestrian is detected behind the vehicle. 車両の後方に歩行者が検出される場合において、歩行者の方向と表示位置及び表示色との関係を表にして示す図The figure which shows the relationship between a pedestrian's direction, a display position, and a display color as a table | surface when a pedestrian is detected behind a vehicle. 車両の後方に歩行者が検出される場合において、距離とアイコンのサイズとの関係を表にして示す図The figure which shows the relationship between distance and the size of an icon in a table | surface when a pedestrian is detected behind a vehicle. 車両の後方に歩行者が検出される場合において、表示画面の一例を示す図The figure which shows an example of a display screen, when a pedestrian is detected behind the vehicle

以下、本発明の第1実施形態について、図1ないし図10を参照して説明する。図1は、本実施形態の車載用表示装置1の全体構成を概略的に示すブロック図である。この図1に示すように、車載用表示装置1は、通信装置2と、画像表示処理装置3と、表示画面4と、車両位置検出器5とを備えて構成される。   Hereinafter, a first embodiment of the present invention will be described with reference to FIGS. FIG. 1 is a block diagram schematically showing the overall configuration of the in-vehicle display device 1 of the present embodiment. As shown in FIG. 1, the in-vehicle display device 1 includes a communication device 2, an image display processing device 3, a display screen 4, and a vehicle position detector 5.

通信装置2は、無線通信端末で構成されており、携帯電話等の無線通信基地局やネットワーク6等を介して車両の周囲(特には前方及び側方)にいる歩行者が所持する携帯通信端末7との間で通信を行う機能を有する。尚、携帯通信端末7は、例えばスマートホンや携帯電話機等で構成されており、歩行者(携帯通信端末7)の現在位置を検出する機能を有する。   The communication device 2 is composed of a wireless communication terminal, and is a portable communication terminal possessed by a pedestrian in the vicinity of the vehicle (particularly in the front and side) via a wireless communication base station such as a mobile phone, the network 6 and the like. 7 has a function of performing communication with. The mobile communication terminal 7 is composed of, for example, a smart phone or a mobile phone, and has a function of detecting the current position of the pedestrian (mobile communication terminal 7).

画像表示処理装置3は、通信装置2を介して歩行者の携帯通信端末7と通信して歩行者の現在位置の検出信号を受信する機能と、歩行者の現在位置の検出信号及び車両の現在位置の検出信号に基づいて歩行者との距離や方向を算出する機能と、歩行者との距離や方向に応じた表示位置、表示色、アイコンサイズで歩行者の警告用のアイコンを表示画面4に表示する機能とを有する。表示画面4は、車両のフロントガラスの一部分(例えば運転席のダッシュボードの近くの部分)や、運転席のダッシュボードの上に配設された透明板(例えばプラスチック板)等で構成されている。表示画面4と画像表示処理装置3とでHUD(Head Up Display)が構成されている。画像表示処理装置3は、算出部、位置色設定部、サイズ設定部及び表示部としての各機能を有している。   The image display processing device 3 communicates with the pedestrian's mobile communication terminal 7 via the communication device 2 to receive a detection signal of the pedestrian's current position, a detection signal of the pedestrian's current position, and the current vehicle status. A function for calculating the distance and direction from the pedestrian based on the position detection signal, and a display icon for the pedestrian with a display position, display color, and icon size corresponding to the distance and direction from the pedestrian. It has a function to display. The display screen 4 is configured by a part of a vehicle windshield (for example, a portion near the dashboard of the driver's seat), a transparent plate (for example, a plastic plate) disposed on the dashboard of the driver's seat, or the like. . The display screen 4 and the image display processing device 3 constitute a HUD (Head Up Display). The image display processing device 3 has functions as a calculation unit, a position color setting unit, a size setting unit, and a display unit.

車両位置検出器5は、例えばGPS(Global Positioning System)受信機や地磁気センサや車速センサ等で構成され、車両の現在位置及び車両の進行方向を検出し、これら検出信号(車両の現在位置情報及び車両の進行方向情報)を画像表示処理装置3へ送信する。尚、車両位置検出器5を配設することを止めて、車両に搭載されたカーナビゲーション装置から車両の現在位置及び車両の進行方向の各検出信号を出力させるように構成し、これら検出信号をカーナビゲーション装置から画像表示処理装置3へ与えるように構成しても良い。   The vehicle position detector 5 includes, for example, a GPS (Global Positioning System) receiver, a geomagnetic sensor, a vehicle speed sensor, and the like, detects the current position of the vehicle and the traveling direction of the vehicle, and detects these detection signals (current position information of the vehicle and Vehicle traveling direction information) is transmitted to the image display processing device 3. The vehicle position detector 5 is stopped, and the vehicle navigation device mounted on the vehicle is configured to output detection signals for the current position of the vehicle and the traveling direction of the vehicle. You may comprise so that it may give to the image display processing apparatus 3 from a car navigation apparatus.

次に、上記構成の車載用表示装置1の動作について、図2ないし図10を参照して説明する。尚、図2のフローチャートは、画像表示処理装置3の制御の内容を示す。まず、ステップS10においては、画像表示処理装置3は、通信装置2を介して車両の周辺(特には前方及び側方)にいる一人以上の歩行者の携帯通信端末7と通信して、各歩行者の現在位置の検出信号を受信する。続いて、ステップS20へ進み、各歩行者の現在位置の検出信号と車両の現在位置の検出信号とに基づいて、車両から所定の距離内に歩行者が検出されたか否か(歩行者がいるか否か)を判断する。尚、普通の町中(市内)を走行する場合には、上記所定の距離としては、数十mから100m程度の距離を適宜設定すれば良い。   Next, the operation of the in-vehicle display device 1 having the above configuration will be described with reference to FIGS. Note that the flowchart of FIG. 2 shows the contents of control of the image display processing device 3. First, in step S10, the image display processing device 3 communicates with the mobile communication terminal 7 of one or more pedestrians around the vehicle (particularly in front and side) via the communication device 2, and each walk A detection signal of the current position of the person is received. Subsequently, the process proceeds to step S20, and whether or not a pedestrian is detected within a predetermined distance from the vehicle based on the detection signal of the current position of each pedestrian and the detection signal of the current position of the vehicle (is there a pedestrian? Or not). In the case of traveling in a normal town (city), the predetermined distance may be appropriately set to a distance of several tens to 100 m.

上記ステップS20において、所定の距離内に歩行者が一人も検出されないときには(「NO」)、この処理を終了する。尚、この画像表示処理装置3の処理(図2のフローチャート)は、例えば数百mm秒毎に(1秒間に数回程度)実行するように構成されている。   In step S20, when no pedestrian is detected within a predetermined distance (“NO”), this process is terminated. The processing of the image display processing device 3 (the flowchart in FIG. 2) is configured to be executed, for example, every several hundred mm seconds (several times per second).

一方、ステップS20において、所定の距離内に歩行者が一人以上検出されたときには(「YES」)、ステップS30へ進み、検出した歩行者毎に、歩行者の相対位置として、車両と歩行者との距離、車両から見た歩行者の方向とを算出する。この場合、図3に示すように、車両8の進行方向Aを0°と設定し、歩行者の現在位置の検出信号及び車両の現在位置の検出信号に基づいて、車両8の進行方向Aと歩行者9の位置する方向Bとがなす相対角度θを車両から見た歩行者の方向として算出する。そして、歩行者の現在位置の検出信号及び車両の現在位置の検出信号に基づいて、車両8の位置Pと歩行者の携帯通信端末7の位置Qとの間の距離Lを車両と歩行者との距離Lとして算出する。   On the other hand, in step S20, when one or more pedestrians are detected within a predetermined distance (“YES”), the process proceeds to step S30, and for each detected pedestrian, the relative position of the pedestrian and the vehicle and the pedestrian are determined. And the direction of the pedestrian as viewed from the vehicle. In this case, as shown in FIG. 3, the traveling direction A of the vehicle 8 is set to 0 °, and the traveling direction A of the vehicle 8 is determined based on the detection signal of the current position of the pedestrian and the detection signal of the current position of the vehicle. The relative angle θ formed by the direction B where the pedestrian 9 is located is calculated as the direction of the pedestrian as viewed from the vehicle. Based on the detection signal of the current position of the pedestrian and the detection signal of the current position of the vehicle, the distance L between the position P of the vehicle 8 and the position Q of the mobile communication terminal 7 of the pedestrian is calculated as The distance L is calculated.

続いて、ステップS40へ進み、検出した歩行者の人数は所定人数(例えば2人)以下か否かを判断する。ここで、検出した歩行者の人数は所定人数以下であれば(「YES」)、ステップS50へ進み、歩行者の方向(相対角度θ)に応じた表示位置、表示色を決定する。この場合、図4の表に示すように、相対角度θが例えば−90°以上−45°未満のときは(図3中の角度範囲R1参照)、表示画面4において表示位置a(図5参照)にアイコン(逆三角形)を赤色で表示する。そして、相対角度θが例えば−45°以上−15°未満のときは(図3中の角度範囲R2参照)、表示画面4において表示位置b(図5参照)にアイコン(逆三角形)を橙色で表示する。   Then, it progresses to step S40 and it is judged whether the number of detected pedestrians is below a predetermined number (for example, 2 persons). If the detected number of pedestrians is equal to or less than the predetermined number (“YES”), the process proceeds to step S50, and the display position and display color corresponding to the pedestrian direction (relative angle θ) are determined. In this case, as shown in the table of FIG. 4, when the relative angle θ is, for example, −90 ° or more and less than −45 ° (see the angle range R1 in FIG. 3), the display position a (see FIG. 5) is displayed. ) The icon (inverted triangle) is displayed in red. When the relative angle θ is, for example, −45 ° or more and less than −15 ° (see the angle range R2 in FIG. 3), the icon (inverted triangle) is displayed in orange at the display position b (see FIG. 5) on the display screen 4. indicate.

そして、相対角度θが例えば−15°以上15°未満のときは(図3中の角度範囲R3参照)、表示画面4において表示位置c(図5参照)にアイコン(逆三角形)を橙色で表示する。そして、相対角度θが例えば15°以上45°未満のときは(図3中の角度範囲R4参照)、表示画面4において表示位置d(図5参照)にアイコン(逆三角形)を橙色で表示する。そして、相対角度θが例えば45°以上90°未満のときは(図3の角度範囲R5参照)、表示画面4において表示位置e(図5参照)にアイコン(逆三角形)を赤色で表示する。   When the relative angle θ is not less than −15 ° and less than 15 ° (see angle range R3 in FIG. 3), an icon (inverted triangle) is displayed in orange at the display position c (see FIG. 5) on the display screen 4. To do. When the relative angle θ is not less than 15 ° and less than 45 °, for example (see angle range R4 in FIG. 3), an icon (inverted triangle) is displayed in orange at the display position d (see FIG. 5) on the display screen 4. . When the relative angle θ is, for example, not less than 45 ° and less than 90 ° (see angle range R5 in FIG. 3), an icon (inverted triangle) is displayed in red at the display position e (see FIG. 5) on the display screen 4.

次いで、ステップS60へ進み、車両と歩行者との距離Lに応じたアイコンサイズを決定する。この場合、図6の表に示すように、距離Lが例えば10m未満のときは、アイコンを大きな逆三角形とし、距離Lが例えば10m以上30m未満のときは、アイコンを中くらいの大きさの逆三角形とし、距離Lが例えば30m以上100m未満のときは、アイコンを小さい逆三角形とする。   Subsequently, it progresses to step S60 and the icon size according to the distance L of a vehicle and a pedestrian is determined. In this case, as shown in the table of FIG. 6, when the distance L is less than 10 m, for example, the icon is a large inverted triangle, and when the distance L is, for example, 10 m or more and less than 30 m, the icon is reversed to a medium size. When the distance L is 30 m or more and less than 100 m, for example, the icon is a small inverted triangle.

続いて、ステップS70へ進み、表示画面4に検出した歩行者の人数に対応する数のアイコンを決定した位置に決定したサイズ及び色で表示する。この場合、複数のアイコンの表示位置が同じになる場合には、大きいサイズのアイコン(距離Lが最小の歩行者に対応するもの)を1つだけ表示する。これにより、画像表示処理装置3の処理を終了する。   Subsequently, the process proceeds to step S70, and the number of icons corresponding to the detected number of pedestrians is displayed on the display screen 4 in the determined position and size. In this case, when the display positions of the plurality of icons are the same, only one large size icon (corresponding to the pedestrian with the smallest distance L) is displayed. Thereby, the processing of the image display processing device 3 is ended.

また、上記ステップS40において、検出した歩行者の人数は所定人数以下でないときには(「NO」)、ステップS80へ進み、歩行者を所定数(例えば4)以上の方向で検出したか否かを判断する。ここで、歩行者を所定数以上の方向で検出しなかった(即ち、検出した方向が例えば3以下の)ときには(ステップS80にて「NO」)、ステップS50へ進み、以下、上述した各処理を実行する。   In step S40, when the number of detected pedestrians is not less than or equal to the predetermined number ("NO"), the process proceeds to step S80, and it is determined whether or not pedestrians are detected in a direction equal to or greater than the predetermined number (for example, 4). To do. Here, when the pedestrians are not detected in a predetermined number or more (that is, the detected direction is 3 or less, for example) (“NO” in step S80), the process proceeds to step S50, and each of the processes described above is performed. Execute.

一方、上記ステップS80において、歩行者を所定数以上の方向で検出したときには(「YES」)、ステップS90へ進み、最寄りの歩行者(即ち、最も車両に近い歩行者)の距離Lに応じたアイコンサイズ(図6参照)を決定する。続いて、ステップS100へ進み、表示画面4に全ての位置(5個の位置a〜e)に対応する5個のアイコンを上記決定したサイズで全て表示する(アイコン全表示制御)。この場合、各アイコンの表示色は、表示画面4上の表示位置(a〜e)によって決まっている(図4参照)。これにより、画像表示処理装置3の処理を終了する。   On the other hand, when a pedestrian is detected in a predetermined number of directions or more in step S80 ("YES"), the process proceeds to step S90, and the distance L of the nearest pedestrian (that is, the pedestrian closest to the vehicle) is determined. The icon size (see FIG. 6) is determined. Subsequently, the process proceeds to step S100, and all the five icons corresponding to all the positions (five positions a to e) are displayed on the display screen 4 with the determined size (icon full display control). In this case, the display color of each icon is determined by the display positions (ae) on the display screen 4 (see FIG. 4). Thereby, the processing of the image display processing device 3 is ended.

ここで、歩行者を検出して表示画面4に表示する制御の一例について、図7及び図8を参照して説明する。まず、図7に示すように、車両8が強い曲率の右カーブを走行中において、歩行者9を位置T1で検出したときには、それから車両8が前方へ走行するに伴って、歩行者9の相対的位置が位置T2、位置T3、位置T4へ移動していく。その結果、歩行者が位置T1にいるときには、図8(a)に示すように、表示画面4の位置dに小さいアイコンが橙色で表示される。そして、歩行者の相対的位置が位置T2、位置T3、位置T4へ移動していくと、図8(b)、図8(c)、図8(d)に示すように、表示画面4にアイコンが表示される。図8(b)及び図8(c)の場合は、中の大きさのアイコンが橙色で表示され、図8(d)の場合は、大の大きさのアイコンが赤色で表示される。   Here, an example of control for detecting a pedestrian and displaying it on the display screen 4 will be described with reference to FIGS. 7 and 8. First, as shown in FIG. 7, when the pedestrian 9 is detected at the position T1 while the vehicle 8 is traveling on the right curve with a strong curvature, the relative pedestrian 9 moves as the vehicle 8 travels forward. The target position moves to position T2, position T3, and position T4. As a result, when the pedestrian is at the position T1, a small icon is displayed in orange at the position d on the display screen 4 as shown in FIG. Then, when the relative position of the pedestrian moves to the position T2, the position T3, and the position T4, the display screen 4 is displayed as shown in FIGS. 8B, 8C, and 8D. An icon is displayed. In the case of FIGS. 8B and 8C, the medium size icon is displayed in orange, and in the case of FIG. 8D, the large size icon is displayed in red.

次に、歩行者を検出して表示画面4に表示する制御の他の例について、図9及び図10を参照して説明する。この例は、図9に示すように、歩行者9がほぼ同じ方向に2人いる場合、即ち、歩行者9が位置T5と位置T6とにいる場合である。この場合には、図10に示すように、2人のうちの距離Lが短い方の歩行者9(位置T5の歩行者9)に対応する中の大きさのアイコンだけが表示画面4の位置eに赤色で表示される。   Next, another example of control for detecting a pedestrian and displaying it on the display screen 4 will be described with reference to FIGS. 9 and 10. In this example, as shown in FIG. 9, there are two pedestrians 9 in substantially the same direction, that is, a case where the pedestrians 9 are at positions T5 and T6. In this case, as shown in FIG. 10, only the medium-sized icon corresponding to the pedestrian 9 (the pedestrian 9 at the position T5) with the shorter distance L of the two persons is the position on the display screen 4. e is displayed in red.

上記した構成の本実施形態においては、歩行者が所持する携帯通信端末7と通信して、受信した携帯通信端末7の位置情報と車両8の現在位置情報とに基づいて歩行者9の方向及び歩行者9と車両8との間の距離Lを算出した。そして、歩行者9の方向に応じたアイコンの表示位置及び表示色を設定すると共に、距離Lに応じたアイコンのサイズを設定し、設定された表示位置、表示色及びサイズでアイコンを表示画面4に表示するように構成したので、歩行者を検出してアイコンを表示する構成でありながら、アイコンの表示位置及び表示色並びにアイコンの大きさによって歩行者の位置の誤認識を極力防止することができる。更に、歩行者が所持する携帯通信端末7と通信する通信装置2としては、近年、車両8に搭載されることが多い無線通信端末を用いることができるので、製造コストを安くすることができる。   In the present embodiment configured as described above, the communication with the mobile communication terminal 7 possessed by the pedestrian and the direction of the pedestrian 9 based on the received position information of the mobile communication terminal 7 and the current position information of the vehicle 8 and A distance L between the pedestrian 9 and the vehicle 8 was calculated. And while setting the display position and display color of the icon according to the direction of the pedestrian 9, the size of the icon according to the distance L is set, and the icon is displayed with the set display position, display color and size. In order to prevent the erroneous recognition of the position of the pedestrian as much as possible by the display position and display color of the icon and the size of the icon. it can. Furthermore, as the communication device 2 that communicates with the mobile communication terminal 7 possessed by a pedestrian, a wireless communication terminal that is often mounted on the vehicle 8 can be used in recent years, so that the manufacturing cost can be reduced.

また、上記実施形態では、アイコンを表示画面4の両端(位置a、e)に表示するときには、赤色で表示するように構成したので、アイコンが表示画面4の両端(位置a、e)に表示される場合、アイコンが小さい場合には、見かけとは反対に、歩行者が道路の反対側にいる可能性があることがわかる。   Further, in the above embodiment, when the icon is displayed on both ends (positions a and e) of the display screen 4, the icon is displayed on both ends (positions a and e) of the display screen 4 because the icon is displayed in red. If the icon is small, it can be seen that the pedestrian may be on the other side of the road, contrary to the appearance.

また、上記実施形態では、車両から所定の距離内に検出された歩行者についてだけ、アイコンを表示するように構成したので、車両から遠く離れている歩行者のアイコンが表示されることを防止できる。   Moreover, in the said embodiment, since it comprised so that an icon might be displayed only about the pedestrian detected within the predetermined distance from the vehicle, it can prevent displaying the icon of the pedestrian far away from the vehicle. .

また、上記実施形態では、検出された歩行者の人数が所定人数よりも多いとき、または、検出された歩行者の方向の数が所定個数よりも多いときには、表示画面4の全位置(位置a、b、c、d、e)にアイコンを表示するように構成したので、表示画面4の全位置表示により、検出された歩行者の人数が多いことや、検出された歩行者の方向の数が多いことが簡単にわかる。また、車両の周囲に多く歩行者を検出している状況では、アイコンの表示内容が頻繁に変わるおそれがあり、運転者にとって煩わしい表示内容なるおそれがあるが、本実施形態によれば、このような煩わしい表示を防止することができる。   In the above embodiment, when the number of detected pedestrians is greater than the predetermined number, or when the number of detected pedestrian directions is greater than the predetermined number, all positions (position a , B, c, d, and e) are configured to display icons, so that the number of detected pedestrians and the number of detected pedestrian directions are large due to the display of all positions on the display screen 4. It is easy to see that there are many. In addition, in a situation where many pedestrians are detected around the vehicle, the display content of the icon may change frequently, and there is a risk that the display content may be troublesome for the driver. Annoying display can be prevented.

尚、上記第1実施形態では、アイコンの大きさを3段階に変えるように構成したが、4段階以上に変えるように構成しても良い。また、表示画面4においてアイコンを表示する位置を5か所設けたが、3か所、4か所、または、6か所以上設けるように構成しても良い。また、第1実施形態では、アイコンの表示色を橙色と赤色で表示するように構成したが、他の色で表示したり、点滅表示したり、表示色を設定周期で変化させたりするように構成しても良い。   In the first embodiment, the size of the icon is changed to three levels. However, the icon size may be changed to four or more levels. Further, although five positions for displaying icons on the display screen 4 are provided, three, four, or six or more positions may be provided. In the first embodiment, the icon display colors are displayed in orange and red. However, the icons are displayed in other colors, blinked, and the display color is changed at a set cycle. It may be configured.

図11ないし図14は、本発明の第2実施形態を示すものである。尚、第1実施形態と同一構成には、同一符号を付している。この第2実施形態では、車両をバックさせたときに、車両の後方にいる歩行者を検出してアイコンを表示画面4に表示させるように構成した。   11 to 14 show a second embodiment of the present invention. In addition, the same code | symbol is attached | subjected to the same structure as 1st Embodiment. In the second embodiment, when the vehicle is backed, a pedestrian behind the vehicle is detected and an icon is displayed on the display screen 4.

具体的には、第1実施形態と同様にして車両の後方にいる歩行者を検出した後、図11に示すように、車両8の後方への進行方向Dを0°と設定し、歩行者の現在位置の検出信号及び車両の現在位置の検出信号に基づいて、車両8の進行方向Dと歩行者9の位置する方向Eとがなす相対角度θRを車両から見た歩行者の方向として算出する。そして、歩行者の現在位置の検出信号及び車両の現在位置の検出信号に基づいて、車両8の位置Pと歩行者9の携帯通信端末7の位置Qとの間の距離LRを車両と歩行者との距離として算出する。   Specifically, after detecting a pedestrian behind the vehicle in the same manner as in the first embodiment, as shown in FIG. 11, the forward direction D of the vehicle 8 is set to 0 °, and the pedestrian The relative angle θR formed by the traveling direction D of the vehicle 8 and the direction E of the pedestrian 9 is calculated as the direction of the pedestrian as viewed from the vehicle based on the current position detection signal and the vehicle current position detection signal. To do. Then, based on the detection signal of the current position of the pedestrian and the detection signal of the current position of the vehicle, the distance LR between the position P of the vehicle 8 and the position Q of the mobile communication terminal 7 of the pedestrian 9 is determined as the distance between the vehicle and the pedestrian. It is calculated as the distance.

次に、図12の表に示すように、相対角度θRが例えば−90°以上−45°未満のときは(図11の角度範囲RR1参照)、表示画面4において表示位置a(図14参照)にアイコン(逆三角形)を例えば黄色で表示する。そして、相対角度θが例えば−45°以上45°未満のときは(図11の角度範囲RR2参照)、表示画面4において表示位置c(図14参照)にアイコン(逆三角形)を例えば赤色点滅で表示する。そして、相対角度θが例えば45°以上90°未満のときは(図11の角度範囲RR3参照)、表示画面4において表示位置e(図14参照)にアイコン(逆三角形)を例えば黄色で表示する。   Next, as shown in the table of FIG. 12, when the relative angle θR is, for example, −90 ° or more and less than −45 ° (see the angle range RR1 in FIG. 11), the display position a (see FIG. 14) on the display screen 4. An icon (inverted triangle) is displayed in yellow, for example. When the relative angle θ is, for example, −45 ° or more and less than 45 ° (see the angle range RR2 in FIG. 11), an icon (inverted triangle) is blinked in red, for example, at the display position c (see FIG. 14) on the display screen 4. indicate. When the relative angle θ is, for example, not less than 45 ° and less than 90 ° (see angle range RR3 in FIG. 11), an icon (inverted triangle) is displayed, for example, in yellow at the display position e (see FIG. 14) on the display screen 4. .

更に、図13の表に示すように、車両と歩行者との距離LRが例えば10m未満のときは、アイコンを大きな逆三角形とし、距離LRが例えば10m以上30m未満のときは、アイコンを小さい逆三角形とする。また、図14に示すように、車両がバックするときに、検出した歩行者のアイコンを表示する場合、表示画面4には、「後方歩行者注意」のメッセージを表示する。   Furthermore, as shown in the table of FIG. 13, when the distance LR between the vehicle and the pedestrian is less than 10 m, for example, the icon is a large inverted triangle, and when the distance LR is, for example, 10 m or more and less than 30 m, the icon is a small inverse. Let it be a triangle. Further, as shown in FIG. 14, when the detected pedestrian icon is displayed when the vehicle backs up, a message of “rear pedestrian attention” is displayed on the display screen 4.

上述した以外の第2実施形態の構成は、第1実施形態の構成と同じ構成となっている。従って、第2実施形態においても、第1実施形態とほぼ同じ作用効果を得ることができる。特に、第2実施形態によれば、車両をバックさせるときに、車両の後方にいる歩行者を検出して、そのアイコンを表示画面4に表示させるように構成したので、安全性をより一層高くすることができる。   The configuration of the second embodiment other than that described above is the same as the configuration of the first embodiment. Therefore, in the second embodiment, substantially the same operational effects as in the first embodiment can be obtained. In particular, according to the second embodiment, when the vehicle is turned back, a pedestrian behind the vehicle is detected and its icon is displayed on the display screen 4, so that safety is further enhanced. can do.

尚、上記第2実施形態では、アイコンの大きさを2段階に変えるように構成したが、3段階以上に変えるように構成しても良い。また、表示画面4においてアイコンを表示する位置を3か所設けたが、4か所以上設けるように構成しても良い。   In the second embodiment, the size of the icon is changed to two levels. However, the icon size may be changed to three or more levels. In addition, although three positions for displaying icons on the display screen 4 are provided, four or more positions may be provided.

また、上記した各実施形態においては、車両のフロンドガラスの運転席側のダッシュボードの上部分を表示画面4とするHUDに検出した歩行者のアイコンを表示するように構成したが、これに限られるものではなく、メータディスプレイやウインドシールドディスプレイ等に検出した歩行者のアイコンを表示するように構成しても良い。   In each of the above-described embodiments, the upper part of the dashboard on the driver's seat side of the front glass of the vehicle is configured to display the detected pedestrian icon on the HUD with the display screen 4, but the present invention is not limited to this. Instead, the detected pedestrian icon may be displayed on a meter display, a windshield display, or the like.

また、上記各実施形態では、検出した歩行者の位置情報に基づいてアイコンの位置、大きさ、色を設定するように構成したが、これに限られるものではなく、検出した歩行者の位置情報に、車速の情報や地図情報(道路種別や道路形状等の情報)を加えた情報に基づいてアイコンの位置、大きさ、色を設定するように構成しても良い。この構成では、車速情報及び道路の種別の情報(即ち、地図情報)を取得する情報取得部を備えるように構成することが好ましい。このように構成した場合、例えば高速道路や幹線道路を走行中であって車速が例えば80km/h以上のときには、検出した歩行者のアイコン(警告)を表示しないように制御することができる。また、例えば交差点で右折または左折するときには、検出した歩行者のアイコンを点滅させるように表示することも可能となる。また、車両情報として例えば右折及び左折のウインカーの各作動状態を示す情報を取得する情報取得部を備えるように構成し、上記ウインカーの作動状態を示す情報に基づいて、交差点における車両の右折または左折を判断し、交差点で右折または左折するときに、検出した歩行者のアイコンを点滅させるように表示する構成としても良い。更にまた、上記地図情報及び上記ウインカーの作動状態を示す情報に基づいて、交差点における車両の右折または左折を判断するように構成しても良い。また、地図情報及びウインカーの作動状態を示す情報(車両情報)に更に車速情報等を加えて、交差点における車両の右折または左折を判断するように構成しても良い。   In each of the above embodiments, the position, size, and color of the icon are set based on the detected position information of the pedestrian. However, the present invention is not limited to this, and the detected position information of the pedestrian In addition, the position, size, and color of the icon may be set based on information including vehicle speed information and map information (information such as road type and road shape). In this configuration, it is preferable to include an information acquisition unit that acquires vehicle speed information and road type information (that is, map information). When configured in this manner, for example, when the vehicle is traveling on a highway or a main road and the vehicle speed is 80 km / h or higher, for example, the detected pedestrian icon (warning) can be controlled not to be displayed. For example, when making a right turn or a left turn at an intersection, the detected pedestrian icon can be displayed so as to blink. Further, for example, the vehicle information is configured to include an information acquisition unit that acquires information indicating each operation state of the turn signal of the right turn and the left turn, and based on the information indicating the operation state of the turn signal, the vehicle turns right or left at the intersection. It is good also as a structure which displays so that the icon of the detected pedestrian may blink when making a right turn or a left turn at the intersection. Furthermore, it may be configured to determine whether the vehicle turns right or left at the intersection based on the map information and information indicating the operating state of the winker. In addition, vehicle speed information or the like may be further added to the map information and information indicating the operating state of the winker (vehicle information) to determine whether the vehicle is turning right or left at the intersection.

また、上記各実施形態では、車両から数十m〜100m程度の距離内に歩行者がいるか否かを検出するように構成したが、高速道路や幹線道路を走行中であって車速が例えば80km/h以上のときには、車両から数十m〜数百m程度の距離内に歩行者がいるか否かを検出するように構成し、図6の表内の距離Lの数値も適宜変更することが好ましい。   In each of the above embodiments, it is configured to detect whether or not there is a pedestrian within a distance of several tens to 100 m from the vehicle. However, the vehicle speed is, for example, 80 km while traveling on a highway or a main road. / H or more, it is configured to detect whether or not there is a pedestrian within a distance of several tens of meters to several hundreds of meters from the vehicle, and the numerical value of the distance L in the table of FIG. preferable.

また、上記各実施形態においては、検出された歩行者をアイコンで表示画面4に表示するように構成したが、アイコンの表示に加えて、メッセージを表示したり、音声メッセージを出力したりするように構成しても良い。   Further, in each of the above embodiments, the detected pedestrian is configured to be displayed on the display screen 4 as an icon. However, in addition to displaying the icon, a message is displayed or a voice message is output. You may comprise.

また、上記各実施形態において、周知のステレオカメラ(例えば特許文献1参照)を搭載し、ステレオカメラで撮影した画像をデータ処理して歩行者を検出し、検出した歩行者のアイコンを上記各実施形態と同様にして表示画面4に表示するように構成しても良い。即ち、ステレオカメラで歩行者を検出する構成と、歩行者の携帯通信端末7と通信して歩行者を検出する構成を併存させるように構成しても良い。   In each of the above embodiments, a well-known stereo camera (see, for example, Patent Document 1) is mounted, and a pedestrian is detected by data processing of an image captured by the stereo camera, and the detected pedestrian icon is displayed in each of the above embodiments. It may be configured to display on the display screen 4 in the same manner as the embodiment. That is, a configuration for detecting a pedestrian with a stereo camera and a configuration for detecting a pedestrian by communicating with the mobile communication terminal 7 of the pedestrian may coexist.

また、上記各実施形態では、携帯通信端末7としてスマートホンや携帯電話機等を用いる構成としたが、これに限られるものではなく、例えばRF(Radio Frequency)タグ等を用いる構成としても良い。RFタグを用いる構成の場合には、RFタグを老人や子供等に配布することが好ましい。   In each of the above embodiments, a smart phone, a mobile phone, or the like is used as the mobile communication terminal 7. However, the present invention is not limited to this. For example, an RF (Radio Frequency) tag or the like may be used. In the case of a configuration using an RF tag, it is preferable to distribute the RF tag to an elderly person or a child.

図面中、1は車載用表示装置、2は通信装置、3は画像表示処理装置(算出部、位置色設定部、サイズ設定部、表示部)、4は表示画面、5は車両位置検出器、7は携帯通信端末、8は車両、9は歩行者である。   In the drawings, 1 is an in-vehicle display device, 2 is a communication device, 3 is an image display processing device (calculation unit, position color setting unit, size setting unit, display unit), 4 is a display screen, 5 is a vehicle position detector, 7 is a portable communication terminal, 8 is a vehicle, and 9 is a pedestrian.

Claims (7)

歩行者が所持する携帯通信端末(7)と通信する通信装置(2)と、
前記通信装置(2)が受信した前記携帯通信端末(7)の位置情報と車両の現在位置情報とに基づいて前記歩行者の方向及び前記歩行者と前記車両との間の距離を算出する算出部(3)と、
前記歩行者の方向に応じたアイコンの表示位置及び表示色を設定する位置色設定部(3)と、
前記距離に応じた前記アイコンのサイズを設定するサイズ設定部(3)と、
設定された表示位置、表示色及びサイズで前記アイコンを表示画面(4)に表示する表示部(3)と
を備えた車載用表示装置。
A communication device (2) communicating with a mobile communication terminal (7) possessed by a pedestrian;
Calculation for calculating the direction of the pedestrian and the distance between the pedestrian and the vehicle based on the position information of the mobile communication terminal (7) received by the communication device (2) and the current position information of the vehicle. Part (3),
A position color setting unit (3) for setting the display position and display color of the icon according to the direction of the pedestrian,
A size setting unit (3) for setting the size of the icon according to the distance;
A vehicle-mounted display device comprising: a display unit (3) for displaying the icon on the display screen (4) with a set display position, display color and size.
前記車両から所定の距離内に前記歩行者が検出されたか否かを判断する検出判断部(3)を備え、
前記所定の距離内に検出された前記歩行者について、前記アイコンの表示位置、表示色及びサイズを設定し、前記アイコンを前記表示画面(4)に表示することを特徴とする請求項1記載の車載用表示装置。
A detection determination unit (3) for determining whether or not the pedestrian is detected within a predetermined distance from the vehicle;
The display position, display color, and size of the icon are set for the pedestrian detected within the predetermined distance, and the icon is displayed on the display screen (4). In-vehicle display device.
前記検出した歩行者の人数が所定人数以下であるか否かを判断する人数判断部(3)を備え、
前記検出した歩行者の人数が所定人数以下であるときには、前記検出した歩行者の人数及び方向に応じて前記アイコンを前記表示画面(4)に表示することを特徴とする請求項1記載の車載用表示装置。
A number determination unit (3) for determining whether the number of detected pedestrians is equal to or less than a predetermined number;
The on-vehicle device according to claim 1, wherein when the detected number of pedestrians is equal to or less than a predetermined number, the icon is displayed on the display screen (4) according to the detected number and directions of the pedestrians. Display device.
前記検出した歩行者の方向が所定数以上であるか否かを判断する方向数判断部(3)を備え、
前記検出した歩行者の人数が所定人数を超え、且つ、前記検出した歩行者の方向が所定数以上であるときには、すべての位置に対応するアイコンを前記表示画面(4)に表示することを特徴とする請求項3記載の車載用表示装置。
A direction number determination unit (3) for determining whether or not the detected pedestrian direction is equal to or greater than a predetermined number;
When the detected number of pedestrians exceeds a predetermined number and the detected number of pedestrians is a predetermined number or more, icons corresponding to all positions are displayed on the display screen (4). The in-vehicle display device according to claim 3.
前記車両が後方に進行するときには、前記車両の後方の歩行者を検出し、検出した前記歩行者について、前記アイコンの表示位置、表示色及びサイズを設定し、前記アイコンを前記表示画面(4)に表示することを特徴とする請求項1記載の車載用表示装置。   When the vehicle travels backward, a pedestrian behind the vehicle is detected, the display position, display color and size of the icon are set for the detected pedestrian, and the icon is displayed on the display screen (4). The vehicle-mounted display device according to claim 1, wherein the display is displayed on the vehicle. 車速情報及び道路の種別の情報を取得する情報取得部を備え、
前記車両が高速道路や幹線道路を走行中であって車速が例えば80km/h以上のときには、検出した歩行者のアイコンを表示しないようにすることを特徴とする請求項1記載の車載用表示装置。
It has an information acquisition unit that acquires vehicle speed information and road type information,
2. The in-vehicle display device according to claim 1, wherein when the vehicle is traveling on a highway or a main road and the vehicle speed is, for example, 80 km / h or higher, the detected pedestrian icon is not displayed. .
地図情報または車両情報を取得する情報取得部を備え、
前記車両が交差点で右折または左折するときには、検出した歩行者のアイコンを点滅表示することを特徴とする請求項1記載の車載用表示装置。
It has an information acquisition unit that acquires map information or vehicle information,
2. The in-vehicle display device according to claim 1, wherein when the vehicle turns right or left at an intersection, the detected pedestrian icon is displayed in a blinking manner.
JP2015064304A 2015-03-26 2015-03-26 In-vehicle display device Expired - Fee Related JP6464871B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015064304A JP6464871B2 (en) 2015-03-26 2015-03-26 In-vehicle display device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015064304A JP6464871B2 (en) 2015-03-26 2015-03-26 In-vehicle display device

Publications (2)

Publication Number Publication Date
JP2016182892A true JP2016182892A (en) 2016-10-20
JP6464871B2 JP6464871B2 (en) 2019-02-06

Family

ID=57241655

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015064304A Expired - Fee Related JP6464871B2 (en) 2015-03-26 2015-03-26 In-vehicle display device

Country Status (1)

Country Link
JP (1) JP6464871B2 (en)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009265803A (en) * 2008-04-23 2009-11-12 Panasonic Corp Vehicle visual field support device
JP2009266057A (en) * 2008-04-28 2009-11-12 Yupiteru Corp Target detector and program
JP2010079805A (en) * 2008-09-29 2010-04-08 Alpine Electronics Inc Safe driving support device
JP2013095375A (en) * 2011-11-04 2013-05-20 Honda Motor Co Ltd Vehicle surroundings monitoring device
JP2013120574A (en) * 2011-12-08 2013-06-17 Daimler Ag On-vehicle pedestrian alarm device
WO2014024247A1 (en) * 2012-08-06 2014-02-13 三菱電機株式会社 Vehicle approach alerting apparatus
JP2014086969A (en) * 2012-10-25 2014-05-12 Aisin Seiki Co Ltd Image display control apparatus

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009265803A (en) * 2008-04-23 2009-11-12 Panasonic Corp Vehicle visual field support device
JP2009266057A (en) * 2008-04-28 2009-11-12 Yupiteru Corp Target detector and program
JP2010079805A (en) * 2008-09-29 2010-04-08 Alpine Electronics Inc Safe driving support device
JP2013095375A (en) * 2011-11-04 2013-05-20 Honda Motor Co Ltd Vehicle surroundings monitoring device
JP2013120574A (en) * 2011-12-08 2013-06-17 Daimler Ag On-vehicle pedestrian alarm device
WO2014024247A1 (en) * 2012-08-06 2014-02-13 三菱電機株式会社 Vehicle approach alerting apparatus
JP2014086969A (en) * 2012-10-25 2014-05-12 Aisin Seiki Co Ltd Image display control apparatus

Also Published As

Publication number Publication date
JP6464871B2 (en) 2019-02-06

Similar Documents

Publication Publication Date Title
US10252714B2 (en) Parking assistance control for vehicle with autonomous operation capability
JP6635428B2 (en) Car peripheral information display system
US8169339B2 (en) Traffic situation display method, traffic situation display system, in-vehicle device, and computer program
US20180089997A1 (en) Roadside display system, roadside unit and roadside display method thereof
US20190244515A1 (en) Augmented reality dsrc data visualization
JP2015219803A (en) Drive support display device
CN109927629B (en) Display control apparatus, display control method, and vehicle for controlling projection apparatus
JP2018185667A (en) Electronic apparatus, roadside machine, operation method, and control program, and traffic system
JP6520687B2 (en) Driving support device
JP2011221573A (en) Driving support device and driving support system
JP2013171502A (en) Warning device and warning method
JP4692898B2 (en) Vehicle guidance device
WO2016027048A1 (en) Safety system for avoiding collisions with vehicles
JP2016146170A (en) Image generation device and image generation method
JP2008267878A (en) Navigator
CN105222801A (en) Navigation hint method and navigation hint system
JP2015109003A (en) Pedestrian information providing system
JP6464871B2 (en) In-vehicle display device
JP2013131144A (en) Mobile communication device and traveling support method
JP6874299B2 (en) Traffic support system
JP2016085712A (en) Travel support device, travel support program, and travel support method
JP6310381B2 (en) Information processing apparatus, signal information guiding method, and computer program
JP2013045397A (en) Mobile communication device and traveling support method
JP2016045838A (en) Information processor, information processing method, and program for information processor
KR20220046553A (en) Autonomous Vehicle Interaction System

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170717

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180711

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180717

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180903

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20181211

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20181224

R151 Written notification of patent or utility model registration

Ref document number: 6464871

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees