JP2021085679A - Target device for sensor axis adjustment - Google Patents

Target device for sensor axis adjustment Download PDF

Info

Publication number
JP2021085679A
JP2021085679A JP2019212487A JP2019212487A JP2021085679A JP 2021085679 A JP2021085679 A JP 2021085679A JP 2019212487 A JP2019212487 A JP 2019212487A JP 2019212487 A JP2019212487 A JP 2019212487A JP 2021085679 A JP2021085679 A JP 2021085679A
Authority
JP
Japan
Prior art keywords
target
rider
vehicle
camera
axis adjustment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2019212487A
Other languages
Japanese (ja)
Inventor
大輔 角間
Daisuke Kadoma
大輔 角間
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2019212487A priority Critical patent/JP2021085679A/en
Publication of JP2021085679A publication Critical patent/JP2021085679A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Traffic Control Systems (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

To provide a target device for sensor axis adjustment (a target device of the present invention) which can be used for axis adjustment work of a vehicle comprising a camera device and an LiDAR device as target sensors.SOLUTION: The target device is used for axis adjustment of both a camera device and an LiDAR device mounted in a vehicle and comprises a target part including a first portion 60 and a second portion 51 distinguishable from the first portion in an image captured by the camera device. The first portion is configured to reflect a transmission wave of the LiDAR device, and the second portion is configured to absorb or transmit the transmission wave of the LiDAR device.SELECTED DRAWING: Figure 2

Description

本発明は、車両に搭載される物標センサの軸調整作業に用いられるセンサ軸調整用ターゲット装置に関する。 The present invention relates to a sensor axis adjustment target device used for axis adjustment work of a target sensor mounted on a vehicle.

前方にある物標(例えば、障害物及び車線を画定する路面標示)を検出する物標センサを搭載し、検出された物標の位置に基づいて運転者を支援する運転支援機能を提供する車両が知られている。物標センサとして、例えば、カメラ装置及びミリ波レーダ装置が用いられる。 A vehicle equipped with a target sensor that detects obstacles and road markings that define lanes in front of the vehicle and provides a driving support function that assists the driver based on the position of the detected target. It has been known. As the target sensor, for example, a camera device and a millimeter wave radar device are used.

この種の物標センサは「物標センサに対する物標の位置」を検出する一方、運転支援機能を適切に提供するためには「車両に対する物標の位置」を取得する必要がある。そのため、物標センサの車両への据え付けに際し、物標センサの指向軸(検出方向)を予め定められた目標軸に正確に一致させる「軸調整作業」が必要となる。 While this type of target sensor detects the "position of the target with respect to the target sensor", it is necessary to acquire the "position of the target with respect to the vehicle" in order to appropriately provide the driving support function. Therefore, when installing the target sensor on the vehicle, it is necessary to perform "axis adjustment work" to accurately match the directional axis (detection direction) of the target sensor with a predetermined target axis.

軸調整作業は、物標センサの前方に配置されたターゲット装置(即ち、被検出物標)の車両に対する実際の位置と、物標センサの検出結果に基づいて取得されるターゲット装置の車両に対する位置と、が一致するように物標センサの車両への取付け角度を調整する作業である。 The axis adjustment work involves the actual position of the target device (that is, the target to be detected) placed in front of the target sensor with respect to the vehicle and the position of the target device with respect to the vehicle acquired based on the detection result of the target sensor. This is the work of adjusting the mounting angle of the target sensor on the vehicle so that

軸調整作業を行うとき、作業者はターゲット装置を所定の位置(ターゲット配置位置)に配置する必要がある。しかし、車両に搭載される物標センサのそれぞれに対応するターゲット装置をそれぞれのターゲット配置位置に配置する場合、作業者の負担が大きくなったり作業に要する時間が長くなったりする可能性がある。 When performing the axis adjustment work, the operator needs to arrange the target device at a predetermined position (target arrangement position). However, when the target devices corresponding to the target sensors mounted on the vehicle are arranged at the respective target arrangement positions, the burden on the operator may increase and the time required for the work may increase.

そこで、従来のターゲット装置の1つ(以下、「従来装置」とも称呼される。)は、カメラ装置に対応するターゲット装置としても、ミリ波レーダ装置に対応するターゲット装置としても、用いることが可能となっている。従来装置によれば、カメラ装置及びミリ波レーダ装置を共に備える車両に対して軸調整作業を行う場合における作業者の負担を低減することが可能となる(例えば、特許文献1を参照。)。 Therefore, one of the conventional target devices (hereinafter, also referred to as "conventional device") can be used as both a target device corresponding to a camera device and a target device corresponding to a millimeter-wave radar device. It has become. According to the conventional device, it is possible to reduce the burden on the operator when performing the axis adjustment work on the vehicle provided with both the camera device and the millimeter wave radar device (see, for example, Patent Document 1).

特開2010−156609号公報JP-A-2010-156609

ところで、車両に搭載される物標センサとして、ライダー(LiDAR:Light Detection and Ranging)装置が知られている。一般に、ライダー装置の送信波(電磁波)は、ミリ波レーダ装置と比較して波長が短い(例えば、ライダー装置の送信波として赤外線が用いられる。)。そのため、従来装置は、カメラ装置とライダー装置とを搭載する車両の軸調整作業に用いられるターゲット装置には適さない虞がある。 By the way, a lidar (LiDAR: Light Detection and Ranging) device is known as a target sensor mounted on a vehicle. Generally, the transmitted wave (electromagnetic wave) of the rider device has a shorter wavelength than that of the millimeter wave radar device (for example, infrared rays are used as the transmitted wave of the rider device). Therefore, the conventional device may not be suitable for the target device used for the axis adjustment work of the vehicle on which the camera device and the rider device are mounted.

そこで、本発明の目的の1つは、カメラ装置とライダー装置とを搭載する車両の軸調整作業に用いること可能であり且つ作業者の負担を軽減することができるターゲット装置(センサ軸調整用ターゲット装置)を提供することである。 Therefore, one of the objects of the present invention is a target device (sensor axis adjustment target) that can be used for axis adjustment work of a vehicle equipped with a camera device and a rider device and can reduce the burden on the operator. The device) is to be provided.

上記目的を達成するためのセンサ軸調整用ターゲット装置(以下、「本発明装置」とも称呼される。)は、
画像処理部(運転支援ECU20)を備える車両(10)に搭載される、
所定の「検出領域」に対して赤外線を「送信波」として送信し且つ当該送信波が当該検出領域にある物標にて反射することによって発生した「反射波」を受信することによって当該物標を検出するライダー装置(40)と、
前記検出領域と少なくとも一部が重複する所定の「撮影領域」を撮影することによって「領域画像」を取得するカメラ装置(30)と、
のそれぞれの軸調整に用いられる。
A target device for adjusting the sensor axis (hereinafter, also referred to as “device of the present invention”) for achieving the above object is used.
Mounted on a vehicle (10) equipped with an image processing unit (driving support ECU 20),
By transmitting infrared rays as a "transmitted wave" to a predetermined "detection area" and receiving the "reflected wave" generated by the transmitted wave reflected by a target in the detection area, the target Rider device (40) to detect
A camera device (30) that acquires a "region image" by photographing a predetermined "shooting region" that overlaps at least a part of the detection region.
It is used for each axis adjustment of.

本発明装置は、
「第1部分(光学ターゲット60)」と、
前記領域画像において当該第1部分と区別することができる「第2部分(ターゲット部51における光学ターゲット60が付着されていない部分)」と、
を含む「ターゲット部(51)」を備える。
The device of the present invention
"Part 1 (optical target 60)"
In the area image, the "second part (the part of the target part 51 to which the optical target 60 is not attached)" that can be distinguished from the first part is described as.
A "target unit (51)" including the above is provided.

更に、前記第1部分は、
前記送信波を反射し、
前記第2部分は、
前記送信波を吸収又は透過する。
Further, the first part is
Reflect the transmitted wave and
The second part is
Absorbs or transmits the transmitted wave.

画像処理部は、領域画像における第1部分と第2部分とを区別することができる。換言すれば、領域画像に写る第1部分と第2部分とは、色相、明度及び彩度の少なくとも1つにおいて互いに異なっている。例えば、第1部分は明るい色(即ち、明度の高い色)の材料によって構成され、第2部分が濃い色(即ち、明度の低い色)の材料によって構成されても良い。そのため、領域画像に写る第1部分及び/又は第2部分の位置に基づいてカメラ装置の指向軸(即ち、撮影方向)の予め定められた目標軸からの乖離量を取得することができる。即ち、本発明装置を用いて車両に搭載されるカメラ装置の軸調整作業を行うことができる。 The image processing unit can distinguish between the first portion and the second portion in the region image. In other words, the first part and the second part appearing in the region image are different from each other in at least one of hue, lightness and saturation. For example, the first portion may be composed of a material of a light color (that is, a color having a high lightness), and the second part may be made of a material of a dark color (that is, a color having a low lightness). Therefore, it is possible to acquire the amount of deviation of the directional axis (that is, the shooting direction) of the camera device from the predetermined target axis based on the positions of the first portion and / or the second portion captured in the region image. That is, the apparatus of the present invention can be used to adjust the axis of the camera apparatus mounted on the vehicle.

一方、第1部分と第2部分とは、ライダー装置の送信波に対する反射率(即ち、反射波の強度)において互いに異なっている。そのため、ライダー装置は第1部分と第2部分とを区別することができる(或いは、ライダー装置によっては、第1部分を物標として検出することができる)。従って、物標として検出される第1部分の位置に基づいてライダー装置の指向軸(即ち、物標検出方向)の予め定められた目標軸からの乖離量を取得することができる。即ち、本発明装置を用いて車両に搭載されるライダー装置の軸調整作業を行うことができる。 On the other hand, the first part and the second part are different from each other in the reflectance (that is, the intensity of the reflected wave) with respect to the transmitted wave of the lidar device. Therefore, the rider device can distinguish between the first part and the second part (or, depending on the rider device, the first part can be detected as a target). Therefore, it is possible to acquire the amount of deviation of the directional axis (that is, the target detection direction) of the rider device from the predetermined target axis based on the position of the first portion detected as the target. That is, the apparatus of the present invention can be used to adjust the axis of the rider apparatus mounted on the vehicle.

従って、本発明装置は、カメラ装置とライダー装置とを搭載する車両の軸調整作業に用いること可能である。加えて、本発明装置を配置する作業を1回のみ行えばカメラ装置及びライダー装置の両方の軸調整作業を行うことが可能となるので、作業者の負担を軽減することができる。 Therefore, the device of the present invention can be used for axis adjustment work of a vehicle equipped with a camera device and a rider device. In addition, since the axis adjustment work of both the camera device and the rider device can be performed by performing the work of arranging the device of the present invention only once, the burden on the operator can be reduced.

上記説明においては、本発明の理解を助けるために、後述される実施形態に対応する発明の構成に対し、その実施形態で用いた名称及び/又は符号を括弧書きで添えている。しかしながら、本発明の各構成要素は、前記名称及び/又は符号によって規定される実施形態に限定されるものではない。本発明の他の目的、他の特徴及び付随する利点は、以下の図面を参照しつつ記述される本発明の実施形態についての説明から容易に理解されるであろう。 In the above description, in order to help the understanding of the present invention, the names and / or symbols used in the embodiments are added in parentheses to the configurations of the invention corresponding to the embodiments described later. However, each component of the present invention is not limited to the embodiment defined by the above name and / or reference numeral. Other objects, other features and accompanying advantages of the invention will be readily understood from the description of embodiments of the invention described with reference to the drawings below.

本発明の実施形態に係るセンサ軸調整用ターゲット装置(本ターゲット装置)を用いて軸調整作業が行われる物標センサを搭載する車両の概略図である。It is a schematic diagram of the vehicle equipped with the target sensor which performs the axis adjustment work using the sensor axis adjustment target device (the present target device) which concerns on embodiment of this invention. 本ターゲット装置の正面図である。It is a front view of this target device. 本ターゲット装置の変形例の正面図である。It is a front view of the modification of this target device.

(車両の構成)
以下、図面を参照しながら本発明の実施形態に係るセンサ軸調整用ターゲット装置(以下、「本ターゲット装置」とも称呼される。)及び本ターゲット装置を用いて軸調整作業が行われる物標センサを搭載する車両について説明する。先ず、物標センサを搭載する車両10について説明する。図1に示されるように、車両10は、運転支援ECU20、カメラ装置30及びライダー装置40を含んでいる。
(Vehicle configuration)
Hereinafter, the target device for adjusting the sensor axis according to the embodiment of the present invention (hereinafter, also referred to as “the target device”) and the target sensor in which the axis adjustment work is performed using the target device with reference to the drawings. The vehicle equipped with the above will be described. First, the vehicle 10 equipped with the target sensor will be described. As shown in FIG. 1, the vehicle 10 includes a driving support ECU 20, a camera device 30, and a rider device 40.

運転支援ECU20は、CPU、ROM及びRAM(何れも不図示)を備えたマイクロコンピュータを主要素として含む電子制御ユニット(ECU:Electronic Control Unit)である。CPUは、所定のプログラム(ルーチン)を逐次実行することによってデータの読み込み、数値演算、及び、演算結果の出力等を行う。ROMは、不揮発性メモリであってCPUが実行するプログラム及びプログラムの実行時に参照されるルックアップテーブル(マップ)等を記憶している。RAMは、CPUによって参照されるデータを一時的に記憶する。運転支援ECU20は、以下、単に、ECU20とも称呼される。 The operation support ECU 20 is an electronic control unit (ECU) including a microcomputer having a CPU, a ROM, and a RAM (all not shown) as a main element. The CPU sequentially executes a predetermined program (routine) to read data, perform numerical calculation, output a calculation result, and the like. The ROM is a non-volatile memory and stores a program executed by the CPU, a look-up table (map) referred to when the program is executed, and the like. The RAM temporarily stores the data referenced by the CPU. Hereinafter, the driving support ECU 20 is also simply referred to as an ECU 20.

カメラ装置30は、車両10のフロントガラスの車室内上部に配設されたルームミラー(不図示)近傍に配設されている。カメラ装置30は、車両10の前方にある領域を撮影した「領域画像」を表す情報(即ち、静止画像データ)を所定の時間間隔が経過する毎に取得し、領域画像を表す情報をECU20へ出力する。カメラ装置30の横方向(左右方向)における撮影範囲(上面視におけるカメラ装置30の画角)は、直線Lc1と直線Lc2との間の範囲である。 The camera device 30 is arranged in the vicinity of a rearview mirror (not shown) arranged in the upper part of the vehicle interior of the windshield of the vehicle 10. The camera device 30 acquires information representing a "region image" (that is, still image data) obtained by photographing an region in front of the vehicle 10 every time a predetermined time interval elapses, and transfers information representing the region image to the ECU 20. Output. The photographing range (angle of view of the camera device 30 in the top view) in the lateral direction (horizontal direction) of the camera device 30 is a range between the straight line Lc1 and the straight line Lc2.

ライダー装置40は、車両10の前端中央部に配設されている。ライダー装置40は、送信部(不図示)を備え、所定の波長の赤外線を所定の「検出領域」に対して「送信波」として送信する。加えて、ライダー装置40は、受信部(不図示)を備え、送信波が検出領域にある物標にて反射することによって発生した「反射波」を受信する。上面視におけるライダー装置40の検出領域は、直線Lr1と直線Lr2との間の範囲である。 The rider device 40 is arranged at the center of the front end of the vehicle 10. The lidar device 40 includes a transmission unit (not shown) and transmits infrared rays having a predetermined wavelength to a predetermined “detection region” as a “transmitted wave”. In addition, the lidar device 40 includes a receiving unit (not shown) and receives the "reflected wave" generated by the transmitted wave being reflected by the target in the detection region. The detection area of the lidar device 40 in top view is a range between the straight line Lr1 and the straight line Lr2.

ライダー装置40は、送信波を送信した時点と反射波を受信した時点との時間差に基づいてその送信波が送信された方向にある物標(例えば、車両10以外の他車両、及び、歩行者)を検出し、その物標との距離を取得する。ライダー装置40は、物標を検出すると、その物標に関する情報(その物標のライダー装置40に対する位置を含む)を「物標情報」としてECU20へ出力する。 The rider device 40 is a target (for example, a vehicle other than the vehicle 10 and a pedestrian) in the direction in which the transmitted wave is transmitted based on the time difference between the time when the transmitted wave is transmitted and the time when the reflected wave is received. ) Is detected and the distance to the target is acquired. When the rider device 40 detects a target, it outputs information about the target (including the position of the target with respect to the rider device 40) to the ECU 20 as "target information".

ECU20は、カメラ装置30から受信した領域画像及びライダー装置40から受信した物標情報に基づいて物標の車両10に対する位置を含む「周辺情報」を取得する。加えて、ECU20は、周辺情報に基づいて車両10の運転者を支援する種々の「運転支援機能」を提供する。ただし、運転支援機能、及び、運転支援機能を実現するためのECU20の作動に関する説明は、本明細書において省略される。 The ECU 20 acquires "peripheral information" including the position of the target with respect to the vehicle 10 based on the area image received from the camera device 30 and the target information received from the rider device 40. In addition, the ECU 20 provides various "driving support functions" that support the driver of the vehicle 10 based on peripheral information. However, the description regarding the driving support function and the operation of the ECU 20 for realizing the driving support function is omitted in the present specification.

(センサ軸調整用ターゲット装置)
次に、車両10の軸調整作業に用いられるセンサ軸調整用ターゲット装置(即ち、本ターゲット装置)であるターゲット装置50について説明する。図2から理解されるように、ターゲット装置50は、ターゲット部51、支柱52及び基部53を含んでいる。
(Target device for sensor axis adjustment)
Next, the target device 50, which is a sensor axis adjustment target device (that is, the present target device) used for the axis adjustment work of the vehicle 10, will be described. As can be seen from FIG. 2, the target device 50 includes a target portion 51, a support column 52, and a base portion 53.

ターゲット部51は、平板状の部材であって横長の長方形である。ターゲット部51の左右方向中心線(即ち、上下方向に伸びる線)と、支柱52の左右方向中心線と、が一致するように、ターゲット部51の裏面が支柱52に固定されている。図2において、この左右方向中心線は、破線Lcとして示される。 The target portion 51 is a flat plate-shaped member and is a horizontally long rectangle. The back surface of the target portion 51 is fixed to the support column 52 so that the center line in the left-right direction of the target portion 51 (that is, the line extending in the vertical direction) and the center line in the left-right direction of the support column 52 coincide with each other. In FIG. 2, this left-right center line is shown as a broken line Lc.

支柱52は基部53の中央部から基部53に対して垂直方向に伸びるように立設されている。基部53は円盤状の土台である。従って、ターゲット部51が水平面上に配置されたとき、支柱52の軸線は鉛直方向に伸びる。 The support column 52 is erected so as to extend in the direction perpendicular to the base portion 53 from the central portion of the base portion 53. The base 53 is a disk-shaped base. Therefore, when the target portion 51 is arranged on the horizontal plane, the axis of the support column 52 extends in the vertical direction.

ターゲット部51には、左側光学ターゲット61、中央光学ターゲット62及び右側光学ターゲット63(以下、光学ターゲット60とも総称される。)が付着(貼付)されている。光学ターゲット60のそれぞれは、第1ターゲット71及び第2ターゲット72を含んでいる。図2から理解されるように、第2ターゲット72は、第1ターゲット71の近傍にあり、第1ターゲット71に対して右方且つ下方に位置している。 A left optical target 61, a central optical target 62, and a right optical target 63 (hereinafter, also collectively referred to as an optical target 60) are attached (attached) to the target portion 51. Each of the optical targets 60 includes a first target 71 and a second target 72. As can be seen from FIG. 2, the second target 72 is in the vicinity of the first target 71, and is located to the right and below the first target 71.

ターゲット部51には、赤外線吸収材が用いられている。具体的には、ターゲット部51の車両10と対向する表面には、ポリウレタン樹脂製の光吸収用スウェード状フィルムが貼付されている。 An infrared absorber is used for the target portion 51. Specifically, a light-absorbing suede-like film made of polyurethane resin is attached to the surface of the target portion 51 facing the vehicle 10.

一方、光学ターゲット60には、赤外線反射材が用いられている。具体的には、光学ターゲット60の車両10と対向する表面(即ち、第1ターゲット71及び第2ターゲット72)には、赤外線反射膜が形成されている。本実施形態において、赤外線反射膜は、アルミ蒸着膜である。 On the other hand, an infrared reflector is used for the optical target 60. Specifically, an infrared reflective film is formed on the surface of the optical target 60 facing the vehicle 10 (that is, the first target 71 and the second target 72). In the present embodiment, the infrared reflective film is an aluminum vapor deposition film.

ターゲット部51における光学ターゲット60と、それ以外の部分(即ち、ターゲット部51における光学ターゲット60が付着していない部分)と、は領域画像において区別が可能である。換言すれば、ターゲット部51における光学ターゲット60と、それ以外の部分と、は色相、明度及び彩度の少なくとも1つが互いに異なっている。 The optical target 60 in the target portion 51 and the other portion (that is, the portion in the target portion 51 to which the optical target 60 is not attached) can be distinguished in the region image. In other words, the optical target 60 in the target portion 51 and the other portions differ from each other in at least one of hue, lightness, and saturation.

より具体的には、領域画像にターゲット部51が含まれているとき、ターゲット部51における光学ターゲット60は明るい色の領域として領域画像に現れ、ターゲット部51における光学ターゲット60以外の部分は濃い色の領域として領域画像に現れる。そのため、後述されるように、ECU20は、領域画像にターゲット部51が含まれていたとき、そのターゲット部51における光学ターゲット60を抽出(認識)することができる。 More specifically, when the target portion 51 is included in the region image, the optical target 60 in the target portion 51 appears in the region image as a bright color region, and the portion other than the optical target 60 in the target portion 51 is a dark color. Appears in the area image as an area of. Therefore, as will be described later, when the target unit 51 is included in the region image, the ECU 20 can extract (recognize) the optical target 60 in the target unit 51.

加えて、ターゲット部51における光学ターゲット60と、光学ターゲット60以外の部分と、はライダー装置40が送信波として送信する赤外線の反射率(即ち、反射波の強度)が異なる。そのため、ライダー装置40の検出領域にターゲット装置50が配置されているとき、ライダー装置40は、光学ターゲット60を物標として検出し且つ光学ターゲット60の位置を取得することができる。 In addition, the optical target 60 in the target unit 51 and the portion other than the optical target 60 differ in the reflectance (that is, the intensity of the reflected wave) of infrared rays transmitted by the lidar device 40 as a transmitted wave. Therefore, when the target device 50 is arranged in the detection region of the rider device 40, the rider device 40 can detect the optical target 60 as a target and acquire the position of the optical target 60.

(軸調整作業)
次に、ターゲット装置50を用いたカメラ装置30及びライダー装置40の軸調整作業について説明する。車両10が工場にて製造されたとき、作業者は、カメラ装置30及びライダー装置40の軸調整作業を行うため、ターゲット装置50を車両10に対して所定の位置(即ち、ターゲット配置位置)に配置する。
(Axis adjustment work)
Next, the axis adjustment work of the camera device 30 and the rider device 40 using the target device 50 will be described. When the vehicle 10 is manufactured at the factory, the operator sets the target device 50 at a predetermined position (that is, the target placement position) with respect to the vehicle 10 in order to perform the axis adjustment work of the camera device 30 and the rider device 40. Deploy.

本実施形態において、ターゲット配置位置は、図1に示されるように、車両10の前方であり且つ「車両10の左右方向における中心線である破線La」上であって、車両10から所定の距離だけ離れた位置である。ターゲット装置50がターゲット配置位置に配置されたとき、ターゲット装置50の全体がカメラ装置30の撮影範囲に含まれ且つライダー装置40の検出領域に含まれる。 In the present embodiment, as shown in FIG. 1, the target arrangement position is in front of the vehicle 10 and on the "broken line La which is the center line in the left-right direction of the vehicle 10" and is a predetermined distance from the vehicle 10. Only far away. When the target device 50 is placed at the target placement position, the entire target device 50 is included in the shooting range of the camera device 30 and is included in the detection area of the rider device 40.

加えて、作業者は、ECU20と接続されている入出力装置(不図示)に対して所定の「カメラ調整開始操作」を行うことによってECU20に「カメラ据付け差分表示処理」を開始させる。本実施形態において、入出力装置は、車両10の車室内であって運転手によって視認可能な位置に配設され且つタッチパネルを備える液晶ディスプレイ装置である。カメラ据付け差分表示処理は、「カメラ装置30の指向軸(撮影方向)の予め定められた目標軸からの乖離量(カメラ据付け差分)を取得すること及び取得されたカメラ据付け差分を入出力装置に表示すること」を所定の時間間隔にて繰り返し実行する処理である。 In addition, the operator causes the ECU 20 to start the "camera installation difference display process" by performing a predetermined "camera adjustment start operation" on the input / output device (not shown) connected to the ECU 20. In the present embodiment, the input / output device is a liquid crystal display device arranged in a vehicle interior of the vehicle 10 at a position visible to the driver and provided with a touch panel. The camera installation difference display process is performed by "acquiring the amount of deviation (camera installation difference) of the directional axis (shooting direction) of the camera device 30 from a predetermined target axis, and using the acquired camera installation difference as an input / output device. This is a process of repeatedly executing "displaying" at predetermined time intervals.

より具体的に述べると、カメラ据付け差分表示処理の実行時、ECU20は、領域画像に含まれる光学ターゲット60のそれぞれの位置を周知の画像認識処理により探索する。即ち、ECU20は、領域画像における光学ターゲット60のそれぞれの位置(カメラターゲット位置)を取得する。画像認識処理を実行するECU20は、便宜上、「画像処理部」とも称呼される。 More specifically, when the camera installation difference display process is executed, the ECU 20 searches for each position of the optical target 60 included in the region image by a well-known image recognition process. That is, the ECU 20 acquires each position (camera target position) of the optical target 60 in the region image. The ECU 20 that executes the image recognition process is also referred to as an "image processing unit" for convenience.

カメラターゲット位置は、光学ターゲット60の上下方向及び左右方向の中心位置である。左側光学ターゲット61のカメラターゲット位置は、図2に示されるターゲット中心点Paの領域画像における位置によって表される。中央光学ターゲット62のカメラターゲット位置は、ターゲット中心点Pbの領域画像における位置によって表される。右側光学ターゲット63のカメラターゲット位置は、ターゲット中心点Pcの領域画像における位置によって表される。 The camera target position is the center position of the optical target 60 in the vertical and horizontal directions. The camera target position of the left optical target 61 is represented by the position of the target center point Pa shown in FIG. 2 in the region image. The camera target position of the central optical target 62 is represented by the position of the target center point Pb in the region image. The camera target position of the right optical target 63 is represented by the position of the target center point Pc in the region image.

カメラターゲット位置の取得に成功すると、ECU20は、カメラ装置30の指向軸が目標軸と一致していた場合における光学ターゲット60のカメラターゲット位置と、取得された光学ターゲット60のカメラターゲット位置と、の差分をカメラ据付け差分として入出力装置に表示する。 When the acquisition of the camera target position is successful, the ECU 20 determines that the camera target position of the optical target 60 when the directional axis of the camera device 30 coincides with the target axis and the camera target position of the acquired optical target 60. The difference is displayed on the input / output device as the camera installation difference.

作業者は、入出力装置に表示されるカメラ据付け差分が所定の閾値よりも小さくなるように車両10に据え付けられたカメラ装置30の向き及びロール角度を調整する。即ち、作業者は、カメラ装置30の軸調整作業を行う。カメラ装置30の軸調整作業が完了すると、作業者は、入出力装置に対して所定の「カメラ調整終了操作」を行うことによってECU20にカメラ据付け差分表示処理を終了させる。 The operator adjusts the orientation and roll angle of the camera device 30 installed in the vehicle 10 so that the camera installation difference displayed on the input / output device becomes smaller than a predetermined threshold value. That is, the operator performs the axis adjustment work of the camera device 30. When the axis adjustment work of the camera device 30 is completed, the operator causes the ECU 20 to end the camera installation difference display process by performing a predetermined "camera adjustment end operation" on the input / output device.

更に、作業者は、入出力装置に対して所定の「ライダー調整開始操作」を行うことによってECU20に「ライダー据付け差分表示処理」を開始させる。ライダー据付け差分表示処理は、「ライダー装置40の指向軸(物標検出方向)の予め定められた目標軸からの乖離量(ライダー据付け差分)を取得すること及び取得されたライダー据付け差分を入出力装置に表示すること」を所定の時間間隔にて繰り返し実行する処理である。 Further, the operator causes the ECU 20 to start the “rider installation difference display process” by performing a predetermined “rider adjustment start operation” on the input / output device. The rider installation difference display process is to "acquire the amount of deviation (rider installation difference) of the directional axis (target detection direction) of the rider device 40 from a predetermined target axis and input / output the acquired rider installation difference. This is a process of repeatedly executing "displaying on the device" at predetermined time intervals.

ライダー据付け差分表示処理の実行時、ECU20は、ライダー装置40に対する光学ターゲット60のそれぞれの位置(ライダーターゲット位置)をライダー装置40から受信した物標情報に基づいて取得する。ライダーターゲット位置は、ライダー装置40によって検出されたターゲット中心点Pa、ターゲット中心点Pb及びターゲット中心点Pcのライダー装置40に対する位置である。 When executing the rider installation difference display process, the ECU 20 acquires each position (rider target position) of the optical target 60 with respect to the rider device 40 based on the target information received from the rider device 40. The rider target position is the position of the target center point Pa, the target center point Pb, and the target center point Pc detected by the rider device 40 with respect to the rider device 40.

ライダーターゲット位置の取得に成功すると、ECU20は、ライダー装置40の指向軸が目標軸と一致していた場合における光学ターゲット60のライダーターゲット位置と、取得された光学ターゲット60のライダーターゲット位置と、の差分をライダー据付け差分として入出力装置に表示する。 When the acquisition of the rider target position is successful, the ECU 20 determines that the rider target position of the optical target 60 when the directional axis of the rider device 40 coincides with the target axis and the rider target position of the acquired optical target 60. The difference is displayed on the input / output device as the rider installation difference.

作業者は、入出力装置に表示されるライダー据付け差分が所定の閾値よりも小さくなるように車両10に据え付けられたライダー装置40の向き及びロール角度を調整する。即ち、作業者は、ライダー装置40の軸調整作業を行う。ライダー装置40の軸調整作業が完了すると、作業者は、入出力装置に対して所定の「ライダー調整終了操作」を行うことによってECU20にライダー据付け差分表示処理を終了させる。 The operator adjusts the orientation and roll angle of the rider device 40 installed in the vehicle 10 so that the rider installation difference displayed on the input / output device becomes smaller than a predetermined threshold value. That is, the operator performs the axis adjustment work of the rider device 40. When the axis adjustment work of the rider device 40 is completed, the operator causes the ECU 20 to end the rider installation difference display process by performing a predetermined "rider adjustment end operation" on the input / output device.

なお、カメラ装置30の軸調整作業は、車両10の製造時に加えて、カメラ装置30が修理又は交換されたときにも行われる。同様に、ライダー装置40の軸調整作業は、車両10の製造時に加えて、ライダー装置40が修理又は交換されたときにも行われる。 The axis adjustment work of the camera device 30 is performed not only when the vehicle 10 is manufactured but also when the camera device 30 is repaired or replaced. Similarly, the axis adjustment work of the rider device 40 is performed not only when the vehicle 10 is manufactured, but also when the rider device 40 is repaired or replaced.

<変形例>
次に、本ターゲット装置の変形例について説明する。上述した本ターゲット装置であるターゲット装置50は、ターゲット部51を備えていた。一方、本ターゲット装置の変形例に係るターゲット装置80は、図3に示されるように、ターゲット部81を備えている点のみにおいてターゲット装置50と異なっている。
<Modification example>
Next, a modification of the target device will be described. The target device 50, which is the above-mentioned target device, includes a target unit 51. On the other hand, the target device 80 according to the modification of the target device is different from the target device 50 only in that it includes the target unit 81 as shown in FIG.

より具体的に述べると、ターゲット部81の裏面が支柱52に固定されている。ターゲット部81は平板状の部材であって円盤形状を有している。ターゲット部81には、円盤形状を有する光学ターゲット82が、ターゲット部81及び光学ターゲット82の中心が互いに一致するように付着(貼付)されている。 More specifically, the back surface of the target portion 81 is fixed to the support column 52. The target portion 81 is a flat plate-shaped member and has a disk shape. An optical target 82 having a disk shape is attached (attached) to the target portion 81 so that the centers of the target portion 81 and the optical target 82 coincide with each other.

ターゲット部81には、ターゲット部51と同様に、赤外線吸収剤が塗布されている。一方、光学ターゲット82には、光学ターゲット60と同様に、赤外線反射膜が形成されている。 Similar to the target portion 51, the target portion 81 is coated with an infrared absorber. On the other hand, an infrared reflective film is formed on the optical target 82, similarly to the optical target 60.

ターゲット装置80がカメラ装置30の軸調整作業に用いられるとき、カメラターゲット位置は、領域画像における光学ターゲット82の中心点Pdの位置となる。同様に、ターゲット装置80がライダー装置40の軸調整作業に用いられるとき、ライダーターゲット位置は、ライダー装置40に対する中心点Pdの位置となる。 When the target device 80 is used for the axis adjustment work of the camera device 30, the camera target position is the position of the center point Pd of the optical target 82 in the area image. Similarly, when the target device 80 is used for the axis adjustment work of the rider device 40, the rider target position is the position of the center point Pd with respect to the rider device 40.

以上、説明したように、本ターゲット装置は、物標センサとして車両10に搭載されるカメラ装置30及びライダー装置40のそれぞれの軸調整作業に用いることができる。加えて、カメラ装置30及びライダー装置40の軸調整作業に際し、作業者は、本ターゲット装置をターゲット配置位置に配置する作業を1回だけ行えば良い。従って、本ターゲット装置によれば、軸調整作業の実行時における作業者の負担を軽減することが可能となる。更に、カメラ装置30及びライダー装置40のそれぞれの軸調整作業のために2つのターゲット装置を調達する必要が無いので、本ターゲット装置を用いることにより物標センサの軸調整作業に関するコストを削減することができる。 As described above, the target device can be used as a target sensor for the axis adjustment work of the camera device 30 and the rider device 40 mounted on the vehicle 10. In addition, when adjusting the axes of the camera device 30 and the rider device 40, the operator only needs to perform the work of arranging the target device at the target placement position only once. Therefore, according to this target device, it is possible to reduce the burden on the operator when executing the axis adjustment work. Further, since it is not necessary to procure two target devices for the axis adjustment work of the camera device 30 and the rider device 40, the cost related to the axis adjustment work of the target sensor can be reduced by using this target device. Can be done.

以上、本発明に係るセンサ軸調整用ターゲット装置の実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、本発明の目的に逸脱しない限りにおいて種々の変更が可能である。例えば、本実施形態において、ターゲット配置位置は、車両10に対する予め定められた位置(固定位置)であった。しかし、ターゲット配置位置は、固定位置でなくても良い。例えば、軸調整作業を開始するとき、作業者は、ターゲット装置50の全体がカメラ装置30の撮影範囲に含まれ且つライダー装置40の検出領域に含まれるように、ターゲット装置50を任意の位置に置いても良い。この場合、作業者は、カメラ据付け差分表示処理及びライダー据付け差分表示処理の開始時に入出力装置を介して車両10に対するターゲット装置50の実際の位置をECU20に登録する。 Although the embodiment of the sensor axis adjusting target device according to the present invention has been described above, the present invention is not limited to the above embodiment, and various modifications can be made without departing from the object of the present invention. .. For example, in the present embodiment, the target placement position is a predetermined position (fixed position) with respect to the vehicle 10. However, the target placement position does not have to be a fixed position. For example, when starting the axis adjustment work, the operator puts the target device 50 in an arbitrary position so that the entire target device 50 is included in the shooting range of the camera device 30 and is included in the detection area of the rider device 40. You may put it. In this case, the operator registers the actual position of the target device 50 with respect to the vehicle 10 in the ECU 20 via the input / output device at the start of the camera installation difference display process and the rider installation difference display process.

加えて、本実施形態において、作業者は、カメラ据付け差分が所定の閾値よりも小さくなるようにカメラ装置30の指向軸を調整する作業をカメラ装置30の軸調整作業として行っていた。しかし、「カメラ据付け差分をECU20に登録する作業」がカメラ装置30の軸調整作業であるようにECU20が構成されていても良い。この場合、ECU20は、登録されたカメラ据付け差分を考慮して車両10に対する物標の位置を取得する。 In addition, in the present embodiment, the operator has performed the work of adjusting the directional axis of the camera device 30 so that the camera installation difference becomes smaller than a predetermined threshold value as the axis adjustment work of the camera device 30. However, the ECU 20 may be configured so that the "work of registering the camera installation difference in the ECU 20" is the axis adjustment work of the camera device 30. In this case, the ECU 20 acquires the position of the target with respect to the vehicle 10 in consideration of the registered camera installation difference.

同様に、本実施形態において、作業者は、ライダー据付け差分が所定の閾値よりも小さくなるようにライダー装置40の指向軸を調整する作業をライダー装置40の軸調整作業として行っていた。しかし、「ライダー据付け差分をECU20に登録する作業」がライダー装置40の軸調整作業であるようにECU20が構成されていても良い。この場合、ECU20は、登録されたライダー据付け差分を考慮して車両10に対する物標の位置を取得する。 Similarly, in the present embodiment, the operator has performed the work of adjusting the directional axis of the rider device 40 so that the rider installation difference becomes smaller than a predetermined threshold value as the axis adjustment work of the rider device 40. However, the ECU 20 may be configured so that the "work of registering the rider installation difference in the ECU 20" is the axis adjustment work of the rider device 40. In this case, the ECU 20 acquires the position of the target with respect to the vehicle 10 in consideration of the registered rider installation difference.

加えて、本実施形態に係るカメラ装置30は、車室内上部に配設されたルームミラー近傍に配設されていた。しかし、カメラ装置30は、これとは異なる位置(例えば、車両10の前端中央部)に配設されても良い。更に、本実施形態に係るライダー装置40は、車両10の前端中央部に配設されていた。しかし、ライダー装置40は、これとは異なる位置(例えば、車室内上部に配設されたルームミラー近傍)に配設されても良い。 In addition, the camera device 30 according to the present embodiment is arranged in the vicinity of the rearview mirror arranged in the upper part of the vehicle interior. However, the camera device 30 may be arranged at a different position (for example, the central portion of the front end of the vehicle 10). Further, the rider device 40 according to the present embodiment is arranged at the center of the front end of the vehicle 10. However, the rider device 40 may be arranged at a position different from this (for example, in the vicinity of the rearview mirror arranged in the upper part of the vehicle interior).

加えて、本実施形態に係るターゲット部51において、赤外線吸収材としてポリウレタン樹脂のフィルムが用いられていた。しかし、これとは異なる材質(例えば、シアニン化合物及びナフトキノン化合物等)が赤外線吸収材として用いられても良い。或いは、ターゲット部51はライダー装置40の送信波(赤外線)を透過する材料によって構成されても良い。更に、本実施形態に係る光学ターゲット60において、赤外線反射膜としてアルミ蒸着膜が用いられていた。しかし、これとは異なる材質(例えば、貴金属薄膜)が赤外線反射膜として用いられても良い。或いは、赤外線反射材として、再帰性反射特性を備えたプリズム型反射シートが用いられても良い。 In addition, a polyurethane resin film was used as the infrared absorber in the target portion 51 according to the present embodiment. However, a material different from this (for example, a cyanine compound, a naphthoquinone compound, etc.) may be used as the infrared absorber. Alternatively, the target portion 51 may be made of a material that transmits the transmitted wave (infrared ray) of the rider device 40. Further, in the optical target 60 according to the present embodiment, an aluminum vapor deposition film is used as the infrared reflective film. However, a material different from this (for example, a noble metal thin film) may be used as the infrared reflective film. Alternatively, as the infrared reflective material, a prism-type reflective sheet having retroreflective characteristics may be used.

加えて、本実施形態に係る運転支援ECU20は、カメラ装置30から受信した領域画像に基づいて物標の車両10に対する位置を取得していた。即ち、運転支援ECU20が領域画像に基づいて物標を検出していた。しかし、運転支援ECU20の代わりにカメラ装置30が領域画像に基づいて物標を検出しても良い。この場合、運転支援ECU20は、カメラ装置30から検出された物標に関する情報(即ち、物標情報)を受信する。この場合における画像認識処理を実行するカメラ装置30は、便宜上、「画像処理部」とも称呼される。 In addition, the driving support ECU 20 according to the present embodiment has acquired the position of the target with respect to the vehicle 10 based on the area image received from the camera device 30. That is, the driving support ECU 20 has detected the target based on the area image. However, instead of the driving support ECU 20, the camera device 30 may detect the target based on the area image. In this case, the driving support ECU 20 receives the information regarding the target detected from the camera device 30 (that is, the target information). The camera device 30 that executes the image recognition process in this case is also referred to as an "image processing unit" for convenience.

加えて、本実施形態に係る運転支援ECU20によって提供されていた種々の機能は、複数のECUによって提供されても良い。 In addition, various functions provided by the driving support ECU 20 according to the present embodiment may be provided by a plurality of ECUs.

10…車両、20…運転支援ECU、30…カメラ装置、40…ライダー装置、50…ターゲット装置、51…ターゲット部、52…支柱、53…基部、60…光学ターゲット、61…左側光学ターゲット、62…中央光学ターゲット、63…右側光学ターゲット、71…第1ターゲット、72…第2ターゲット、80…ターゲット装置、81…ターゲット部、82…光学ターゲット。

10 ... Vehicle, 20 ... Driving support ECU, 30 ... Camera device, 40 ... Rider device, 50 ... Target device, 51 ... Target part, 52 ... Support, 53 ... Base, 60 ... Optical target, 61 ... Left optical target, 62 ... Central optical target, 63 ... Right optical target, 71 ... First target, 72 ... Second target, 80 ... Target device, 81 ... Target unit, 82 ... Optical target.

Claims (1)

画像処理部を備える車両に搭載される、所定の検出領域に対して赤外線を送信波として送信し且つ当該送信波が当該検出領域にある物標にて反射することによって発生した反射波を受信することによって当該物標を検出するライダー装置と、前記検出領域と少なくとも一部が重複する所定の撮影領域を撮影することによって領域画像を取得するカメラ装置と、のそれぞれの軸調整に用いられるセンサ軸調整用ターゲット装置であって、
第1部分と、前記領域画像において当該第1部分と区別することができる第2部分と、を含むターゲット部を備え、
前記第1部分は、
前記送信波を反射し、
前記第2部分は、
前記送信波を吸収又は透過する、
ように構成されたセンサ軸調整用ターゲット装置。
A reflected wave generated by transmitting infrared rays as a transmission wave to a predetermined detection area mounted on a vehicle equipped with an image processing unit and reflecting the transmitted wave at a target in the detection area is received. A sensor axis used for axis adjustment of a lidar device that detects the target and a camera device that acquires a region image by photographing a predetermined imaging region that at least partially overlaps the detection region. It is a target device for adjustment,
A target portion including a first portion and a second portion that can be distinguished from the first portion in the region image is provided.
The first part is
Reflect the transmitted wave and
The second part is
Absorbs or transmits the transmitted wave
A target device for sensor axis adjustment configured as described above.
JP2019212487A 2019-11-25 2019-11-25 Target device for sensor axis adjustment Pending JP2021085679A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019212487A JP2021085679A (en) 2019-11-25 2019-11-25 Target device for sensor axis adjustment

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019212487A JP2021085679A (en) 2019-11-25 2019-11-25 Target device for sensor axis adjustment

Publications (1)

Publication Number Publication Date
JP2021085679A true JP2021085679A (en) 2021-06-03

Family

ID=76087280

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019212487A Pending JP2021085679A (en) 2019-11-25 2019-11-25 Target device for sensor axis adjustment

Country Status (1)

Country Link
JP (1) JP2021085679A (en)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002202122A (en) * 2001-01-05 2002-07-19 Olympus Optical Co Ltd Calibration method for two-dimensional distance image sensor
JP2004317507A (en) * 2003-04-04 2004-11-11 Omron Corp Axis-adjusting method of supervisory device
JP2007218738A (en) * 2006-02-16 2007-08-30 Kumamoto Univ Calibration device, target detection device, and calibration method
JP2017118396A (en) * 2015-12-25 2017-06-29 Kddi株式会社 Program, device and method for calculating internal parameter of depth camera
WO2017159382A1 (en) * 2016-03-16 2017-09-21 ソニー株式会社 Signal processing device and signal processing method
EP3438777A1 (en) * 2017-08-04 2019-02-06 Bayerische Motoren Werke Aktiengesellschaft Method, apparatus and computer program for a vehicle
CN110161485A (en) * 2019-06-13 2019-08-23 同济大学 A kind of outer ginseng caliberating device and scaling method of laser radar and vision camera
WO2019176118A1 (en) * 2018-03-16 2019-09-19 三菱電機株式会社 Superimposed display system
JP2019161519A (en) * 2018-03-15 2019-09-19 本田技研工業株式会社 Camera optical axis inspection method and camera optical axis inspection line

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002202122A (en) * 2001-01-05 2002-07-19 Olympus Optical Co Ltd Calibration method for two-dimensional distance image sensor
JP2004317507A (en) * 2003-04-04 2004-11-11 Omron Corp Axis-adjusting method of supervisory device
JP2007218738A (en) * 2006-02-16 2007-08-30 Kumamoto Univ Calibration device, target detection device, and calibration method
JP2017118396A (en) * 2015-12-25 2017-06-29 Kddi株式会社 Program, device and method for calculating internal parameter of depth camera
WO2017159382A1 (en) * 2016-03-16 2017-09-21 ソニー株式会社 Signal processing device and signal processing method
EP3438777A1 (en) * 2017-08-04 2019-02-06 Bayerische Motoren Werke Aktiengesellschaft Method, apparatus and computer program for a vehicle
JP2019161519A (en) * 2018-03-15 2019-09-19 本田技研工業株式会社 Camera optical axis inspection method and camera optical axis inspection line
WO2019176118A1 (en) * 2018-03-16 2019-09-19 三菱電機株式会社 Superimposed display system
CN110161485A (en) * 2019-06-13 2019-08-23 同济大学 A kind of outer ginseng caliberating device and scaling method of laser radar and vision camera

Similar Documents

Publication Publication Date Title
EP3742192B1 (en) System for calibrating a vehicle camera
EP1399341B1 (en) Stereoscopic imaging rain sensor
JP4726621B2 (en) In-vehicle sensor correction device
US7599521B2 (en) Vehicle vicinity monitoring apparatus
US20230350200A1 (en) Head-up display
WO2010137364A1 (en) Calibration target detection apparatus, calibration target detecting method for detecting calibration target, and program for calibration target detection apparatus
US20200331471A1 (en) Driving assistance apparatus and adjustment method thereof
US20140333770A1 (en) Rearview vision system for vehicle
US20180210210A1 (en) Vehicle display device
US8254010B2 (en) Imaging of a plurality of types of images based on light of a plurality of wavelength bands
JP6674793B2 (en) Driving support information display device
JP7028536B2 (en) Display system
JP3511606B2 (en) Position adjustment device and position adjustment method for vehicle-mounted radar device
JP2021015166A (en) Head-up display and calibration method therefor
JP4321142B2 (en) Sign recognition device
CN108061902A (en) A kind of method and device of detecting object
KR20210065116A (en) How to control a module for projecting a pixelated light beam in a vehicle
JP2021085679A (en) Target device for sensor axis adjustment
EP3629056B1 (en) Object detection sensor alignment
JP7384043B2 (en) Detector attitude/position detection system and detector attitude/position detection method
WO2019138970A1 (en) Projection distance measurement method and device
JP2021182254A (en) On-vehicle display system
JP4032053B2 (en) Vehicle periphery monitoring device
KR101963966B1 (en) Laser transmit and receiving module and integrated apparatus including the same
JP2019142297A (en) Method of detecting viewpoint of driver, device thereof, and head-up display device using the same

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220125

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20221116

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221122

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20230516