JP2020194570A - Information processing device, information processing method, information processing program, and computer-readable recording medium having information processing program stored therein - Google Patents
Information processing device, information processing method, information processing program, and computer-readable recording medium having information processing program stored therein Download PDFInfo
- Publication number
- JP2020194570A JP2020194570A JP2020134369A JP2020134369A JP2020194570A JP 2020194570 A JP2020194570 A JP 2020194570A JP 2020134369 A JP2020134369 A JP 2020134369A JP 2020134369 A JP2020134369 A JP 2020134369A JP 2020194570 A JP2020194570 A JP 2020194570A
- Authority
- JP
- Japan
- Prior art keywords
- road image
- image
- information processing
- white line
- control unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Image Analysis (AREA)
- Image Processing (AREA)
- Traffic Control Systems (AREA)
Abstract
Description
本願は、記憶装置に記憶されている道路画像を更新する情報処理装置等に関する。 The present application relates to an information processing device or the like that updates a road image stored in a storage device.
従来、車両の進行方向を撮像して得た撮像画像を用いて運転者の運転を支援する技術が普及している。例えば、駐車時に車両の後方を撮像した撮像画像をディスプレイに表示することによって、運転者に対して駐車操作を支援する技術がある。こうした駐車操作支援技術では、夜間や暗所での駐車時には撮像画像の明度が低くなり、撮像画像で駐車区画線を判別することができず、運転者を充分に支援できないという問題があった。 Conventionally, a technique for assisting a driver's driving by using an captured image obtained by imaging the traveling direction of a vehicle has become widespread. For example, there is a technique for assisting a driver in parking operation by displaying an image captured by capturing the rear of the vehicle on a display when parking. With such a parking operation support technology, there is a problem that the brightness of the captured image becomes low when parking at night or in a dark place, the parking lane marking cannot be determined from the captured image, and the driver cannot be sufficiently supported.
これに対して、特許文献１には、カメラによって撮像された撮像画像に基づいて駐車枠の輪郭を検出し、検出された駐車枠の輪郭に基づく図形を撮像画像に重畳したり、駐車枠の枠線を延長したりすることにより、駐車区画線を疑似的に運転者に提示し、駐車操作を支援する技術が開示されている。しかしながら、当該技術は、駐車枠が途中で途切れている等の不完全な形状であった場合、それ自体の形状を修正しないため、運転者に正しい枠線を認識させることができないおそれがあった。 On the other hand, in Patent Document 1, the contour of the parking frame is detected based on the captured image captured by the camera, and the figure based on the detected contour of the parking frame is superimposed on the captured image, or the parking frame A technique for assisting a parking operation by presenting a parking lot line to a driver in a pseudo manner by extending a frame line is disclosed. However, if the parking frame has an incomplete shape such as a break in the middle, the technology does not modify the shape of the parking frame itself, so that the driver may not be able to recognize the correct frame line. ..
そうした中、特許文献２には、検出した駐車区画線が不完全である場合に、検出した駐車区画線と同一形状を有する駐車区画線を撮像した過去画像を読み出し、現在撮像中の画像の駐車区画線に対して、過去画像の駐車区画線の位置を合わせて現在撮像中の画像に重畳表示する技術が開示されている。これにより、不完全な駐車区画線を過去画像により補完した撮像画像を運転者に提示することができる。 Under such circumstances, in Patent Document 2, when the detected parking lot line is incomplete, the past image of the parking lot line having the same shape as the detected parking lot line is read out, and the parking of the image currently being captured is read. A technique is disclosed in which the position of a parking lot line in a past image is aligned with a line and the image is superimposed on the image currently being captured. As a result, it is possible to present the driver with an captured image in which the incomplete parking lot line is complemented by the past image.
しかしながら、特許文献１に記載の技術では、過去画像においても駐車区画線が不完全である場合には、過去画像により駐車区画線を補完することができないという問題がある。 However, the technique described in Patent Document 1 has a problem that if the parking lot line is incomplete even in the past image, the parking lot line cannot be complemented by the past image.
本願は、上記問題点に鑑みてなされたものであり、その課題の一例は、道路画像に含まれる情報を適宜更新することができる情報処理装置等を提供することにある。 The present application has been made in view of the above problems, and one example of the problem is to provide an information processing device or the like capable of appropriately updating information contained in a road image.
請求項１に記載の発明は、道路に関する事物を含む新規道路画像を取得する画像取得手段と、記憶手段に記憶された道路画像と前記新規道路画像とに含まれる所定の前記事物の前記道路画像における欠損部分を前記新規道路画像に基づき更新する更新手段と、を備える。 The invention according to claim 1 is an image acquisition means for acquiring a new road image including a thing related to a road, and the road of the predetermined thing included in the road image stored in the storage means and the new road image. An updating means for updating a defective portion in an image based on the new road image is provided.
請求項２に記載の発明は、道路に関する事物を含む新規道路画像を取得する画像取得手段と、記憶手段に記憶された道路画像と前記新規道路画像とに含まれる所定の前記事物の前記新規道路画像における欠損部分を前記道路画像に基づき補完する補完手段と、を備える。 The invention according to claim 2 is an image acquisition means for acquiring a new road image including a thing related to a road, and the novel of the predetermined thing included in the road image stored in the storage means and the new road image. A complementary means for complementing a defective portion in a road image based on the road image is provided.
請求項３に記載の発明は、情報処理装置によって利用される情報処理方法であって、道路に関する事物を含む新規道路画像を取得する画像取得工程と、記憶手段に記憶された道路画像と前記新規道路画像とに含まれる所定の前記事物の前記道路画像における欠損部分を前記新規道路画像に基づき更新する更新工程と、を含む。 The invention according to claim 3 is an information processing method used by an information processing apparatus, which includes an image acquisition step of acquiring a new road image including things related to a road, a road image stored in a storage means, and the new road. It includes an update step of updating a defective portion of a predetermined object included in the road image in the road image based on the new road image.
請求項４に記載の発明は、情報処理装置によって利用される情報処理方法であって、道路に関する事物を含む新規道路画像を取得する画像取得工程と、記憶手段に記憶された道路画像と前記新規道路画像とに含まれる所定の前記事物の前記新規道路画像における欠損部分を前記道路画像に基づき補完する補完工程と、を含む。 The invention according to claim 4 is an information processing method used by an information processing apparatus, which includes an image acquisition step of acquiring a new road image including things related to a road, a road image stored in a storage means, and the new road. The present invention includes a complementary step of complementing a defective portion of a predetermined object included in the road image in the new road image based on the road image.
請求項５に記載の発明は、コンピュータを、道路に関する事物を含む新規道路画像を取得する画像取得手段と、記憶手段に記憶された道路画像と前記新規道路画像とに含まれる所定の前記事物の前記道路画像における欠損部分を前記新規道路画像に基づき更新する更新手段と、として機能させる。 The invention according to claim 5 is a predetermined object included in an image acquisition means for acquiring a new road image including a thing related to a road, a road image stored in the storage means, and the new road image. It functions as an updating means for updating a defective portion in the road image based on the new road image.
請求項６に記載の発明は、請求項５に記載の情報処理プログラムを記録したコンピュー
タ読み取り可能な記録媒体である。
The invention according to claim 6 is a computer-readable recording medium on which the information processing program according to claim 5 is recorded.
本願発明を実施するための形態について、図１−図５を用いて説明する。 A mode for carrying out the present invention will be described with reference to FIGS. 1 to 5.
図１に示すように、情報処理装置１は、画像取得手段１１１Ａと、特定手段１１１Ｂと、更新手段１１１Ｃを備えている。 As shown in FIG. 1, the information processing apparatus 1 includes image acquisition means 111A, identification means 111B, and update means 111C.
この構成において画像取得手段１１１Ａは、道路に関する事物を撮影範囲に含む新規道路画像を取得する。 In this configuration, the image acquisition means 111A acquires a new road image including things related to the road in the photographing range.
特定手段１１１Ｂは、情報処理装置１の内部又は外部に設けられた記憶手段に記憶された道路画像のうち、画像取得手段１１１Ａにより取得された新規道路画像と同じ地点を撮像した道路画像を特定する。 The specifying means 111B identifies a road image obtained by capturing the same point as the new road image acquired by the image acquiring means 111A among the road images stored in the storage means provided inside or outside the information processing device 1. ..
更新手段１１１Ｃは、特定手段１１１Ｂにより特定された道路画像に含まれる情報の一部を、画像取得手段１１１Ａにより取得された新規道路画像により更新する。 The updating means 111C updates a part of the information included in the road image specified by the specifying means 111B with the new road image acquired by the image acquiring means 111A.
以上説明した通り、実施形態に係る情報処理装置１の動作によれば、記憶手段に記憶された道路画像の情報の一部が新規道路画像により更新されることから、道路画像に含まれる情報を最新のものとすることができる。 As described above, according to the operation of the information processing device 1 according to the embodiment, a part of the information of the road image stored in the storage means is updated by the new road image, so that the information included in the road image is used. It can be up to date.
例えば、図２に示す道路画像５００において３本の白線５０１Ｌ、５０１Ｃ、５０１Ｒのうち、白線５０１Ｌ上の一部（「道路画像の情報の一部」の一例）が水たまり５０２で隠されている場合において、当該白線５０１Ｌ上の一部を、図３に示す、道路画像５００と同じ地点を撮影した新規道路画像６００により更新する。これにより、図４に示すように、道路画像５００は白線５０１Ｌの水たまり５０２があった白線部分５０３が補完される。つまり、道路画像５００の情報を新規道路画像６００により充実させることができる。また、後述するように、道路画像は新規道路画像を補完する際に用いられるため、情報を充実させておくことで、補完時の精度を向上させることができる。 For example, in the road image 500 shown in FIG. 2, a part of the three white lines 501L, 501C, and 501R on the white line 501L (an example of "a part of the information of the road image") is hidden by a puddle 502. In, a part of the white line 501L is updated with a new road image 600 taken at the same point as the road image 500 shown in FIG. As a result, as shown in FIG. 4, the road image 500 complements the white line portion 503 where the puddle 502 of the white line 501L was located. That is, the information of the road image 500 can be enriched by the new road image 600. Further, as will be described later, since the road image is used when complementing a new road image, the accuracy at the time of complementation can be improved by enriching the information.
一方で、図３に示す新規道路画像６００をディスプレイに表示させる場合において、３本の白線６０１Ｌ、６０１Ｃ、６０１Ｒの一部が濃霧６０２で隠蔽されている場合には、当該白線６０１Ｌ、６０１Ｃ、６０１Ｒの一部を、道路画像５００により補完する。これにより、図５に示す新規道路画像６００とすることができる。これにより、情報処理装置１のユーザは実際には濃霧６０２で隠蔽されて視認することのできない白線部分６０３Ｌ、６０３Ｃ、６０３Ｒを視認することができる。なお、図５に示す新規道路画像６００においては、補完がなされた白線部分６０３Ｌ、６０３Ｃ、６０３Ｒを他の部分に対して識別可能に表示することにより、何れの部分について補完がなされたかをユーザが判別することができるとともに、白線部分を視認しやすくなる。 On the other hand, when the new road image 600 shown in FIG. 3 is displayed on the display, if a part of the three white lines 601L, 601C and 601R is hidden by the thick fog 602, the white lines 601L, 601C and 601R Is partially complemented by the road image 500. As a result, the new road image 600 shown in FIG. 5 can be obtained. As a result, the user of the information processing apparatus 1 can visually recognize the white line portions 603L, 603C, and 603R that are actually hidden by the thick fog 602 and cannot be visually recognized. In the new road image 600 shown in FIG. 5, by displaying the complemented white line portions 603L, 603C, and 603R in an identifiable manner with respect to other portions, the user can indicate which portion is complemented. It can be discriminated and the white line portion can be easily visually recognized.
次に、上述した実施形態に対応する具体的な実施例について説明する。 Next, a specific example corresponding to the above-described embodiment will be described.
図６−図１０を用いて実施例について説明する。なお以下に説明する実施例は、本願発明を、ナビゲーション装置（「情報処理装置」の一例）に適用した場合の実施例である。 Examples will be described with reference to FIGS. 6-10. The examples described below are examples when the present invention is applied to a navigation device (an example of an "information processing device").
［１．ナビゲーション装置ＮＶの構成］
まず、本実施例に係るナビゲーション装置ＮＶの構成について説明する。
[1. Navigation device NV configuration]
First, the configuration of the navigation device NV according to this embodiment will be described.
図６に示すように、ナビゲーション装置ＮＶは、制御部２１１と、ＨＤＤ等からなる記憶装置２１２と、キーボード又はリモートコントローラ、タッチパネル等からなる入力装置２１３と、表示ユニット２１４と、バスライン２１５と、入出力インターフェース部２２０と、車速センサ２２１と、角速度センサ２２２と、加速度センサ２２３と、舵角センサ２２４と、アンテナ２２６が接続されたＧＰＳ（Global Positioning System）受信部２２５と、データ送受信部２２７と、カメラ２２８と、を備えて構成されている。 As shown in FIG. 6, the navigation device NV includes a control unit 211, a storage device 212 including an HDD, an input device 213 including a keyboard or a remote controller, a touch panel, and the like, a display unit 214, and a bus line 215. Input / output interface unit 220, vehicle speed sensor 221, angular speed sensor 222, acceleration sensor 223, steering angle sensor 224, GPS (Global Positioning System) receiving unit 225 to which the antenna 226 is connected, and data transmitting / receiving unit 227. , And a camera 228.
車速センサ２２１は、例えばナビゲーション装置ＮＶが搭載されている自動車から取得される車速パルス等を用いた速度検出処理等を用いて当該車両の現在速度を検出し、速度データを出力する。角速度センサ２２２は、当該車両の、例えば方向変化の角速度を検出し、単位時間当たりの角速度データ及び相対方位データを出力する。加速度センサ２２３は、当該車両の例えば前後方向の加速度を検出し、単位時間当たりの加速度データ等を出力する。舵角センサ２２４は、当該車両の舵角を検出し、舵角データ等を出力する。ＧＰＳ受信部２２５は、ＧＰＳ衛星からの航法電波を受信し、ＧＰＳ測位データとして自車位置情報である緯度、経度、高度データ、車両の進行方向の絶対方位データ及びＧＰＳ速度データ等を出力する。データ送受信部２２７は、ネットワークを介したサーバ装置との間のデータの送受信に係る処理を行う。 The vehicle speed sensor 221 detects the current speed of the vehicle by using, for example, a speed detection process using a vehicle speed pulse or the like acquired from a vehicle equipped with a navigation device NV, and outputs speed data. The angular velocity sensor 222 detects the angular velocity of the vehicle, for example, a change in direction, and outputs angular velocity data and relative bearing data per unit time. The acceleration sensor 223 detects, for example, the acceleration of the vehicle in the front-rear direction, and outputs acceleration data or the like per unit time. The steering angle sensor 224 detects the steering angle of the vehicle and outputs steering angle data and the like. The GPS receiving unit 225 receives navigation radio waves from GPS satellites and outputs latitude, longitude, altitude data, absolute orientation data in the traveling direction of the vehicle, GPS speed data, and the like, which are position information of the own vehicle, as GPS positioning data. The data transmission / reception unit 227 performs processing related to transmission / reception of data to / from the server device via the network.
カメラ２２８は、ナビゲーション装置ＮＶが搭載されている自動車の車外に向けて設置され、自動車の走行する道路に関する事物を撮影範囲に含む道路画像を撮影する。本実施例では、カメラ２２８は、車内に１台設置され、車両前方（進行方向）の風景を撮影するものとする。 The camera 228 is installed toward the outside of the vehicle in which the navigation device NV is mounted, and captures a road image including things related to the road on which the vehicle travels. In this embodiment, one camera 228 is installed in the vehicle and captures the scenery in front of the vehicle (in the direction of travel).
記憶装置２１２（「記憶手段」の一例）は、表示ユニット２１４に地図を表示するための地図画像データや、経路を探索する際に用いる地図情報、道路リンク情報などが格納される。また、記憶装置２１２は、カメラ２２８又は他のカメラにより撮影された道路画像を過去道路画像として記憶する。なお、記憶装置２１２は、過去道路画像を、撮影時の位置、道路ＩＤ（全ての道路に割り振られた識別情報）及び進行方向を示す撮影条件情報と対応付けて記憶する。更に、記憶装置２１２は、オペレーティングシステムや、アプリケーションプログラム等の各種プログラムを記憶する。なお、各種プログラム及び過去道路画像は、例えば、サーバ装置等からネットワークを介して取得されるようにしても良いし、ＣＤ、ＤＶＤ、ＵＳＢメモリ等の記録媒体に記録されたものを読み込むようにしても良い。 The storage device 212 (an example of the “storage means”) stores map image data for displaying a map on the display unit 214, map information used when searching for a route, road link information, and the like. Further, the storage device 212 stores a road image taken by the camera 228 or another camera as a past road image. The storage device 212 stores the past road image in association with the position at the time of shooting, the road ID (identification information assigned to all roads), and the shooting condition information indicating the traveling direction. Further, the storage device 212 stores various programs such as an operating system and an application program. The various programs and past road images may be acquired from a server device or the like via a network, or may be read from a recording medium such as a CD, DVD, or USB memory. Is also good.
入力装置２１３は、利用者の入力操作を受け付けて、操作内容を示す操作信号を制御部２１１に送信する。 The input device 213 receives the input operation of the user and transmits an operation signal indicating the operation content to the control unit 211.
表示ユニット２１４は、制御部２１１の制御下で各種表示データを表示する。表示ユニット２１４は、グラフィックスコントローラ２１４ａと、ＶＲＡＭ（Video RAM）等のメモリからなるバッファメモリ２１４ｂと、液晶ディスプレイ等からなるディスプレイ２１４ｃ等を備えて構成されている。この構成においてグラフィックスコントローラ２１４ａは、バスライン２１５を介して制御部２１１から送られる制御データに基づいて、表示ユニット２１４全体の制御を行う。また、バッファメモリ２１４ｂは、即時表示可能な画像情報を一時的に記憶する。そして、グラフィックスコントローラ２１４ａから出力される画像データに基づいて、ディスプレイ２１４ｃに画像が表示される。 The display unit 214 displays various display data under the control of the control unit 211. The display unit 214 includes a graphics controller 214a, a buffer memory 214b composed of a memory such as VRAM (Video RAM), a display 214c composed of a liquid crystal display, and the like. In this configuration, the graphics controller 214a controls the entire display unit 214 based on the control data sent from the control unit 211 via the bus line 215. Further, the buffer memory 214b temporarily stores image information that can be displayed immediately. Then, the image is displayed on the display 214c based on the image data output from the graphics controller 214a.
制御部２１１は、制御部２１１全体を制御するＣＰＵ２１１ａと、制御部２１１を制御する制御プログラム等が予め記憶されているＲＯＭ２１１ｂと、各種データを一時的に格納するＲＡＭ２１１ｃと、により構成されている。制御部２１１は、車速センサ２２１、角速度センサ２２２、加速度センサ２２３、舵角センサ２２４及びＧＰＳ受信部２２５と、バスライン２１５及び入出力インターフェース部２２０を介して接続されており、それぞれから出力される速度データ、角速度データ及び相対方位データ、舵角データ、ＧＰＳ測位データ及び車両の進行方向の絶対方位データ、加速度データ等に基づいて、ナビゲーション装置ＮＶ全体の制御を行うとともに、表示ユニット２１４等の各種構成部材における夫々の動作を制御する。 The control unit 211 is composed of a CPU 211a that controls the entire control unit 211, a ROM 211b that stores a control program that controls the control unit 211 in advance, and a RAM 211c that temporarily stores various data. The control unit 211 is connected to the vehicle speed sensor 221, the angular speed sensor 222, the acceleration sensor 223, the steering angle sensor 224, and the GPS receiving unit 225 via the bus line 215 and the input / output interface unit 220, and outputs from each of them. Based on speed data, angular speed data and relative orientation data, steering angle data, GPS positioning data, absolute orientation data of the vehicle's traveling direction, acceleration data, etc., the entire navigation device NV is controlled, and various display units 214 and the like are controlled. Control each movement of the components.
制御部２１１は、カメラ２２８が撮影した新規道路画像をリアルタイムで取得し、記憶装置２１２に記憶された過去道路画像のうち、カメラ２２８から取得した新規道路画像と同じ地点を撮像した過去道路画像を特定し、当該特定した過去道路画像に含まれる情報の一部（本実施例では、白線）を、カメラ２２８から取得した新規道路画像により更新する。具体的には、制御部２１１は、過去道路画像と新規道路画像を照合し、過去道路画像に存在しない白線が検出された場合に更新する。このとき、制御部２１１は、撮影時の位置、道路ＩＤ及び進行方向を示す情報等を更新記録として対応付けて記憶させる。 The control unit 211 acquires a new road image taken by the camera 228 in real time, and among the past road images stored in the storage device 212, the past road image obtained by capturing the same point as the new road image acquired from the camera 228 is obtained. It is specified, and a part of the information included in the specified past road image (white line in this embodiment) is updated with a new road image acquired from the camera 228. Specifically, the control unit 211 collates the past road image with the new road image, and updates when a white line that does not exist in the past road image is detected. At this time, the control unit 211 stores the position at the time of shooting, the road ID, the information indicating the traveling direction, and the like as an update record in association with each other.
それとともに、制御部２１１は、カメラ２２８から取得した新規道路画像に含まれる情報の一部（本実施例では、白線）を、先に特定した過去道路画像により補完して、表示ユニット２１４にリアルタイムで表示させる。このとき、制御部２１１は、補完した部分を他の部分に対して識別可能に表示する。これにより、表示ユニット２１４のディスプレイ２１４ｃには、情報の一部が補完されたリアルタイムの新規道路画像が表示される。なお、制御部２１１が、過去道路画像の更新又は新規道路画像の補完を行うのは、それぞれ更新又は補完を行う必要がある場合のみである。すなわち、上述したように、白線の一部が何らかの事情により隠蔽されている場合などに、当該隠蔽されている部分を更新又は補完する。また、制御部２１１は、カメラ２２８から新規道路画像を動画像として取得して（例えば、１秒間に３０枚取得して）、表示ユニット２１４に表示させるため、ディスプレイ２１４ｃには道路画像が動画像として表示される。 At the same time, the control unit 211 complements a part of the information (white line in this embodiment) included in the new road image acquired from the camera 228 with the previously identified past road image, and displays the display unit 214 in real time. Display with. At this time, the control unit 211 displays the complemented portion in an identifiable manner with respect to the other portion. As a result, the display 214c of the display unit 214 displays a real-time new road image supplemented with a part of the information. It should be noted that the control unit 211 updates the past road image or complements the new road image only when it is necessary to update or complement the new road image, respectively. That is, as described above, when a part of the white line is concealed for some reason, the concealed part is updated or complemented. Further, since the control unit 211 acquires a new road image as a moving image from the camera 228 (for example, acquires 30 images per second) and displays it on the display unit 214, the road image is displayed on the display 214c. Is displayed as.
この構成において、制御部２１１のＣＰＵ２１１ａは「画像取得手段」、「特定手段」、「更新手段」、「補完手段」、「出力手段」の一例である。 In this configuration, the CPU 211a of the control unit 211 is an example of "image acquisition means", "specific means", "update means", "complementary means", and "output means".
［２．ナビゲーション装置ＮＶの制御部２１１による画像更新処理］
次に、図７−図１０を用いて、制御部２１１を中心として実行される画像更新処理について説明する。なお、ここでは、道路画像に含まれる白線部分を更新対象又は補完対象とする。
[2. Image update processing by the control unit 211 of the navigation device NV]
Next, the image update process executed mainly by the control unit 211 will be described with reference to FIGS. 7-10. Here, the white line portion included in the road image is to be updated or complemented.
制御部２１１は、カメラ２２８が撮影した新規道路画像を取得する（ステップＳ１１）。制御部２１１は、新規道路画像を取得する際には、撮影位置（ＧＰＳ受信部２２５が出力する自車位置情報）、走行中の道路ＩＤ、その道路における進行方向（ＧＰＳ受信部２２５が出力する絶対方位データ）を示す撮影条件情報をそれぞれ取得する。 The control unit 211 acquires a new road image taken by the camera 228 (step S11). When acquiring a new road image, the control unit 211 outputs a shooting position (own vehicle position information output by the GPS receiving unit 225), a traveling road ID, and a traveling direction on the road (GPS receiving unit 225 outputs). Acquire shooting condition information indicating absolute orientation data).
次に、制御部２１１は、新規道路画像における白線部分を検出する（ステップＳ１２）。検出方法としては、従来公知の一般的な画像処理を適用する。例えば、画像中の輝度値を参照して白色部分を抽出し、その中で線状となっている領域を白線部分とする。 Next, the control unit 211 detects the white line portion in the new road image (step S12). As the detection method, a conventionally known general image processing is applied. For example, a white portion is extracted with reference to the brightness value in the image, and the linear region in the white portion is defined as the white line portion.
次に、制御部２１１は、記憶装置２１２に記憶されている過去道路画像の中から、新規道路画像に対応する過去道路画像を特定する（ステップＳ１３）。具体的には、制御部２１１は、ステップＳ１１で取得した撮影時の位置、道路ＩＤ及び進行方向を示す撮影条件情報を検索キーとして検索する。但し、ＧＰＳの精度によっては適切な過去道路画像を特定することができない場合がある。そこで、制御部２１１は、所望の過去道路画像を特定する方法として、以下の手順に従って処理を行う。
（１）撮影条件情報を検索キーとして、候補となる複数の過去道路画像を絞り込む。
（２）上記（１）で絞り込んだ各過去道路画像と、ステップＳ１１で取得した新規道路画像との画像の特徴から算出した類似度（必ずしも数値である必要はない）を算出し、最も類似度が高い過去道路画像を特定する。
Next, the control unit 211 identifies the past road image corresponding to the new road image from the past road images stored in the storage device 212 (step S13). Specifically, the control unit 211 searches for the shooting condition information indicating the position at the time of shooting, the road ID, and the traveling direction acquired in step S11 as a search key. However, depending on the accuracy of GPS, it may not be possible to identify an appropriate past road image. Therefore, the control unit 211 performs processing according to the following procedure as a method of specifying a desired past road image.
(1) Using the shooting condition information as a search key, narrow down a plurality of candidate past road images.
(2) The degree of similarity (not necessarily a numerical value) calculated from the characteristics of the images of each past road image narrowed down in (1) above and the new road image acquired in step S11 is calculated, and the degree of similarity is the highest. Identify past road images with high.
ここで（２）の処理について詳述する。まず、制御部２１１は、（１）の処理で絞り込んだ過去道路画像と新規道路画像について、それぞれ画像特徴量を抽出し、両画像間でその特徴量の対応点を探索する。ここで、画像特徴量としてはＳＩＦＴ（Scale-Invariant Feature Transform）などを用いることできる。対応点の数が少ないということは、両画像間で類似している特徴が少ないことを意味し、画像の見た目も大きく異なる。そのため、制御部２１１は、上記の対応点の探索を、（１）の処理で絞り込んだ全ての過去道路画像に対して行い、対応点の数が、経験的に設定される閾値Ｔよりも少ないものを特定対象の候補から除外する。次に、制御部２１１は、残った過去道路画像の中から、先に抽出した画像特徴量の対応点の位置関係を考慮し、最終的な１つの過去道路画像を特定する。具体的には、制御部２１１は、新規道路画像と過去道路画像とで、全ての対応点について、その画像上の画素位置の差を積算する。この積算値は、両画像間で画像の見た目が類似しているほど小さい値となり、画像の見た目が全く同じであった場合、積算値は０になる。そこで、制御部２１１は、特定対象の候補である各過去道路画像について当該積算値を算出し、最小値であるものを過去道路画像として特定する。但し、制御部２１１は、当該積算値についても閾値処理を行い、画像の見た目が大きく異なる過去道路画像については除外することが好適である。 Here, the process of (2) will be described in detail. First, the control unit 211 extracts the image feature amount of each of the past road image and the new road image narrowed down by the process (1), and searches for the corresponding point of the feature amount between the two images. Here, SIFT (Scale-Invariant Feature Transform) or the like can be used as the image feature amount. The small number of corresponding points means that there are few similar features between the two images, and the appearance of the images is also significantly different. Therefore, the control unit 211 searches for the corresponding points for all the past road images narrowed down by the process (1), and the number of the corresponding points is smaller than the threshold value T empirically set. Exclude things from specific target candidates. Next, the control unit 211 identifies one final past road image from the remaining past road images in consideration of the positional relationship of the corresponding points of the image feature quantities extracted earlier. Specifically, the control unit 211 integrates the difference in pixel positions on the new road image and the past road image at all the corresponding points. This integrated value becomes smaller as the appearance of the images is similar between the two images, and when the appearances of the images are exactly the same, the integrated value becomes 0. Therefore, the control unit 211 calculates the integrated value for each past road image that is a candidate for the specific target, and specifies the minimum value as the past road image. However, it is preferable that the control unit 211 also performs threshold processing on the integrated value and excludes past road images having significantly different appearances of the images.
次に、制御部２１１は、ステップＳ１２に処理で検出した白線部分と、記憶装置２１２に記憶されている各過去道路画像の白線部分を比較し（ステップＳ１４）、相違部分があるか否かを判定する（ステップＳ１５）。 Next, the control unit 211 compares the white line portion detected in the process in step S12 with the white line portion of each past road image stored in the storage device 212 (step S14), and determines whether or not there is a difference. Determine (step S15).
ここで、ステップＳ１５の処理について図８−図１０を用いて詳述する。制御部２１１は、ステップＳ１１の処理で取得した新規道路画像と、ステップＳ１３の処理で特定した過去道路画像について、それぞれの白線部分を照合し、その差分の有無を判断する。以下に、その照合方法の一例について説明する。 Here, the process of step S15 will be described in detail with reference to FIGS. 8-10. The control unit 211 collates the white line portions of the new road image acquired in the process of step S11 with the past road image identified in the process of step S13, and determines the presence or absence of the difference. An example of the collation method will be described below.
ここでは、図８（Ａ）に示す新規道路画像７００と、図９（Ａ）に示す過去道路画像について照合する場合について説明する。新規道路画像７００では、白線７０１は一本検出されており、それに対して図９（Ａ）に示す過去道路画像８００では、二本の白線８０１、８０２が検出されている。それぞれ白線の情報として、図８（Ｂ）及び図９（Ｂ）に示すように、白線の画像上の角度と、白線の始点と終点の座標から情報が算出される。 Here, a case where the new road image 700 shown in FIG. 8A and the past road image shown in FIG. 9A are collated will be described. In the new road image 700, one white line 701 is detected, whereas in the past road image 800 shown in FIG. 9A, two white lines 801 and 802 are detected. As the information of the white line, as shown in FIGS. 8 (B) and 9 (B), the information is calculated from the angle on the image of the white line and the coordinates of the start point and the end point of the white line.
上記の例において、制御部２１１は、新規道路画像７００の白線７０１の角度に基づいて、過去道路画像８００において同様の角度を持つ白線を検索する。この例では、新規道路画像７００の白線７０１の角度が３５°で、過去道路画像８００における白線８０１、８０２の角度は、白線７０１と同じ角度であることから、白線８０１及び白線８０２を検索する。この検索においては、角度に±εの誤差を許容するようにしてもよい。 In the above example, the control unit 211 searches for a white line having a similar angle in the past road image 800 based on the angle of the white line 701 of the new road image 700. In this example, since the angle of the white line 701 of the new road image 700 is 35 ° and the angles of the white lines 801 and 802 in the past road image 800 are the same as the white line 701, the white line 801 and the white line 802 are searched. In this search, an error of ± ε may be allowed in the angle.
次に、制御部２１１は、新規道路画像７００の白線７０１と、過去道路画像８００において検索した白線８０１及び白線８０２に対して、その視点と終点を元に、白線領域の差分を計算する。この例では、新規道路画像７００の白線７０１は（０,４８０）から（５００,２００）であり、過去道路画像８００の白線８０１と白線８０２は、白線７０１の一部分だけ取り除いて分割された線となっている。制御部２１１は、始点と終点から差分となる範囲を計算することにより、図１０に示す差分画像９００における差分白線９０１を得る。 Next, the control unit 211 calculates the difference in the white line region based on the viewpoint and the end point of the white line 701 of the new road image 700 and the white lines 801 and 802 searched in the past road image 800. In this example, the white line 701 of the new road image 700 is from (0,480) to (500,200), and the white line 801 and the white line 802 of the past road image 800 are the lines divided by removing only a part of the white line 701. It has become. The control unit 211 obtains the difference white line 901 in the difference image 900 shown in FIG. 10 by calculating the range of the difference from the start point and the end point.
制御部２１１は、差分白線９０１が得られた場合には、ステップＳ１５の処理で「ＹＥＳ」と判定する。なお、この例では、過去道路画像８００に白線の未検出部分があり、その部分を補充するための差分白線を得る場合について説明したが、逆に、新規道路画像に白線の未検出部分がある場合についても同様に差分白線を得ることとして、差分白線が得られた場合にも制御部２１１はステップＳ１５の処理で「ＹＥＳ」と判定することとする。すなわち、制御部２１１は、新規道路画像と過去道路画像を比較し、何れか一方に未検出部分があり差分白線が得られた場合には、相違部分があると判定する。また、差分白線を得た場合には、当該差分白線に関する情報を退避しておき、後述するステップＳ１６の処理又はステップＳ１７の処理で使用する。 When the difference white line 901 is obtained, the control unit 211 determines “YES” in the process of step S15. In this example, the case where the past road image 800 has an undetected portion of the white line and the difference white line for supplementing the portion is obtained has been described, but conversely, the new road image has the undetected portion of the white line. Similarly, in the case where the difference white line is obtained, the control unit 211 determines “YES” in the process of step S15 even when the difference white line is obtained. That is, the control unit 211 compares the new road image with the past road image, and if one of them has an undetected portion and a difference white line is obtained, it determines that there is a difference portion. When the difference white line is obtained, the information about the difference white line is saved and used in the process of step S16 or the process of step S17 described later.
制御部２１１は、ステップＳ１５の処理において、相違部分はないと判定した場合には（ステップＳ１５：ＮＯ）、ステップＳ１１で取得した新規道路画像をそのまま表示ユニット２１４に表示させ（ステップＳ１８）、画像更新処理を終了する。一方、制御部２１１は、相違部分があると判定した場合には（ステップＳ１５：ＹＥＳ）、次いで、過去道路画像を新規道路画像により更新する（ステップＳ１６）。具体的には、制御部２１１は、ステップＳ１５の処理で判定した相違部分が新規道路画像において検出でき、且つ、過去道路画像において検出できない白線部分である場合には、過去道路画像において検出できない白線部分を新規道路画像において同じ位置にある白線部分（ステップＳ１４の処理により退避した差分白線）により更新する。 When the control unit 211 determines that there is no difference in the process of step S15 (step S15: NO), the control unit 211 causes the display unit 214 to display the new road image acquired in step S11 as it is (step S18), and displays the image. End the update process. On the other hand, when the control unit 211 determines that there is a difference (step S15: YES), the control unit 211 then updates the past road image with a new road image (step S16). Specifically, when the difference portion determined in the process of step S15 is a white line portion that can be detected in the new road image and cannot be detected in the past road image, the control unit 211 cannot detect the white line in the past road image. The portion is updated with the white line portion (difference white line saved by the process of step S14) at the same position in the new road image.
一方、制御部２１１は、ステップＳ１５の処理で判定した相違部分が過去道路画像において検出でき、且つ、新規道路画像において検出できない白線部分である場合には、新規道路画像において検出できない白線部分を過去道路画像において同じ位置にある白線部分（ステップＳ１４の処理により退避した差分白線）により補完する（ステップＳ１７）。このとき、制御部２１１は、補完した部分を他の部分に対して識別可能とするために、例えば、緑色で白線部分を補完する。制御部２１１は、ステップＳ１７の処理を終えると、ステップＳ１７の処理で補完処理を行った新規道路画像を表示ユニット２１４に表示させ（ステップＳ１８）、画像更新処理を終了する。 On the other hand, when the difference portion determined in the process of step S15 is a white line portion that can be detected in the past road image and cannot be detected in the new road image, the control unit 211 has past the white line portion that cannot be detected in the new road image. It is complemented by the white line portion (difference white line saved by the process of step S14) at the same position in the road image (step S17). At this time, the control unit 211 complements the white line portion in green, for example, in order to make the complemented portion identifiable with respect to other portions. When the control unit 211 finishes the process of step S17, the new road image complemented by the process of step S17 is displayed on the display unit 214 (step S18), and the image update process ends.
以上説明したように、本実施例に係るナビゲーション装置ＮＶの動作によれば、制御部２１１が、カメラ２２８から道路に関する事物を撮影範囲に含む新規道路画像を取得し（ステップＳ１１）、記憶装置２１２に記憶された過去道路画像のうち、カメラ２２８から取得した新規道路画像と同じ地点を撮像した過去道路画像を特定し（ステップＳ１３）、当該特定した過去道路画像に含まれる白線部分を、カメラ２２８から取得した新規道路画像により更新する（ステップＳ１６）。 As described above, according to the operation of the navigation device NV according to the present embodiment, the control unit 211 acquires a new road image including things related to the road from the camera 228 in the shooting range (step S11), and the storage device 212. Among the past road images stored in the camera 228, the past road image obtained by capturing the same point as the new road image acquired from the camera 228 is specified (step S13), and the white line portion included in the specified past road image is captured by the camera 228. It is updated with the new road image obtained from (step S16).
したがって、ナビゲーション装置ＮＶによれば、記憶装置２１２に記憶された過去道路画像の白線部分を最新の新規道路画像により補充することができる。 Therefore, according to the navigation device NV, the white line portion of the past road image stored in the storage device 212 can be supplemented with the latest new road image.
また、制御部２１１は、カメラ２２８から取得した新規道路画像に含まれる白線部分を、ステップＳ１３の処理で特定した過去道路画像により補完する（ステップＳ１７）。これにより、カメラ２２８から取得した新規道路画像の白線部分を過去道路画像により補完した上で表示させることができる。カメラ２２８から取得した新規道路画像に白線部分が表示されていないということは、ナビゲーション装置ＮＶのユーザも道路上の白線部分を直接視認できていない可能性が高い。よって、白線部分を補完した新規道路画像を表示させることにより、ユーザは白線の位置を推測して運転することができることから、安全性が向上する。 Further, the control unit 211 complements the white line portion included in the new road image acquired from the camera 228 with the past road image identified in the process of step S13 (step S17). As a result, the white line portion of the new road image acquired from the camera 228 can be displayed after being complemented with the past road image. If the white line portion is not displayed in the new road image acquired from the camera 228, it is highly possible that the user of the navigation device NV cannot directly see the white line portion on the road. Therefore, by displaying a new road image that complements the white line portion, the user can guess the position of the white line and drive, which improves safety.
［３．変形例］
次に、上記実施例の変形例について説明する。なお、以下に説明する変形例は適宜組み合わせることができる。
[3. Modification example]
Next, a modification of the above embodiment will be described. The modifications described below can be combined as appropriate.
［３．１．変形例１］
上述した実施例では、過去道路画像を記憶装置２１２に記憶させておく構成としたが、これに代えて、過去道路画像をナビゲーション装置ＮＶ外のサーバ装置の記憶装置に記憶させておき、ネットワークを介して当該記憶装置にアクセスしつつ、図７に示した画像更新処理を行う構成としてもよい。
[3.1. Modification 1]
In the above-described embodiment, the past road image is stored in the storage device 212. Instead, the past road image is stored in the storage device of the server device outside the navigation device NV, and the network is stored. The image update process shown in FIG. 7 may be performed while accessing the storage device via the device.
［３．２．変形例２］
上述した実施例では、更新又は補完の対象が道路上の白線である場合について説明したが、白線に限らず、道路画像に含まれるあらゆる事物がその対象となる。例えば、道路上の速度表示、横断歩道、停止位置表示、道路沿いの看板、標識、信号機、建築物等がその対象となる。また、複数種類の対象について更新又は補完を行うこととしてもよい。
[3.2. Modification 2]
In the above-described embodiment, the case where the target of the update or complement is the white line on the road has been described, but the target is not limited to the white line but all things included in the road image. For example, speed display on the road, pedestrian crossing, stop position display, signs along the road, signs, traffic lights, buildings, etc. are the targets. In addition, a plurality of types of targets may be updated or complemented.
［３．３．変形例３］
上述した実施例では、表示装置がディスプレイ２１４ｃである場合について説明したが、これに代えて、その他の表示装置を採用することができる。例えば、ヘッドアップディスプレイ（HUD：Head-Up Display）を用いても良い。ヘッドアップディスプレイによれば、人間の視野に直接情報が映し出されることから、視線をナビゲーション装置ＮＶのディスプレイ２１４ｃに視点を移動させなくても、新規道路画像を随時視認することができる。
[3.3. Modification 3]
In the above-described embodiment, the case where the display device is the display 214c has been described, but other display devices can be adopted instead. For example, a head-up display (HUD) may be used. According to the head-up display, since the information is directly projected on the human field of view, the new road image can be visually recognized at any time without moving the viewpoint to the display 214c of the navigation device NV.
１ 情報処理装置
１１１Ａ 画像取得手段
１１１Ｂ 特定手段
１１１Ｃ 更新手段
ＮＶ ナビゲーション装置
２１１ 制御部
２１１ａ ＣＰＵ
２１１ｂ ＲＯＭ
２１１ｃ ＲＡＭ
２１２ 記憶装置
２１３ 入力装置
２１４ 表示ユニット
２１４ａ グラフィックスコントローラ
２１４ｂ バッファメモリ
２１４ｃ ディスプレイ
２１５ バスライン
２２０ 入出力インターフェース部
２２１ 車速センサ
２２２ 角速度センサ
２２３ 加速度センサ
２２４ 舵角センサ
２２５ ＧＰＳ受信部
２２６ アンテナ
２２７ データ送受信部
２２８ カメラ
1 Information processing device 111A Image acquisition means 111B Specific means 111C Update means NV navigation device 211 Control unit 211a CPU
211b ROM
211c RAM
212 Storage device 213 Input device 214 Display unit 214a Graphics controller 214b Buffer memory 214c Display 215 Bus line 220 Input / output interface unit 221 Vehicle speed sensor 222 Angle speed sensor 223 Acceleration sensor 224 Steering angle sensor 225 GPS receiver 226 Antenna 227 Data transmission / reception unit 228 camera
Claims (1)
記憶手段に記憶された道路画像と前記新規道路画像とに含まれる所定の前記事物の前記道路画像における欠損部分を前記新規道路画像に基づき更新する更新手段と、
を備える情報処理装置。 Image acquisition means to acquire new road images including things related to roads,
An updating means for updating a defective portion of a predetermined object included in the road image stored in the storage means and the new road image in the road image based on the new road image, and
Information processing device equipped with.
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020134369A JP2020194570A (en) | 2020-08-07 | 2020-08-07 | Information processing device, information processing method, information processing program, and computer-readable recording medium having information processing program stored therein |
| JP2022114778A JP2022153492A (en) | 2020-08-07 | 2022-07-19 | Information processing device, information processing method, information processing program, and computer-readable recording medium having information processing program stored therein |
| JP2024019183A JP2024054303A (en) | 2020-08-07 | 2024-02-13 | Information processing device, information processing method, information processing program and computer readable recording medium with information processing program recorded thereon |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020134369A JP2020194570A (en) | 2020-08-07 | 2020-08-07 | Information processing device, information processing method, information processing program, and computer-readable recording medium having information processing program stored therein |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019015136A Division JP2019118103A (en) | 2019-01-31 | 2019-01-31 | Information processing apparatus, information processing method, information processing program, and computer-readable recording medium recording information processing program |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2022114778A Division JP2022153492A (en) | 2020-08-07 | 2022-07-19 | Information processing device, information processing method, information processing program, and computer-readable recording medium having information processing program stored therein |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2020194570A true JP2020194570A (en) | 2020-12-03 |
Family
ID=73546574
Family Applications (3)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020134369A Pending JP2020194570A (en) | 2020-08-07 | 2020-08-07 | Information processing device, information processing method, information processing program, and computer-readable recording medium having information processing program stored therein |
| JP2022114778A Pending JP2022153492A (en) | 2020-08-07 | 2022-07-19 | Information processing device, information processing method, information processing program, and computer-readable recording medium having information processing program stored therein |
| JP2024019183A Pending JP2024054303A (en) | 2020-08-07 | 2024-02-13 | Information processing device, information processing method, information processing program and computer readable recording medium with information processing program recorded thereon |
Family Applications After (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2022114778A Pending JP2022153492A (en) | 2020-08-07 | 2022-07-19 | Information processing device, information processing method, information processing program, and computer-readable recording medium having information processing program stored therein |
| JP2024019183A Pending JP2024054303A (en) | 2020-08-07 | 2024-02-13 | Information processing device, information processing method, information processing program and computer readable recording medium with information processing program recorded thereon |
Country Status (1)
| Country | Link |
|---|---|
| JP (3) | JP2020194570A (en) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006311299A (en) * | 2005-04-28 | 2006-11-09 | Aisin Aw Co Ltd | Parking section monitoring device |
| JP2011107740A (en) * | 2009-11-12 | 2011-06-02 | Nomura Research Institute Ltd | Sign and method for using sign |
| JP2014085925A (en) * | 2012-10-25 | 2014-05-12 | Fujitsu Ltd | Image processing apparatus, method, and program |
-
2020
- 2020-08-07 JP JP2020134369A patent/JP2020194570A/en active Pending
-
2022
- 2022-07-19 JP JP2022114778A patent/JP2022153492A/en active Pending
-
2024
- 2024-02-13 JP JP2024019183A patent/JP2024054303A/en active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006311299A (en) * | 2005-04-28 | 2006-11-09 | Aisin Aw Co Ltd | Parking section monitoring device |
| JP2011107740A (en) * | 2009-11-12 | 2011-06-02 | Nomura Research Institute Ltd | Sign and method for using sign |
| JP2014085925A (en) * | 2012-10-25 | 2014-05-12 | Fujitsu Ltd | Image processing apparatus, method, and program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2022153492A (en) | 2022-10-12 |
| JP2024054303A (en) | 2024-04-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7052786B2 (en) | Display control device and display control program | |
| JP6775188B2 (en) | Head-up display device and display control method | |
| US20090171582A1 (en) | Vehicle navigation system | |
| US7751970B2 (en) | Information providing apparatus, information providing method, and computer product | |
| JP2014531024A (en) | How to move data from image database map service into assist system | |
| JP2009156784A (en) | Feature information collecting apparatus and feature information collecting program, and own vehicle position recognition apparatus and navigation apparatus | |
| JPH10339646A (en) | Guide display system for car | |
| JP4483305B2 (en) | Vehicle periphery monitoring device | |
| US10996469B2 (en) | Method and apparatus for providing driving information of vehicle, and recording medium | |
| JP2009180631A (en) | Navigator, navigation method and program | |
| JP4775658B2 (en) | Feature recognition device, vehicle position recognition device, navigation device, feature recognition method | |
| JP2000097714A (en) | Car navigation apparatus | |
| JP2020125033A (en) | Display control device and display control program | |
| JP7416114B2 (en) | Display control device and display control program | |
| JPH11271074A (en) | Device and method for comparing mark image and program storage medium | |
| JP4277678B2 (en) | Vehicle driving support device | |
| JP4831433B2 (en) | Own vehicle position recognition device, own vehicle position recognition program, and navigation device | |
| JP2644092B2 (en) | Automotive location equipment | |
| JP2020194570A (en) | Information processing device, information processing method, information processing program, and computer-readable recording medium having information processing program stored therein | |
| US20210231459A1 (en) | Apparatus and method for collecting data for map generation | |
| JP2019118103A (en) | Information processing apparatus, information processing method, information processing program, and computer-readable recording medium recording information processing program | |
| JP2015177442A (en) | Information processing apparatus, information processing method, information processing program, and computer readable recording medium containing information processing program | |
| JP2006098348A (en) | Navigation device | |
| JP7140483B2 (en) | Information processing device, information processing method and information processing program | |
| JP2010071810A (en) | Lane determining device and lane determination program, and navigation apparatus using the lane determining device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200807 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211026 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20220419 |