JP2020060499A - Information processing device - Google Patents
Information processing device Download PDFInfo
- Publication number
- JP2020060499A JP2020060499A JP2018193082A JP2018193082A JP2020060499A JP 2020060499 A JP2020060499 A JP 2020060499A JP 2018193082 A JP2018193082 A JP 2018193082A JP 2018193082 A JP2018193082 A JP 2018193082A JP 2020060499 A JP2020060499 A JP 2020060499A
- Authority
- JP
- Japan
- Prior art keywords
- information
- imaging
- shadow
- cloud data
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 53
- 239000000470 constituent Substances 0.000 claims abstract description 106
- 238000003384 imaging method Methods 0.000 claims abstract description 94
- 238000000605 extraction Methods 0.000 claims description 31
- 239000000284 extract Substances 0.000 claims description 21
- 238000003672 processing method Methods 0.000 claims description 9
- 230000006870 function Effects 0.000 description 9
- 238000000034 method Methods 0.000 description 8
- 238000004891 communication Methods 0.000 description 3
- 238000006073 displacement reaction Methods 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 229930014626 natural product Natural products 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Landscapes
- Navigation (AREA)
- Traffic Control Systems (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Instructional Devices (AREA)
Abstract
Description
本発明は、情報処理装置に関する。 The present invention relates to an information processing device.
従来、移動体において自己位置推定と環境地図作成を同時に実行する方法(SLAM;Simultaneous Localization and Mapping)が知られている。このようなSLAMの一種として、レーザ装置に代えてビデオカメラを用いる方法(VSLAM;Visual SLAM)が提案されている(例えば、特許文献1参照)。特許文献1に記載されたようなVSLAMでは、ビデオカメラを用いることによりコスト低減を図っている。
Conventionally, a method (SLAM; Simultaneous Localization and Mapping) of simultaneously performing self-position estimation and environment map creation in a moving body is known. As a kind of such SLAM, a method using a video camera instead of a laser device (VSLAM; Visual SLAM) has been proposed (for example, refer to Patent Document 1). In the VSLAM described in
特許文献1に記載されたようなVSLAMにおいては、ビデオカメラによって撮像された各画像(フレーム)において特徴点を抽出し、各画像間における特徴点の変化に基づいて自己位置推定及び環境地図作成を行う。このように作成された環境地図に含まれる点群データは、自己位置推定等に活用されることがある。
In the VSLAM described in
点群データを構成する複数の構成点には、例えば日時や天候によって変化する構成点が含まれている場合がある。このような場合、点群データの生成タイミングと自己位置推定のタイミングとが異なるため、点群データを構成する構成点と、自己位置推定時に検出される地物と、に齟齬が生じてしまい、点群データを活用しにくくなってしまう。 The plurality of constituent points forming the point cloud data may include constituent points that change depending on, for example, date and time or weather. In such a case, since the generation timing of the point cloud data and the timing of self-position estimation are different, there is a discrepancy between the constituent points forming the point cloud data and the features detected during self-position estimation, It becomes difficult to utilize point cloud data.
したがって、本発明の課題は、活用しやすい点群データを生成することができる情報処理装置を提供することが一例として挙げられる。 Therefore, an object of the present invention is to provide, as an example, an information processing apparatus capable of generating point cloud data that is easy to utilize.
前述した課題を解決し目的を達成するために、請求項1に記載の本発明の情報処理装置は、移動体に搭載された撮像部から撮像情報を取得する撮像情報取得部と、前記撮像情報に基づいて点群データを生成する生成部と、前記点群データを構成する構成点のうち影に対応する構成点を抽出する抽出部と、を備え、前記生成部は、前記抽出部が抽出した構成点に所定の情報を付与することを特徴としている。
In order to solve the above-mentioned problems and achieve the object, an information processing apparatus according to the present invention according to
請求項4に記載の本発明の情報処理装置は、移動体に搭載された撮像部から撮像情報を取得する撮像情報取得部と、前記撮像情報において影に対応する特徴点を抽出する抽出部と、前記撮像情報に基づいて点群データを生成する生成部と、を備え、前記生成部は、前記抽出部が抽出した特徴点を除去して前記点群データを生成することを特徴としている。 An information processing apparatus according to the present invention according to claim 4 is: an imaging information acquisition unit that acquires imaging information from an imaging unit mounted on a moving body; and an extraction unit that extracts a feature point corresponding to a shadow in the imaging information. And a generation unit configured to generate point cloud data based on the imaging information, wherein the generation unit removes the feature points extracted by the extraction unit to generate the point cloud data.
請求項8に記載の本発明の情報処理方法は、移動体に搭載された撮像部から撮像情報を取得する撮像情報取得工程と、前記撮像情報に基づいて点群データを生成する生成工程と、前記点群データを構成する構成点のうち影に対応する構成点を抽出する抽出工程と、を含み、前記生成工程においては、前記抽出部が抽出した構成点に所定の情報を付与することを特徴としている。
The information processing method of the present invention according to
請求項9に記載の本発明の情報処理方法は、移動体に搭載された撮像部から撮像情報を取得する撮像情報取得工程と、前記撮像情報において影に対応する特徴点を抽出する抽出工程と、前記撮像情報に基づいて点群データを生成する生成工程と、を含み、前記生成工程において、前記抽出部が抽出した特徴点を除去して前記点群データを生成することを特徴としている。 The information processing method according to the present invention according to claim 9 includes an imaging information acquisition step of acquiring imaging information from an imaging unit mounted on a moving body, and an extraction step of extracting a feature point corresponding to a shadow in the imaging information. And a generating step of generating point cloud data based on the imaging information, wherein the characteristic point extracted by the extracting unit is removed in the generating step to generate the point cloud data.
以下、本発明の実施形態を説明する。本発明の実施形態に係る情報処理装置は、移動体に搭載された撮像部から撮像情報を取得する撮像情報取得部と、撮像情報に基づいて点群データを生成する生成部と、点群データを構成する構成点のうち影に対応する構成点を抽出する抽出部と、を備える。生成部は、抽出部が抽出した構成点に所定の情報を付与する。 Embodiments of the present invention will be described below. An information processing apparatus according to an embodiment of the present invention includes an imaging information acquisition unit that acquires imaging information from an imaging unit mounted on a moving body, a generation unit that generates point cloud data based on the imaging information, and point cloud data. And an extraction unit that extracts a configuration point corresponding to a shadow from the configuration points that configure the. The generation unit adds predetermined information to the constituent points extracted by the extraction unit.
このような本実施形態の情報処理装置によれば、影に対応する構成点に所定の情報を付与することで、点群データを自己位置推定等に用いる際に、影に対応する構成点を利用しないようにしたり、利用度を下げたりすることができる。影に対応する構成点は、日時や天候によって変化し得ることから、点群データを活用しやすくすることができる。 According to the information processing apparatus of the present embodiment as described above, by adding predetermined information to the constituent points corresponding to the shadow, the constituent points corresponding to the shadow can be identified when the point cloud data is used for self-position estimation or the like. You can choose not to use it or reduce its usage. Since the constituent points corresponding to the shadow can change depending on the date and time and the weather, it is possible to make the point cloud data easier to use.
尚、構成点に付与する所定の情報は、例えば、影であるという情報であってもよいし、影の可能性があるという情報であってもよいし、当該構成点の信頼度を低下させる(0にすることも含む)という情報であってもよい。また、情報処理装置によって生成された点群データは、そのまま活用されてもよいし、他の点群データと統合されてから活用されてもよい。また、撮像情報取得部と生成部と抽出部とは、同一の対象に搭載されていなくてもよく、互いに異なる機器や装置に搭載されていてもよい。即ち、情報処理装置の各構成は、物理的に分離した複数の装置に跨っていてもよい。 It should be noted that the predetermined information given to the constituent point may be, for example, information that it is a shadow or information that there is a possibility of a shadow, and the reliability of the constituent point is reduced. The information (including setting to 0) may be used. The point cloud data generated by the information processing device may be used as it is, or may be used after being integrated with other point cloud data. Moreover, the imaging information acquisition unit, the generation unit, and the extraction unit may not be mounted on the same target, but may be mounted on different devices or apparatuses. That is, each component of the information processing device may span a plurality of physically separated devices.
抽出部は、太陽高度情報と太陽方位情報と撮像方位情報とに基づき影に対応する構成点を抽出すればよい。地物のうち鉛直方向に沿って延びる縁部が影を形成する方向は、太陽高度情報と太陽方位情報と撮像方位情報とに基づいて推定することができる。 The extraction unit may extract the constituent points corresponding to the shadow based on the sun altitude information, the sun direction information, and the imaging direction information. The direction in which the edge of the feature extending along the vertical direction forms a shadow can be estimated based on the sun altitude information, the sun direction information, and the imaging direction information.
抽出部は、複数の構成点によって表される形状の複雑度に基づき影に対応する構成点を抽出してもよい。例えば、フラクタル次元を概算することにより、植生の葉によって形成される影を特定してもよい。 The extraction unit may extract the constituent point corresponding to the shadow based on the complexity of the shape represented by the plurality of constituent points. For example, shadows formed by vegetation leaves may be identified by estimating the fractal dimension.
本発明の他の実施形態に係る情報処理装置は、移動体に搭載された撮像部から撮像情報を取得する撮像情報取得部と、撮像情報において影に対応する特徴点を抽出する抽出部と、撮像情報に基づいて点群データを生成する生成部と、を備える。生成部は、抽出部が抽出した特徴点を除去して点群データを生成する。 An information processing apparatus according to another embodiment of the present invention is an imaging information acquisition unit that acquires imaging information from an imaging unit mounted on a moving body, an extraction unit that extracts a feature point corresponding to a shadow in the imaging information, A generation unit that generates point cloud data based on imaging information. The generation unit removes the feature points extracted by the extraction unit and generates point cloud data.
このような本実施形態の情報処理装置によれば、影に対応する特徴点を除去して点群データを生成することで、点群データを自己位置推定等に用いる際に、影による影響を受けないようにすることができる。影に対応する構成点は、日時や天候によって変化し得ることから、点群データを活用しやすくすることができる。尚、特徴点を抽出するタイミング及び除去するタイミングは任意であり、撮像情報に含まれる各フレームにおいて特徴点を抽出するとともに除去してもよいし、複数のフレームに基づいてVSLAMによって点群データを生成する際に特徴点を抽出するとともに除去してもよい。また、特徴点を除去したことを示す情報を点群データに付与してもよい。 According to the information processing apparatus of the present embodiment, the feature points corresponding to the shadows are removed to generate the point cloud data, so that when the point cloud data is used for self-position estimation, the influence of the shadows is reduced. You can avoid receiving it. Since the constituent points corresponding to the shadow can change depending on the date and time and the weather, it is possible to make the point cloud data easier to use. The timing of extracting the feature points and the timing of removing the feature points are arbitrary, and the feature points may be extracted and removed in each frame included in the imaging information, or the point cloud data may be extracted by VSLAM based on a plurality of frames. The feature points may be extracted and removed when they are generated. Further, information indicating that feature points have been removed may be added to the point cloud data.
抽出部は、太陽高度情報と太陽方位情報と撮像方位情報とに基づき影に対応する特徴点を抽出すればよい。地物のうち鉛直方向に沿って延びる縁部が影を形成する方向は、太陽高度情報と太陽方位情報と撮像方位情報とに基づいて推定することができる。
してもよい。
The extraction unit may extract a feature point corresponding to the shadow based on the sun altitude information, the sun direction information, and the imaging direction information. The direction in which the edge of the feature extending along the vertical direction forms a shadow can be estimated based on the sun altitude information, the sun direction information, and the imaging direction information.
May be.
抽出部は、複数の特徴点によって表される形状の複雑度に基づき影に対応する特徴点を抽出してもよい。例えば、フラクタル次元を概算することにより、植生の葉によって形成される影を特定してもよい。 The extraction unit may extract the feature point corresponding to the shadow based on the complexity of the shape represented by the plurality of feature points. For example, shadows formed by vegetation leaves may be identified by estimating the fractal dimension.
前記いずれの実施形態の情報処理装置においても、点群データを出力する出力部をさらに備えることが好ましい。これにより、出力先において点群データを活用することができる。 It is preferable that the information processing apparatus of any of the above embodiments further includes an output unit that outputs the point cloud data. Thereby, the point cloud data can be utilized at the output destination.
本発明の実施形態に係る情報処理方法は、移動体に搭載された撮像部から撮像情報を取得する撮像情報取得工程と、撮像情報に基づいて点群データを生成する生成工程と、点群データを構成する構成点のうち影に対応する構成点を抽出する抽出工程と、を含む。生成工程において、抽出部が抽出した構成点に所定の情報を付与する。このような情報処理方法によれば、影に対応する構成点に所定の情報を付与することで、点群データを活用しやすくすることができる。 An information processing method according to an embodiment of the present invention includes an imaging information acquisition step of acquiring imaging information from an imaging unit mounted on a moving body, a generation step of generating point cloud data based on the imaging information, and point cloud data. An extraction step of extracting a constituent point corresponding to a shadow from among the constituent points constituting the. In the generation step, predetermined information is added to the constituent points extracted by the extraction unit. According to such an information processing method, it is possible to easily utilize the point cloud data by adding predetermined information to the constituent points corresponding to the shadow.
本発明の他の実施形態に係る情報処理方法は、移動体に搭載された撮像部から撮像情報を取得する撮像情報取得工程と、撮像情報において影に対応する特徴点を抽出する抽出工程と、撮像情報に基づいて点群データを生成する生成工程と、を含む。生成工程において、抽出部が抽出した特徴点を除去して点群データを生成する。このような情報処理方法によれば、影に対応する特徴点を除去して点群データを生成することで、点群データを活用しやすくすることができる。 An information processing method according to another embodiment of the present invention includes an imaging information acquisition step of acquiring imaging information from an imaging unit mounted on a moving body, an extraction step of extracting a feature point corresponding to a shadow in the imaging information, A generation step of generating point cloud data based on the imaging information. In the generation step, the feature points extracted by the extraction unit are removed to generate point cloud data. According to such an information processing method, it is possible to easily utilize the point cloud data by removing the feature points corresponding to the shadow and generating the point cloud data.
また、上述した情報処理方法をコンピュータにより実行させる情報処理プログラムとしてもよい。このようにすることにより、コンピュータを用いて、活用しやすい点群データを生成することができる。 Further, it may be an information processing program that causes a computer to execute the above-described information processing method. By doing so, it is possible to generate the point cloud data that can be easily utilized by using the computer.
また、上述した情報処理プログラムをコンピュータ読み取り可能な記録媒体に格納してもよい。このようにすることにより、当該プログラムを機器に組み込む以外に単体でも流通させることができ、バージョンアップ等も容易に行える。 Further, the above-mentioned information processing program may be stored in a computer-readable recording medium. By doing so, the program can be distributed as a single unit in addition to being installed in the device, and the version can be easily upgraded.
以下、本発明の実施例について具体的に説明する。本実施例の情報処理ユニット1は、図1に示すように、移動体10に搭載されたVSLAM装置である第1の情報処理装置1Aと、外部サーバ100に搭載された第2の情報処理装置1Bと、によって構成されている。第1の情報処理装置1Aは、情報取得部2と、生成部3と、出力部4と、を備える。移動体10は例えば車両であって、撮像部20と、地図情報記憶部30と、自己位置推定部40と、走行情報センサ50と、日時情報管理部60と、が搭載されている。
Hereinafter, examples of the present invention will be specifically described. As shown in FIG. 1, the
第2の情報処理装置1Bは、収集部11と、生成部12と、を備える。外部サーバ100には、通信部101と、記憶部本体102と、が搭載されている。尚、外部サーバ100は複数の第1の情報処理装置1Aと通信するように構成されている。
The second information processing device 1B includes a collection unit 11 and a
撮像部20は、例えばビデオカメラであって、移動体10の進行方向前方側を撮像するように配置されている。撮像部20が撮像した動画は、複数の撮像情報(フレーム)によって構成されており、情報取得部2に送信される。尚、撮像部は、所定の時間間隔で連続的に静止画を撮像可能なものであってもよい。
The
地図情報記憶部30は、例えばハードディスクや不揮発性メモリなどで構成され、既存の地図情報が記憶されている。地図情報記憶部30に記憶された地図情報は、少なくとも地物についての情報を含んでいればよい。尚、地物についての情報とは、地物の位置や大きさについての数値だけでなく、地物の属性や種別(住宅と商業施設との区別や、商業施設の業種等)についての情報も含むものとする。
The map
自己位置推定部40は、移動体10の現在位置(絶対位置)を推定するものであって、例えば複数のGPS(Global Positioning System)衛星から発信される電波を受信するGPS受信部であればよい。自己位置推定部40が推定した現在位置は、撮像部20による撮像情報の撮像位置を示す位置情報として、情報取得部2に送信される。
The self-
走行情報センサ50は、移動体10の変位量を測定するためのセンサであって、例えば、移動体10の車速パルスを取得する車速パルス取得部と、移動体10の方位変位量を測定するためのジャイロセンサと、移動体10の加速度を取得するための加速度センサと、によって構成されている。走行情報センサ50が取得した変位量によって、移動体10の進行方向が推定される。移動体10の進行方向と、移動体10における撮像部20の取り付け方向と、によって、撮像時における撮像部20の向きに関する撮像方位情報が決定される。撮像部20が移動体の正面に向けられている場合には、進行方向と撮像方位とが略一致する。従って、走行情報センサ50から情報取得部2に撮像方位情報が送信される。尚、走行情報センサ50は、少なくとも移動体10の進行方向を推定可能なものであればよい。
The travel information sensor 50 is a sensor for measuring the displacement amount of the moving
日時情報管理部60は、カレンダー機能と時計機能とを有するものである。尚、時計機能は、標準電波を受信して誤差を自動修正する電波時計機能であることが好ましい。日時情報管理部60から情報取得部2に日付情報及び時刻情報が送信される。尚、日付情報及び時刻情報に基づき、太陽高度情報及び太陽方位情報を特定することができる。従って、日付情報及び時刻情報を取得する情報取得部2は、太陽高度情報及び太陽方位情報を取得しているものとみなすことができる。
The date / time information management unit 60 has a calendar function and a clock function. The timepiece function is preferably a radio timepiece function that receives standard radio waves and automatically corrects errors. The date and time information is transmitted from the date and time information management unit 60 to the
情報取得部2は、上記のように撮像部20から撮像情報を取得することで撮像情報取得部として機能し、上記のように自己位置推定部40から位置情報を取得することで位置情報取得部として機能し、地図情報記憶部30から地図情報を取得することで地図情報取得部として機能し、上記のように走行情報センサ50から撮像方位情報を取得することで、撮像方位情報取得部として機能し、上記のように日時情報管理部60から太陽高度情報及び太陽方位情報を取得することで、太陽情報取得部として機能する。
The
生成部3は、情報取得部2が取得した撮像情報において特徴点を抽出して二次元的な特徴点群を生成し、さらに、複数の特徴点群に基づいて点群データを生成する。尚、生成部3が生成する点群データは、例えば三次元点群データであればよい。尚、特徴点の抽出には、例えばORB(Oriented fast and Rotated Brief)アルゴリズムを用いてもよいし、その他のアルゴリズムを用いてもよい。
The generation unit 3 extracts a feature point from the imaging information acquired by the
出力部4は、インターネットや公衆回線等のネットワークと通信するための回路やアンテナ等から構成され、外部サーバ100の通信部101と通信することにより、生成部3が生成した情報(点群データ)を送信する。これにより、外部サーバ100の記憶部本体102に情報が記憶されるようになっている。
The output unit 4 includes a circuit for communicating with a network such as the Internet and a public line, an antenna, and the like, and communicates with the
第2の情報処理装置1Bの収集部11は、通信部101を介し、第1の情報処理装置1Aが生成した点群データ(個別点群データ)を取得する。収集部11は、複数の移動体から個別点群データを取得したり、1つの移動体から個別点群データを複数回取得したりすることにより、個別点群データを収集する。
The collection unit 11 of the second information processing apparatus 1B acquires the point cloud data (individual point cloud data) generated by the first
生成部12は、収集部11が収集した複数の個別点群データに基づいて、総合点群データを生成する。総合点群データは、複数の個別点群データを重ね合わせたものであってもよいし、複数の個別点群データの構成点の位置平均を示すものであってもよい。
The
このように生成された総合点群データは、例えば移動体の自己位置推定に用いられる。即ち、移動体に搭載された光センサ(いわゆるLIDAR; Laser Imaging Detection and Ranging)によって地物が検出された際、総合点群データと照合することによってこの移動体の自己位置を推定すればよい。 The comprehensive point cloud data generated in this way is used, for example, for estimating the self-position of the moving body. That is, when a feature is detected by an optical sensor (so-called LIDAR; Laser Imaging Detection and Ranging) mounted on the moving body, the self-position of the moving body may be estimated by collating with the comprehensive point cloud data.
[第1の情報処理装置における影の特定]
生成部3は、点群データを生成する際、点群データを構成する構成点のうち影に対応した構成点を特定し、抽出してもよい(即ち、抽出部として機能してもよい)。このときの詳細な手順の一例を以下に説明する。まず、生成部3は、太陽高度情報と太陽方位情報と撮像方位情報とに基づき、影生成方向を特定する。即ち、太陽の位置と撮像部20の向きとが決まれば、建物等の地物のうち鉛直方向に沿って延びる縁部が、撮像時点において影を形成する方向(影生成方向)を推定することができる。即ち、影生成方向に並んだ構成点が存在する場合、これらの構成点は、地物のうち鉛直方向に沿って延びる縁部の影に対応したものであると推定することができる。
[Identification of Shadow in First Information Processing Device]
When generating the point cloud data, the generation unit 3 may specify and extract a constituent point corresponding to a shadow among the constituent points that form the point cloud data (that is, may function as an extraction unit). . An example of the detailed procedure at this time will be described below. First, the generation unit 3 specifies the shadow generation direction based on the sun altitude information, the sun azimuth information, and the imaging azimuth information. That is, if the position of the sun and the orientation of the
尚、影生成方向に並んだ構成点が影に対応するものであるか否かは、例えば、並んだ構成点の個数や、複数の構成点によって形成される直線の長さ等に基づいて判断すればよい。即ち、影生成方向に並んだ構成点の個数が少ない場合や、複数の構成点によって構成される直線の長さが短い場合、これらの構成点は偶然影生成方向に並んでいるだけであり、影に対応したものでない可能性が高い。 Whether or not the constituent points arranged in the shadow generation direction correspond to the shadow is determined based on, for example, the number of constituent points arranged in a line or the length of a straight line formed by a plurality of constituent points. do it. That is, when the number of constituent points arranged in the shadow generation direction is small, or when the length of a straight line formed by a plurality of constituent points is short, these constituent points are accidentally arranged in the shadow generation direction, There is a high possibility that it does not correspond to the shadow.
生成部3は、影生成方向に並んだ構成点を抽出し、且つ、これらの構成点が影に対応すると判定した場合、点群データにおいてこれらの構成点を除去する。 When the generating unit 3 extracts the constituent points arranged in the shadow generation direction and determines that these constituent points correspond to the shadow, these constituent points are removed from the point cloud data.
ここで、影生成方向に並んだ構成点を抽出する方法の具体例について図2、3を参照しつつ説明する。尚、図2、3では、対象とする道路及び地物以外は適宜省略して示している。 Here, a specific example of a method of extracting constituent points arranged in the shadow generation direction will be described with reference to FIGS. 2 and 3, the roads and features other than the target are omitted as appropriate.
図2に示すように、道路R沿いに建物Bが存在している場合、この建物Bによって、太陽の位置及び撮像部の向きに応じた影Sが地面に形成される。建物Bは、鉛直方向に沿って延びる縁部B1を有しており、影Sは縁部B1に対応した直線状の境界線S1を有する。図2のフレームにおいて境界線S1上の特徴点が抽出され、さらにこの前後のフレームにおいても境界線S1上の特徴点が抽出される。従って、図3に示すように生成部3が点群データを生成した際、点群データには、建物Bに対応した構成点PBと、境界線S1に対応した構成点P1〜P4と、が含まれる。 As shown in FIG. 2, when a building B exists along the road R, the building B forms a shadow S on the ground according to the position of the sun and the orientation of the imaging unit. The building B has an edge B1 extending along the vertical direction, and the shadow S has a linear boundary line S1 corresponding to the edge B1. The feature points on the boundary line S1 are extracted in the frame of FIG. 2, and the feature points on the boundary line S1 are also extracted in the frames before and after this. Therefore, when the generation unit 3 generates the point cloud data as shown in FIG. 3, the point cloud data includes the constituent points PB corresponding to the building B and the constituent points P1 to P4 corresponding to the boundary line S1. included.
生成部3は、太陽高度情報と太陽方位情報と撮像方位情報とに基づき、影生成方向L1を特定する。図示の例では、太陽は南西に位置し、撮像部20は北北西を向いている。生成部3は、影生成方向L1を特定することで、この方向に並んだ構成点P1〜P4を抽出することができる。
The generation unit 3 specifies the shadow generation direction L1 based on the sun altitude information, the sun direction information, and the imaging direction information. In the illustrated example, the sun is located in the southwest, and the
尚、生成部3は、影生成方向に並んだ構成点を抽出し、且つ、これらの構成点が影に対応すると判定した場合、点群データにおいてこれらの構成点を除去せずに、所定の情報をフラグとして付与してもよい。構成点に付与する所定の情報は、例えば、影であるという情報であってもよいし、影の可能性があるという情報であってもよいし、当該構成点の信頼度を低下させる(0にすることも含む)という情報であってもよい。 When the generating unit 3 extracts the constituent points arranged in the shadow generation direction and determines that these constituent points correspond to the shadow, the generating unit 3 does not remove the constituent points in the point cloud data and determines the predetermined points. Information may be added as a flag. The predetermined information given to the constituent point may be, for example, information that it is a shadow or information that there is a possibility of a shadow, and may reduce the reliability of the constituent point (0 Information (including the case of setting).
また、生成部3は、上記のように影生成方向に並んだ構成点を抽出する際、自己位置推定部40から取得した位置情報と、地図情報記憶部30から取得した地図情報と、に基づき、撮像範囲に含まれる地物の影の形状を推定してもよい。地物のうち鉛直方向に沿って延びる縁部の形状によって、形成される影の形状が決定される。例えば、道路沿いの地物が天然物である場合や複雑な形状の建物である場合、鉛直方向に沿って延びる縁部によって直線状の影は形成されにくいため、影生成方向に並んだ構成点が存在していても、この地物の影に対応した構成点ではないと判定することができる。
Further, when extracting the component points arranged in the shadow generation direction as described above, the generation unit 3 is based on the position information acquired from the self-
また、生成部3は、地図情報に地物の高さ情報が含まれている場合、この高さ情報を利用してもよい。即ち、高さ情報と太陽高度情報と太陽方位情報と撮像方位情報とに基づき、影生成方向だけでなく、影の境界線の長さを推定することができる。従って、構成点が影生成方向に沿って並んでいても、境界線の長さを超えた領域については、影に対応したものでないと判断することができる。 Further, when the map information includes the height information of the feature, the generation unit 3 may use this height information. That is, not only the shadow generation direction but also the length of the boundary line of the shadow can be estimated based on the height information, the sun altitude information, the sun direction information, and the imaging direction information. Therefore, even if the constituent points are arranged along the shadow generation direction, it is possible to determine that the region exceeding the length of the boundary does not correspond to the shadow.
上記の例では、地物のうち鉛直方向に沿って延びる縁部の影に対応した構成点を抽出するものとしたが、他の影に対応した構成点を抽出してもよい。例えば、複数の構成点によって表される形状の複雑度に基づき影に対応する構成点を抽出してもよい。このような方法として、フラクタル次元を概算することにより、植生の葉によって形成される影を特定する方法が例示される。 In the above example, the constituent points corresponding to the shadow of the edge of the feature extending along the vertical direction are extracted, but the constituent points corresponding to other shadows may be extracted. For example, the constituent points corresponding to the shadow may be extracted based on the complexity of the shape represented by the plurality of constituent points. As such a method, a method of estimating a fractal dimension to identify a shadow formed by vegetation leaves is exemplified.
また、生成部3は、VSLAMによって点群データを生成するよりも前に、撮像情報の各フレームの特徴点から、影に対応する特徴点を抽出してもよい。このとき、生成部3は、影に対応する特徴点を除去して点群データを生成すればよい。また、特徴点を除去したことを示す情報を点群データに付与してもよい。 Further, the generation unit 3 may extract a feature point corresponding to a shadow from the feature points of each frame of the imaging information before generating the point cloud data by VSLAM. At this time, the generation unit 3 may generate the point cloud data by removing the characteristic points corresponding to the shadow. Further, information indicating that feature points have been removed may be added to the point cloud data.
[点群データのデータ構造]
上記のように生成部3が、影に対応する構成点に所定の情報をフラグとして付与した場合、この点群データは以下に詳述するようなデータ構造を有する。構成点に付与される所定の情報は、上記のように、影であるという情報であってもよいし、影の可能性があるという情報であってもよいし、当該構成点の信頼度を低下させる(0にすることも含む)という情報であってもよい。
[Data structure of point cloud data]
When the generation unit 3 adds predetermined information as a flag to the constituent points corresponding to the shadow as described above, this point cloud data has a data structure as described in detail below. The predetermined information given to the constituent point may be the information that it is a shadow as described above, the information that there is a possibility of a shadow, or the reliability of the constituent point. It may be information that the value is lowered (including setting it to 0).
第2の情報処理装置1Bの生成部(処理部)12は、収集部11が収集した複数の個別点群データに基づいて総合点群データを生成する際、情報が付与された(即ち影に対応する)構成点の寄与度を下げて処理することができる。例えば、複数の個別点群データを重ね合わせて総合点群データを生成する際、ある点群データ含まれるフラグ付きの構成点の位置に、他の点群データに含まれる構成点が位置しない場合、この位置の構成点はないものとして処理することができる。 When generating the total point cloud data based on the plurality of individual point cloud data collected by the collection unit 11, the generation unit (processing unit) 12 of the second information processing apparatus 1B is provided with information (that is, shaded). It can be processed with a lower contribution of the (corresponding) constituent points. For example, when generating a total point cloud data by superimposing a plurality of individual point cloud data, when the position of a flagged constituent point included in a certain point cloud data is not located in another point cloud data , It can be treated as if there is no constituent point at this position.
また、構成点に付与される情報は、構成点が対応する影を生成する地物についての情報(例えば、当該構成点が、建物が生成した影に対応したものであるという情報や、植生が生成した影に対応したものであるという情報)を含んでいてもよい。このような点群データのデータ構造の一例を、表1に示す。 In addition, the information given to the constituent points is information about the features that generate shadows corresponding to the constituent points (for example, information that the constituent points correspond to the shadows generated by the building and vegetation information). (Information that corresponds to the generated shadow) may be included. Table 1 shows an example of the data structure of such point cloud data.
即ち、各構成点にはIDが割り振られており、各構成点に、位置情報と、影フラグ情報(即ち情報が付与されているか否か)と、構成点が対応する影を生成する地物についての情報と、が付与されている。表1の例では、位置情報が二次元的な座標情報であるものとしたが、位置情報は三次元的な(xyz空間における)座標情報であってもよい。 That is, an ID is assigned to each constituent point, and position information, shadow flag information (that is, whether or not information is added), and a feature that generates a shadow corresponding to each constituent point are assigned to each constituent point. And information is added. Although the position information is two-dimensional coordinate information in the example of Table 1, the position information may be three-dimensional (in the xyz space) coordinate information.
影フラグ情報は、「0」の場合に情報が付与されていないことを示し、「1」の場合に情報が付与されていることを示す。構成点が対応する影を生成する地物についての情報は、影フラグ情報が0の場合にはブランクとなり、1の場合には、その地物の属性等を特定する情報となる。表1の例では、ID=2の構成点とID=3の構成点とは、異なるビルによって生成される影に対応している。尚、構成点が影に対応することは特定できているものの、その影を生成する地物が特定できていない場合には、地物についての情報をブランクとしてもよい。 The shadow flag information indicates that the information is not attached when it is “0”, and indicates that the information is attached when it is “1”. When the shadow flag information is 0, the information about a feature that generates a shadow corresponding to a constituent point is blank, and when the shadow flag information is 1, it is information specifying the attribute of the feature. In the example of Table 1, the constituent points with ID = 2 and the constituent points with ID = 3 correspond to shadows generated by different buildings. It should be noted that although it has been specified that the constituent points correspond to the shadow, but if the feature generating the shadow has not been specified, the information about the feature may be blank.
[総合点群データの生成]
上記のように、第2の情報処理装置1Bにおいて、収集部11が、個別点群データを収集し、生成部12が、複数の個別点群データに基づいて総合点群データを生成する。このとき、収集部11は、個別点群データだけでなく、この個別点群データを各構成点のうち影に対応する構成点に付与された付与情報(上記の影フラグ情報、及び、構成点が対応する影を生成する地物についての情報)を取得する。
[Generation of comprehensive point cloud data]
As described above, in the second information processing device 1B, the collection unit 11 collects the individual point cloud data, and the
生成部12は、取得した付与情報に基づいてその構成点の寄与度を決定し、総合点群データを生成する。寄与度は、例えば、総合点群データの生成時に複数の個別点群データを重ね合わせたり位置平均を求めたりする際に、重みづけに用いられる値であればよい。
The
生成部12は、影フラグ情報を取得した場合、その構成点の寄与度を0とし、即ちこの構成点を除去して総合点群データを生成してもよい。
When the shadow flag information is acquired, the
また、生成部12は、撮像条件の異なる複数の個別点群データにおいて、同一位置の構成点にフラグ情報が付与されている場合、これらの構成点の寄与度を低下させずに総合点群データを生成してもよい。昼間の撮像情報に基づいて生成された個別点群データにおいて影であると判定された構成点と、夜間の撮像情報に基づいて生成された個別点群データにおいて影であると判定された構成点と、が同一位置に存在する場合、これらの構成点は影ではない可能性がある。従って、ある構成点について影であると誤判定して付与情報を付与してしまった場合に、この構成点の寄与度を低下させないようにすることができる。
In addition, when the flag information is added to the constituent points at the same position in the plurality of individual point group data with different imaging conditions, the
また、生成部12は、構成点の寄与度を決定する際、影フラグ情報だけでなく、影を生成する地物についての情報も参照してもよい。地物の形状が明確であるほど、構成点が影に対応しているか否かを正確に判断しやすい。即ち、影フラグ情報が付与された構成点であっても、影を生成する地物によって判定精度が異なる。そこで、例えば影を生成する地物の形状が明確であるほど構成点の寄与度を低下させるという処理を行うことにより、影の判定精度も考慮して総合点群データを生成することができる。
Further, when determining the degree of contribution of the constituent points, the
上記の構成により、点群データを構成する構成点のうち影に対応する構成点に所定の情報を付与することで、点群データを自己位置推定等に用いる際に、影に対応する構成点を利用しないようにしたり、利用度を下げたりすることができる。影に対応する構成点は、日時や天候によって変化し得ることから、点群データを活用しやすくすることができる。 With the above configuration, by assigning predetermined information to the constituent points corresponding to the shadow among the constituent points forming the point cloud data, the constituent points corresponding to the shadow are used when the point cloud data is used for self-position estimation or the like. You can choose not to use or reduce the usage. Since the constituent points corresponding to the shadow can change depending on the date and time and the weather, it is possible to make the point cloud data easier to use.
また、撮像情報において影に対応する特徴点を抽出するとともに除去して点群データを生成すれば、点群データを自己位置推定等に用いる際に、影による影響を受けないようにすることができる。影に対応する構成点は、日時や天候によって変化し得ることから、点群データを活用しやすくすることができる。 Further, by extracting and removing the characteristic points corresponding to the shadow in the imaging information to generate the point cloud data, it is possible to prevent the influence of the shadow when the point cloud data is used for self-position estimation or the like. it can. Since the constituent points corresponding to the shadow can change depending on the date and time and the weather, it is possible to make the point cloud data easier to use.
また、出力部4によって点群データを外部サーバ100に出力することで、出力先の外部サーバ100において点群データを活用することができる。
Moreover, by outputting the point cloud data to the
また、点群データのデータ構造において、影に対応する構成点に所定の情報が付与されており、影に対応する構成点について寄与度を下げて処理できるようになっていることで、処理後の点群データ(総合点群データ)を自己位置推定等に用いる際に、影に対応する構成点を利用しないようにしたり、利用度を下げたりすることができる。影に対応する構成点は、日時や天候によって変化し得ることから、処理後の点群データを活用しやすくすることができる。 Further, in the data structure of the point cloud data, predetermined information is given to the constituent points corresponding to the shadows, and the constituent points corresponding to the shadows can be processed with a reduced degree of contribution. When using the point cloud data (combined point cloud data) for self-position estimation or the like, it is possible not to use the constituent points corresponding to the shadow or to reduce the degree of use. Since the constituent points corresponding to the shadows may change depending on the date and time and the weather, it is possible to easily utilize the processed point cloud data.
また、影に対応する構成点に付与されたフラグ情報に基づいて構成点の寄与度を決定し、複数の個別点群データに基づいて総合点群データを生成することで、総合点群データにおいて、影に対応する構成点を利用しないようにしたり、利用度を下げたりすることができる。影に対応する構成点は、日時や天候によって変化し得ることから、総合点群データを活用しやすくすることができる。 In addition, by determining the degree of contribution of the constituent points based on the flag information given to the constituent points corresponding to the shadow, and generating the total point cloud data based on the plurality of individual point cloud data, , It is possible not to use the constituent points corresponding to the shadow, or to reduce the usage. Since the constituent points corresponding to the shadow can change depending on the date and time and the weather, it is possible to easily utilize the comprehensive point cloud data.
なお、本発明は、前記実施例に限定されるものではなく、本発明の目的が達成できる他の構成等を含み、以下に示すような変形等も本発明に含まれる。 The present invention is not limited to the above-described embodiments, but includes other configurations and the like that can achieve the object of the present invention, and the following modifications and the like are also included in the present invention.
例えば、前記実施例では、情報取得部2と生成部3とが移動体に10に搭載されているものとしたが、第1の情報処理装置を構成する撮像情報取得部と生成部と抽出部とは、移動体に搭載されていなくてもよく、互いに異なる機器や装置に搭載されていてもよい。即ち、情報処理装置の各構成は、物理的に分離した複数の装置に跨っていてもよい。
For example, in the above-described embodiment, the
また、前記実施例では、収集部11と生成部12とが外部サーバ100に搭載されているものとしたが、第2の情報処理装置を構成する収集部と生成部は、外部サーバに搭載されていなくてもよく、互いに異なる機器や装置に搭載されていてもよい。即ち、情報処理装置の各構成は、物理的に分離した複数の装置に跨っていてもよい。
Further, in the above-described embodiment, the collection unit 11 and the
その他、本発明を実施するための最良の構成、方法などは、以上の記載で開示されているが、本発明は、これに限定されるものではない。すなわち、本発明は、主に特定の実施例に関して特に図示され、且つ、説明されているが、本発明の技術的思想および目的の範囲から逸脱することなく、以上述べた実施例に対し、形状、材質、数量、その他の詳細な構成において、当業者が様々な変形を加えることができるものである。従って、上記に開示した形状、材質などを限定した記載は、本発明の理解を容易にするために例示的に記載したものであり、本発明を限定するものではないから、それらの形状、材質などの限定の一部、もしくは全部の限定を外した部材の名称での記載は、本発明に含まれるものである。 Besides, the best configuration, method, and the like for carrying out the present invention have been disclosed in the above description, but the present invention is not limited thereto. That is, the present invention is mainly illustrated and described mainly with respect to a specific embodiment, but without departing from the technical idea and the scope of the object of the present invention, the shape with respect to the embodiment described above Those skilled in the art can make various modifications in terms of material, quantity, and other detailed configurations. Therefore, the description limiting the shapes and materials disclosed above is described as an example for facilitating the understanding of the present invention, and does not limit the present invention. The description with the names of members excluding some or all of the above limitations is included in the present invention.
1A 第1の情報処理装置
2 情報取得部(撮像情報取得部)
3 生成部(抽出部)
4 出力部
10 移動体
20 撮像部
1B 第2の情報処理装置
11 収集部
12 生成部
1A First
3 Generator (extractor)
4
Claims (11)
前記撮像情報に基づいて点群データを生成する生成部と、
前記点群データを構成する構成点のうち影に対応する構成点を抽出する抽出部と、を備え、
前記生成部は、前記抽出部が抽出した構成点に所定の情報を付与することを特徴とする情報処理装置。 An imaging information acquisition unit that acquires imaging information from the imaging unit mounted on the moving body;
A generation unit that generates point cloud data based on the imaging information;
An extraction unit that extracts a constituent point corresponding to a shadow among constituent points that form the point cloud data,
The information processing apparatus, wherein the generation unit adds predetermined information to the constituent points extracted by the extraction unit.
前記撮像情報において影に対応する特徴点を抽出する抽出部と、
前記撮像情報に基づいて点群データを生成する生成部と、を備え、
前記生成部は、前記抽出部が抽出した特徴点を除去して前記点群データを生成することを特徴とする情報処理装置。 An imaging information acquisition unit that acquires imaging information from the imaging unit mounted on the moving body;
An extraction unit that extracts a feature point corresponding to a shadow in the imaging information,
A generation unit that generates point cloud data based on the imaging information,
The information processing apparatus, wherein the generation unit removes the characteristic points extracted by the extraction unit to generate the point cloud data.
前記撮像情報に基づいて点群データを生成する生成工程と、
前記点群データを構成する構成点のうち影に対応する構成点を抽出する抽出工程と、を含み、
前記生成工程において、前記抽出部が抽出した構成点に所定の情報を付与することを特徴とする情報処理方法。 An imaging information acquisition step of acquiring imaging information from an imaging unit mounted on a moving body,
A generation step of generating point cloud data based on the imaging information,
An extraction step of extracting a constituent point corresponding to a shadow among the constituent points forming the point cloud data,
An information processing method, wherein in the generating step, predetermined information is added to the constituent points extracted by the extracting unit.
前記撮像情報において影に対応する特徴点を抽出する抽出工程と、
前記撮像情報に基づいて点群データを生成する生成工程と、を含み、
前記生成工程において、前記抽出部が抽出した特徴点を除去して前記点群データを生成することを特徴とする情報処理方法。 An imaging information acquisition step of acquiring imaging information from an imaging unit mounted on a moving body,
An extraction step of extracting a feature point corresponding to a shadow in the imaging information,
A generation step of generating point cloud data based on the imaging information,
In the generating step, the point cloud data is generated by removing the characteristic points extracted by the extracting unit.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018193082A JP7361462B2 (en) | 2018-10-12 | 2018-10-12 | information processing equipment |
JP2023171440A JP2023174728A (en) | 2018-10-12 | 2023-10-02 | Information processing device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018193082A JP7361462B2 (en) | 2018-10-12 | 2018-10-12 | information processing equipment |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023171440A Division JP2023174728A (en) | 2018-10-12 | 2023-10-02 | Information processing device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020060499A true JP2020060499A (en) | 2020-04-16 |
JP7361462B2 JP7361462B2 (en) | 2023-10-16 |
Family
ID=70220155
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018193082A Active JP7361462B2 (en) | 2018-10-12 | 2018-10-12 | information processing equipment |
JP2023171440A Pending JP2023174728A (en) | 2018-10-12 | 2023-10-02 | Information processing device |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023171440A Pending JP2023174728A (en) | 2018-10-12 | 2023-10-02 | Information processing device |
Country Status (1)
Country | Link |
---|---|
JP (2) | JP7361462B2 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111724440A (en) * | 2020-05-27 | 2020-09-29 | 杭州数梦工场科技有限公司 | Orientation information determining method and device of monitoring equipment and electronic equipment |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013182562A (en) * | 2012-03-05 | 2013-09-12 | Nissan Motor Co Ltd | Shadow detector |
JP2015102449A (en) * | 2013-11-26 | 2015-06-04 | 日産自動車株式会社 | Vehicle self position estimation apparatus and vehicle self position estimation method |
-
2018
- 2018-10-12 JP JP2018193082A patent/JP7361462B2/en active Active
-
2023
- 2023-10-02 JP JP2023171440A patent/JP2023174728A/en active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013182562A (en) * | 2012-03-05 | 2013-09-12 | Nissan Motor Co Ltd | Shadow detector |
JP2015102449A (en) * | 2013-11-26 | 2015-06-04 | 日産自動車株式会社 | Vehicle self position estimation apparatus and vehicle self position estimation method |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111724440A (en) * | 2020-05-27 | 2020-09-29 | 杭州数梦工场科技有限公司 | Orientation information determining method and device of monitoring equipment and electronic equipment |
CN111724440B (en) * | 2020-05-27 | 2024-02-02 | 杭州数梦工场科技有限公司 | Method and device for determining azimuth information of monitoring equipment and electronic equipment |
Also Published As
Publication number | Publication date |
---|---|
JP7361462B2 (en) | 2023-10-16 |
JP2023174728A (en) | 2023-12-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Seymour et al. | Deploying fixed wing Unoccupied Aerial Systems (UAS) for coastal morphology assessment and management | |
Tonkin et al. | The potential of small unmanned aircraft systems and structure-from-motion for topographic surveys: A test of emerging integrated approaches at Cwm Idwal, North Wales | |
Javernick et al. | Modeling the topography of shallow braided rivers using Structure-from-Motion photogrammetry | |
Piermattei et al. | Suitability of ground-based SfM–MVS for monitoring glacial and periglacial processes | |
KR100912715B1 (en) | Method and apparatus of digital photogrammetry by integrated modeling for different types of sensors | |
KR101984259B1 (en) | Method and device for making a topographic map | |
KR101493418B1 (en) | Method for eliminating shadow of aerial photograph and apparatus thereof | |
Haala et al. | Extracting 3D urban models from oblique aerial images | |
JP6950832B2 (en) | Position coordinate estimation device, position coordinate estimation method and program | |
JP2007219231A (en) | Aerial image processing device and aerial image processing method | |
Gneeniss et al. | In-flight photogrammetric camera calibration and validation via complementary lidar | |
Zeng et al. | An elevation difference model for building height extraction from stereo-image-derived DSMs | |
JP2023174728A (en) | Information processing device | |
JP2008090808A (en) | Image correction apparatus, image correction method and program | |
Iizuka et al. | Improving the 3D model accuracy with a post-processing kinematic (PPK) method for UAS surveys | |
JP2020060501A (en) | Information processing device | |
JP2023111921A (en) | Information processing device | |
JP2007108029A (en) | Position locating device, position locating technique, and position locating program | |
Sreedhar et al. | Automatic conversion of DSM to DTM by classification techniques using multi-date stereo data from cartosat-1 | |
JP7257770B2 (en) | Information processing equipment | |
JP2020061049A (en) | Point group data structure | |
CN112106112A (en) | Point cloud fusion method, device and system and storage medium | |
JP3914256B1 (en) | Image correction apparatus, image correction method, and program | |
CN107808160B (en) | Three-dimensional building extraction method and device | |
Gopinath et al. | Elicitation of erosional signature of a tropical river basin with high-resolution stereo data |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210917 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220818 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220823 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221021 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230124 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230322 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230523 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230720 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230905 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231003 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7361462 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |