JP2019203732A - 状態計測装置 - Google Patents
状態計測装置 Download PDFInfo
- Publication number
- JP2019203732A JP2019203732A JP2018097707A JP2018097707A JP2019203732A JP 2019203732 A JP2019203732 A JP 2019203732A JP 2018097707 A JP2018097707 A JP 2018097707A JP 2018097707 A JP2018097707 A JP 2018097707A JP 2019203732 A JP2019203732 A JP 2019203732A
- Authority
- JP
- Japan
- Prior art keywords
- state
- vehicle speed
- measurement
- unit
- selection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Navigation (AREA)
- Position Fixing By Use Of Radio Waves (AREA)
Abstract
【課題】対象物の状態を連続的かつ高精度に計測することのできる状態計測装置を提供する。【解決手段】状態計測装置1は、車両10の状態を計測する。状態計測装置1は、GPS信号に基づいて車両10の状態を計測するGPS車速算出部31と、車両10が走行する路面を撮影する第1カメラ22や第2カメラ23で撮影した路面の第1カメラ画像や第2カメラ画像に基づいて車両10の状態を計測する画像車速算出部32と、所定の選択条件を用いて選択状態を選択する選択部35を備える。選択部35は、選択条件が、GPS車速算出部31及び画像車速算出部32のうち一方の計測精度が他方の計測精度以上となる所定の計測環境において一方により計測された状態を選択状態とするための条件であり、選択条件が成立することに基づいて一方により計測された状態を選択状態とし、かつ、選択条件が不成立であることに基づいて他方により計測された状態を選択状態とする。【選択図】図1
Description
本発明は、対象物の状態を計測する状態計測装置に関する。
従来、自動車には様々な性能の評価が求められている。そうした評価のひとつに排ガス計測がある。排ガス計測は、シャシダイナモメータを利用した模擬走行により求めることもできるが、模擬走行と実路走行とでは計測結果に乖離が発生することもあり、実路走行が重要視されるようになっている。
自動車の実路走行による性能評価においては、自動車の状態の一つである速度であれば、低速度域から高速度域までを精度良く計測することが求められている。例えば、自動車の速度を精度良く計測する技術の一例が特許文献1に記載されている。
特許文献1に記載の装置は、IMU(慣性計測装置)由来の第1の速度データを補正データ分だけ補正して第2の速度データを生成する速度補正部と、GPS(全地球測位システム)受信機由来の第3の速度データを補間処理することにより第4の速度データを生成する補間処理部とを備える。また、この装置は、第2の速度データを制御データに基づく遅延量だけ遅延させることにより第5の速度データを生成する遅延処理部と、第4の速度データ由来の第6の速度データと第5の速度データとの間の差分データを算出する差分演算部とを備える。また、この装置は、差分データに基づいて補正データを算出する補正データ算出部と、差分データ由来のデータに基づいて第2の速度データを遅延させる制御データを生成することにより、第5の速度データを第6の速度データへの同期に近づけさせる制御データ生成部とを備える。これにより、IMU及びGPS受信機双方を利用してリアルタイム性を確保しつつ、発散させることもなく正確な出力速度データを得る。
確かに、GPS衛星からの電波を用いることで高精度な速度計測を行うことができる。しかしながら、GPS衛星からの電波は木々やビル群等によって反射されることに起因して同一信号の電波が複数方向から時間差を持って到達するという、いわゆるマルチパスの影響を受けたり、高架下やトンネルでは必要な数を受信することができないというようなことが不規則に生じる。こうしたマルチパスや電波の不感の影響により、高精度な速度計測を連続して行うには制約がある。また、IMUを組み合わせても、GPS衛星からの電波が受信できないことによってIMUに生じる累積誤差を解消する処理ができなくなって累積されている誤差の増減が不規則になったりする。よって、自動車等の移動体の状態について、高精度な計測を連続的に行うことが容易ではない。
なお、こうした課題は、移動体の速度の計測に限られるものではなく、速度に関連する距離や加速度の計測等にあっても同様である。
本発明は、このような実情に鑑みてなされたものであり、その目的は、対象物の状態を連続的かつ高精度に計測することのできる状態計測装置を提供することにある。
本発明は、このような実情に鑑みてなされたものであり、その目的は、対象物の状態を連続的かつ高精度に計測することのできる状態計測装置を提供することにある。
上記課題を解決する状態計測装置は、移動体の状態を計測する状態計測装置であって、GPS信号に基づいて前記移動体の状態を計測する第1の計測部と、前記移動体が走行する走行面を撮影する走行面撮影部で撮影した前記走行面の画像に基づいて前記移動体の状態を計測する第2の計測部と、所定の選択条件を用いて選択状態を選択する選択部であって、前記選択条件が、前記第1の計測部及び前記第2の計測部のうち一方の計測精度が他方の計測精度以上となる所定の計測環境において前記一方により計測された状態を前記選択状態とするための条件であり、前記選択条件が成立することに基づいて前記一方により計測された状態を前記選択状態とし、かつ、前記選択条件が不成立であることに基づいて前記他方により計測された状態を前記選択状態とする前記選択部とを備え、前記選択部で選択した前記選択状態を計測結果として出力する。
この構成によれば、出力する計測結果を、選択条件に基づいて選択した第1の状態又は第2の状態からなる選択状態とすることができる。また、GPS信号に基づく第1の状態の計測精度と、走行面の画像に基づく第2の状態の計測精度とのうち計測誤差が小さい等、高精度の状態である方が選択条件に応じて選択される。すなわち、選択条件に適合した状態が出力されるとともに、高精度である一方を選択することで、高精度な計測結果を連続して出力でき、移動体の状態を連続的かつ高精度に計測できる。
好ましい構成として、前記選択条件は、前記第1の計測部の計測精度が前記第2の計測部の計測精度以上となる所定の計測環境において前記第1の計測部により計測された状態を前記選択状態とするための条件を含む。
この構成によれば、計測環境においてGPS信号に基づく第1の状態の計測精度が走行面の画像に基づく第2の状態の計測精度以上となるとき、計測誤差が小さい等、高精度の第1の状態が選択される。
好ましい構成として、前記第1の計測部が計測する状態が第1の状態であり、前記第2の計測部が計測する状態が第2の状態であって、前記第1の状態及び前記第2の状態はそれぞれ前記移動体の速度であり、前記第1の状態又は前記第2の状態が速度閾値未満であるとき、前記第2の状態の計測精度が前記第1の状態の計測精度以上であるものとし、前記速度閾値以上であるとき、前記第2の状態の計測精度が前記第1の状態の計測精度以上ではないものとする。
この構成によれば、移動体の速度が速度閾値未満であるとき、走行面の画像に基づく第2の状態を選択し、速度閾値以上であるときはGPS信号に基づく第1の状態を選択する。すなわち、計測精度の高い計測結果を出力することができる。
好ましい構成として、前記選択部は、前記一方により計測された状態と前記他方により計測された状態との間で前記選択状態を切り替えたとき、所定の期間内に、前記切り替えで選択した前記選択状態の割合を順次増大させるとともに、前記切り替えで非選択にした前記選択状態の割合を前記順次増大させることに応じて順次減少させることで前記選択状態を選択する。
この構成によれば、一方により計測された状態と他方により計測された状態との間で計測された状態に相違があったとしても、その状態の間にある相違を割合の変化によって緩やかな変化とすることができる。これにより、選択状態の切り替えのとき、連続に近いかたちで状態が変化する。
好ましい構成として、前記第2の計測部は、所定の撮影間隔を空けて前記走行面撮影部で撮影した前記走行面の画像を比較することに基づいて前記移動体の状態を計測する。
この構成によれば、所定の撮影間隔を空けた走行面のトラッキング等に基づいて移動体の速度や旋回等を計測できる。
この構成によれば、所定の撮影間隔を空けた走行面のトラッキング等に基づいて移動体の速度や旋回等を計測できる。
好ましい構成として、前記走行面撮影部の前記走行面からの高さを計測する高さ計測部をさらに備え、前記第2の計測部は、前記高さ計測部で計測した高さを考慮して前記移動体の状態を計測する。
この構成によれば、走行面撮影部の走行面からの高さが変動しても、当該変動を考慮することで、第2の状態の計測精度の低下を抑制できる。
なお、高さは、ステレオカメラ、投光光学式の距離計、レーザ干渉変位計、超音波式の距離計等で計測できる。
なお、高さは、ステレオカメラ、投光光学式の距離計、レーザ干渉変位計、超音波式の距離計等で計測できる。
好ましい構成として、前記走行面撮影部は、前記走行面のうち、同一領域を含むように同時に撮影した2つのカメラの画像をそれぞれ取得し、前記高さ計測部は、前記2つのカメラの画像にそれぞれ含まれる前記同一領域と前記2つのカメラの相対位置関係とに基づいて前記走行面からの高さを計測する。
この構成によれば、ステレオカメラ等の2つのカメラの撮影画像に基づいてステレオカメラ等の高さを計測できる。走行面の撮影にステレオカメラを利用すれば走行面撮影部の高さ及び移動体の状態を簡単な構成で計測できるようになる。
好ましい構成として、前記高さ計測部は、同一時点における前記走行面の複数の点のそれぞれの高さを計測する。
この構成によれば、移動体の姿勢を計測することができる。例えば、同一時点で2点を計測すれば、2点を結ぶ方向に対する移動体の傾きを計測することができる。また、同一時点で3点を計測すれば、3点が形成する面に基づいて移動体の姿勢を計測できる。
この構成によれば、移動体の姿勢を計測することができる。例えば、同一時点で2点を計測すれば、2点を結ぶ方向に対する移動体の傾きを計測することができる。また、同一時点で3点を計測すれば、3点が形成する面に基づいて移動体の姿勢を計測できる。
この発明によれば、対象物の状態を連続的かつ高精度に計測することができる。
図1〜図5を参照して、状態計測装置の一実施形態について説明する。本実施形態の状態計測装置は、移動体に用いられる状態計測装置である。本実施形態の移動体は、自動車等の車両10である。
図1に示すように、車両10は、当該車両10の車両状態を計測する状態計測装置1を備えている。車両状態としては、車両10が停止又は走行している路面100(図2参照)に対する車両10の速度(以下、車速と記す)、位置、加速度の少なくとも1つが挙げられる。本実施形態では、車両状態は車速であり、走行面や基準面は、路面100(図2参照)から構成される。
車両10は、GPS(グローバルポジショニングシステム)アンテナ20、ステレオカメラ21、及び車載制御装置25を備える。車載制御装置25は、信号処理部30、記憶部34、選択部35及び出力部40を備える。
GPSアンテナ20は、複数のGPS衛星が送信するGPS信号を受信する。GPSアンテナ20は、受信したGPS信号を信号処理部30に送信する。GPS信号には、GPSアンテナ20の現在の緯度、経度、GPS誤差及び測位時刻を取得可能な情報が含まれている。
図2及び図3に示すように、ステレオカメラ21は、車両10が停止又は走行している路面100を撮影する撮影機器である。ステレオカメラ21は、いわゆるパッシブ型であって、視差を再現するように車両10の幅方向にカメラ間隔LDを空けて配置された走行面撮影部としての第1カメラ22及び第2カメラ23を有している。第1カメラ22及び第2カメラ23は、路面100を撮影可能なカメラであり、例えばCCDカメラやCMOSカメラである。ステレオカメラ21は、第1カメラ22で第1カメラ画像を撮影し、第2カメラ23で第2カメラ画像を撮影する。ステレオカメラ21は、第1カメラ画像と第2カメラ画像とに重複して撮影された範囲に対する視差に基づいて撮影された路面100の奥行き(路面100とステレオカメラ21との間の距離)を計測し、計測された奥行き方向の情報を撮影画像に対応付ける。
走行中の車両10は、上下に振動するため、路面100とステレオカメラ21との間の距離が逐次変動する。そこで、路面100とステレオカメラ21との距離を逐次算出し、この算出した距離を撮影画像に対応させる。また、この距離に基づいて撮影範囲における1画素の長さが規定される。
第1カメラ22及び第2カメラ23は、路面100に対して略垂直方向から撮影可能なように車両10の後部に設けられ、車両10から略垂直方向下方となる路面100を撮影する。また、第1カメラ22及び第2カメラ23は、車両10の幅方向に所定のカメラ間隔LDを有している。また、第1カメラ22及び第2カメラ23は、それらの光軸が互いに平行になるように設けられている。ステレオカメラ21は、路面100の撮影画像である第1カメラ画像と第2カメラ画像とそれら画像に対応付けられている奥行き情報を信号処理部30(図1参照)に送信する。
図1に示すように、車載制御装置25は、CPU、ROM、RAM、その他の記憶装置からなる記憶部34を有するコンピュータを含み構成されている。車載制御装置25は、ROMや記憶部34に記憶されているプログラムをCPUで演算処理することで、所定の処理を行う。本実施形態では、ROMや記憶部34に記憶されているプログラムをCPUで演算処理することで、信号処理部30、選択部35、及び出力部40のそれぞれに必要とされる各演算処理を実行する。
記憶部34は、信号処理部30からのデータの読出しや、書込みが可能に構成されている。記憶部34は、信号処理部30で実行されるプログラムや、第1カメラ22や第2カメラ23に設定するパラメータの設定値や、ステレオカメラ21から送られた第1カメラ画像や第2カメラ画像等を記憶している。
信号処理部30は、車両状態として車速を算出するが、走行位置や加速度を算出してもよい。信号処理部30は、GPSアンテナ20から取得したGPS信号に基づいて車速を算出する第1の計測部としてのGPS車速算出部31と、ステレオカメラ21から取得した路面100の撮影画像に基づいて車速を算出する第2の計測部としての画像車速算出部32とを備える。本実施形態では、GPS信号に基づいて算出された車速が第1の状態としてのGPS車速であり、路面100の撮影画像に基づいて算出された車速が第2の状態としての画像車速である。
GPS車速算出部31は、GPS信号に基づいて車両10の現在位置を計測する。具体的にGPS車速算出部31は、車両10の位置情報として緯度及び経度を算出する。
また、GPS車速算出部31は、GPS信号に基づいて車速を計測する。本実施形態では、高精度、かつ、短周期に車速が計測される構成を採用している。すなわち、GPS車速算出部31は、GPS衛星から出力されている搬送波のドップラー効果から車速を求める。具体的には、GPS車速算出部31は、複数(4個以上)のGPS衛星からの搬送波周波数を測定し、測定した搬送波周波数から得られた車速を位置と同様の測位演算を施すことにより、車速を高精度、かつ、短時間に求める。例えば、GPS車速算出部31の車速の計測誤差は、時速30km以上の所定の計測条件下で、時速0.2km以下に抑えられる。また、衛星数が5〜7個で十分に整った環境であれば、時速30km以上で誤差が0.05%以下(時速0.015km以下)に抑えられる。
また、GPS車速算出部31は、GPS信号に基づいて車速を計測する。本実施形態では、高精度、かつ、短周期に車速が計測される構成を採用している。すなわち、GPS車速算出部31は、GPS衛星から出力されている搬送波のドップラー効果から車速を求める。具体的には、GPS車速算出部31は、複数(4個以上)のGPS衛星からの搬送波周波数を測定し、測定した搬送波周波数から得られた車速を位置と同様の測位演算を施すことにより、車速を高精度、かつ、短時間に求める。例えば、GPS車速算出部31の車速の計測誤差は、時速30km以上の所定の計測条件下で、時速0.2km以下に抑えられる。また、衛星数が5〜7個で十分に整った環境であれば、時速30km以上で誤差が0.05%以下(時速0.015km以下)に抑えられる。
なお、GPS信号に基づいて車速を計測する一態様としては、算出した緯度、経度及び経過時間に基づいて計測する技術もあるが、この技術によって計測される車速の精度は低く、更新間隔も長くなる傾向にある。
図4のグラフL2は、実際の車速[km/h]に対し、GPS車速に含まれる誤差分散を示す。グラフL2に示すように、GPS車速算出部31の計測するGPS車速に含まれる誤差分散は、実際の車速にかかわらずに略一定となる傾向にある。
画像車速算出部32は、路面100の撮影画像に基づいて車速を計測する。なお、車速は、第1カメラ画像、又は第2カメラ画像のいずれか一方の画像から算出することができるので、ここでは説明の便宜上、第1カメラ画像に基づいて車速を計測する場合について例示する。
画像車速算出部32は、例えばアスファルト舗装された路面100を、所定の時間間隔である撮影間隔を空けて第1カメラ22で撮影して得られた2枚の第1カメラ画像に含まれる同一領域をトラッキングすることで車速を算出する。すなわち、撮影間隔だけ時間の異なる2枚の第1カメラ画像において、同一領域が移動した距離と、2枚の第1カメラ画像の撮影間隔とから車速が計測される。例えば、撮影間隔の間に車両10が実際に移動した距離は、第1カメラ画像上での移動距離(画素数)と、式(1)に示される1画素当たりの実際の長さとの積によって求めることができる。
2つの撮影位置(間隔は既知)に2つのカメラが配置されているとき、注目している同一領域までの距離dは、2つのカメラがそれぞれ撮影した2つのカメラ画像から求められる。具体的には、2つのカメラ間の基線(単に2つのカメラ同士を結んだ線)の長さと、カメラ画像において注目している同一領域に対する一方のカメラの主光線の角度αと、他方のカメラの主光線の角度βとから基線に対する距離dを得る。また、カメラの画角をθ、画像一辺の画素数Qとすれば、前記基線に対する距離dとともに1画素当たりの実際の長さsは式(1)のように求められる。
s=2d/Q・tan(θ/2)…(1)
そして、車両10が実際に移動した距離Lは、第1カメラ画像上での移動量(画素数)Δpと、式(1)に示される1画素当たりの実際の長さsとの積(式(2))によって求められる。
そして、車両10が実際に移動した距離Lは、第1カメラ画像上での移動量(画素数)Δpと、式(1)に示される1画素当たりの実際の長さsとの積(式(2))によって求められる。
L=Δp・s…(2)
ところで、画像車速算出部32による車速計測では、2枚の第1カメラ画像の両方に同一領域が含まれる必要がある。車速が遅ければ、両方に含まれる同一領域は広く、逆に、車速が速ければ、両方に含まれる同一領域が狭くなる。換言すると、車速が速くなることに応じて2つの第1カメラ画像で重複する範囲が狭くなることで、車速の計測精度が低下する。そして、重複する範囲が生じなくなる程度に車速が速くなると車速を計測できなくなる。このように、計測精度を変える車速は、計測環境を示すパラメータの一例である。
ところで、画像車速算出部32による車速計測では、2枚の第1カメラ画像の両方に同一領域が含まれる必要がある。車速が遅ければ、両方に含まれる同一領域は広く、逆に、車速が速ければ、両方に含まれる同一領域が狭くなる。換言すると、車速が速くなることに応じて2つの第1カメラ画像で重複する範囲が狭くなることで、車速の計測精度が低下する。そして、重複する範囲が生じなくなる程度に車速が速くなると車速を計測できなくなる。このように、計測精度を変える車速は、計測環境を示すパラメータの一例である。
また、画像車速は、車両10の速度が高くなるにつれてモーションブラー(動きによって被写体の画像に生じるぶれ)が大きくなり、2つの第1カメラ画像間における観測位置の変位を算出する精度が低下し、その結果、速度計測誤差が大きくなる。
図4のグラフL1は、実際の車速[km/h]に対し、画像車速に含まれる誤差分散を示す。グラフL1に示すように、画像車速算出部32が算出する画像車速に含まれる誤差は、車速が遅ければ小さく、車速が速くなると大きくなる傾向を有している。
以上から、画像車速算出部32は、まず、ステレオカメラ21から測定対象までの距離dを逐次計測し、1画素に対応する長さを逐次算出する。次に、2つの第1カメラ画像の同一領域について、画像上での移動量を算出する。そして、画像車速算出部32は、第1カメラ画像上での移動量(画素数)Δpと、1画素当たりの実際の長さsとの積と、2つの第1カメラ画像の撮影間隔とに基づいて車速を計測する。
選択部35は、GPS車速算出部31が算出したGPS車速と、画像車速算出部32が算出した画像車速とのうち、高精度であると推定される車速を選択する。
図4に示すように、GPS車速に含まれる誤差は車速にかかわらずに略一定の傾向である(グラフL2)。一方、画像車速は、車速が速くなるに応じて誤差が大きくなり精度が低下する傾向を有している(グラフL1)。また、画像車速は、車速が速くなると計測できなくもなる(グラフL1の破線部分)。つまり、所定の選択条件としての速度閾値Vthまでは、画像車速の精度がGPS車速よりも高く、所定の速度閾値Vth以上では、GPS車速の精度が画像車速の精度よりも高くなる。車速の計測精度の大小関係は、「車速<速度閾値Vth」のとき「画像車速>GPS車速」であり、「車速≧速度閾値Vth」のとき「画像車速≦GPS車速」である。なお、速度閾値Vthは、例えば、「時速20km」以上「時速60km」以下にあることが好ましい。
図4に示すように、GPS車速に含まれる誤差は車速にかかわらずに略一定の傾向である(グラフL2)。一方、画像車速は、車速が速くなるに応じて誤差が大きくなり精度が低下する傾向を有している(グラフL1)。また、画像車速は、車速が速くなると計測できなくもなる(グラフL1の破線部分)。つまり、所定の選択条件としての速度閾値Vthまでは、画像車速の精度がGPS車速よりも高く、所定の速度閾値Vth以上では、GPS車速の精度が画像車速の精度よりも高くなる。車速の計測精度の大小関係は、「車速<速度閾値Vth」のとき「画像車速>GPS車速」であり、「車速≧速度閾値Vth」のとき「画像車速≦GPS車速」である。なお、速度閾値Vthは、例えば、「時速20km」以上「時速60km」以下にあることが好ましい。
よって、図4のグラフL3に示すように、選択部35は、車速が「車速<速度閾値Vth」であるとき、出力として「画像車速」を選択し、車速が「車速≧速度閾値Vth」であるとき、出力として「GPS車速」を選択する。これにより、車速が低速度域から高速度域のいずれの範囲にあっても車速が高精度で計測される。例えば、市街地のように停止と走行とが繰り返されて速度変化が激しい環境等であっても、車速の計測精度の低下が抑制されて、自動車の燃費計測における距離の計測が高い精度で行える。
なお、車速が速度閾値Vthの近傍にある場合、「画像車速」の計測精度、及び、「GPS車速」の計測精度は同程度である。よって、「速度閾値Vth」と比較される車速は、「GPS車速」であってもよいし、「画像車速」であってもよい。また、「速度閾値Vth」と比較される車速は、車両10の運転席に備え付けられている速度計であってもよい。
ここでは、選択部35は、「GPS車速」が選択されているとき、「速度閾値Vth」と「GPS車速」とを比較して、選択する速度を「GPS車速」のまま維持するか、「画像車速」に変更するかを定める。よって、「GPS車速」の計測精度が突然低下したり、計測できなくなったりするときには、出力用に選択される速度が「画像車速」や「速度計」に切り替えられる。「GPS車速」の計測精度の低下や、計測不能としては、林やビル等によるGPS信号の反射によるマルチパスが生じる走行環境や、高架下やトンネルなどGPS信号の受信が困難な走行環境である場合が挙げられる。このように、計測精度を変える走行環境は、計測環境の一例である。
また、選択部35は、「画像車速」が選択されているとき、「速度閾値Vth」と「画像車速」とを比較して、選択する速度を「画像車速」のまま維持するか、「GPS車速」に変更するかを定める。よって、「画像車速」の計測精度が突然低下したり、計測できなくなったりするときには、出力用に選択される速度が「GPS車速」や「速度計」に切り替えられる。「画像車速」の計測精度の低下や、計測不能としては、路面100が水面、雪面、砂面、土面、芝生、敷板等トラッキングできない状態にある場合、路面100の白線等のペイント部分である場合等が挙げられる。このように、計測精度を変える路面状態は、計測環境の一例である。
なお、運転席の「速度計」は、タイヤ径の変化や路面とタイヤとの間に生じるすべりの影響で計測精度は高くないが、車両10の走行に実用的な計測精度を有しているとともに、速度計測が不可能になることが少なく、「GPS車速」や「画像車速」に代えて一時的に利用することが可能である。逆に言えば、テストコース等であって、「GPS車速」及び「画像車速」の少なくとも一方による車速計測が確実に可能な走行環境であれば、「速度計」を利用しなくてもよい。
出力部40は、選択部35で選択された車速を外部へ出力する。出力部40から出力された車速は、車両10の実路走行における走行評価の計測結果として測定装置に記憶される。また、表示装置等を介して精度の高い車速を表示してもよい。
(作用)
図5を参照して、状態計測装置1の動作について説明する。状態計測装置1は、高精度な車速の計測を、状態計測装置1のスタートボタンが押されたこと、車両10がエンジン始動等、走行可能になると開始し、状態計測装置1のストップボタンが押されたり、車両10がエンジン停止等、走行不可能な状態になると終了する。なお、車速の計測開始時及び計測終了時、車速は任意の速度であるものとする。また、計測開始時、車両速度Vaには初期値として任意の速度が設定される。また、車載制御装置25は、「GPS車速」及び「画像車速」をそれぞれ一定周期で算出するとともに、算出された「GPS車速」及び「画像車速」は常に取得可能とする。
図5を参照して、状態計測装置1の動作について説明する。状態計測装置1は、高精度な車速の計測を、状態計測装置1のスタートボタンが押されたこと、車両10がエンジン始動等、走行可能になると開始し、状態計測装置1のストップボタンが押されたり、車両10がエンジン停止等、走行不可能な状態になると終了する。なお、車速の計測開始時及び計測終了時、車速は任意の速度であるものとする。また、計測開始時、車両速度Vaには初期値として任意の速度が設定される。また、車載制御装置25は、「GPS車速」及び「画像車速」をそれぞれ一定周期で算出するとともに、算出された「GPS車速」及び「画像車速」は常に取得可能とする。
車速の計測が開始されると、状態計測装置1は、車両速度Vaを検出する(ステップS10)。車両速度Vaは、計測開始直後は任意の速度が設定され、その後は、選択されている「GPS車速」又は「画像車速」で計測車速が設定される。
次に、選択部35は、車両速度Vaが速度閾値Vth以上であるか否かを判定する(ステップS11)。初回の判定以外であれば、速度閾値Vth未満からの加速時には「画像車速」から算出された車両速度Vaと速度閾値Vthとが比較される。逆に、速度閾値Vth以上の速度からの減速時には「GPS車速」から算出された車両速度Vaと速度閾値Vthとが比較される。
そして、車両速度Vaが速度閾値Vth以上と判定された場合(ステップS11でYES)、選択部35は、「GPS車速V2」を車両速度Vaに選択する(ステップS12)。一方、車両速度Vaが速度閾値Vth未満と判定された場合(ステップS11でNO)、選択部35は、「画像車速V1」を車両速度Vaに選択する(ステップS13)。すなわち、選択部35は、車両速度Vaの速度閾値Vthとの比較に基づいて、「GPS車速V2」と「画像車速V1」とのうちの計測誤差の少ない計測精度の高い車速を選択する。そして、いずれのステップの場合でもステップS14に進む。
「GPS車速V2」又は「画像車速V1」が選択されると、出力部40は、「GPS車速V2」及び「画像車速V1」の選択された一方を「車速Vc」として出力する(ステップS14)。すなわち、「GPS車速V2」及び「画像車速V1」のうちから選択された高精度で誤差の少ない車両速度Vaが「速度Vc」として出力される。
続いて、車載制御装置25は車速計測の終了条件が成立しているか否かを判定する(ステップS15)。車速計測の終了条件は、状態計測装置1のストップボタンが押されたこと、車両10のエンジンが停止されたことに基づいて判定される。車速計測の終了条件が成立しないと判定された場合(ステップS15でNO)、車載制御装置25は、状態計測装置1の処理をステップS10に戻して、ステップS10に続く処理を実行する。一方、車速計測の終了条件が成立すると判定された場合(ステップS15でYES)、状態計測装置1の車速を計測する処理が終了される。
以上説明したように、本実施形態によれば、以下に記載する効果が得られる。
(1)出力する計測結果を、速度閾値Vthに基づいて選択したGPS車速又は画像車速とすることができる。すなわち、速度閾値Vthに適合した車速が出力されるとともに、高精度である一方を選択することで、高精度な計測結果を連続して出力することができる。これにより、車両10の車速を連続的かつ高精度に計測できる。
(1)出力する計測結果を、速度閾値Vthに基づいて選択したGPS車速又は画像車速とすることができる。すなわち、速度閾値Vthに適合した車速が出力されるとともに、高精度である一方を選択することで、高精度な計測結果を連続して出力することができる。これにより、車両10の車速を連続的かつ高精度に計測できる。
(2)GPSアンテナ20からの信号に基づく状態であるGPS車速の計測精度と、路面100の画像に基づく状態である画像車速とのうち計測誤差が小さい等、高精度の状態が選択される。
(3)車両10の車速が速度閾値Vth未満であるとき、路面100の画像に基づく画像車速を選択し、速度閾値Vth以上であるときにはGPS信号に基づくGPS車速を選択する。すなわち、計測精度の高い計測結果を出力することができる。
(4)所定の撮影間隔を空けた路面100の画像のトラッキング等に基づいて車両10の速度や旋回の計測ができる。
(5)第1カメラ22又は第2カメラ23の路面100からの距離(高さ)が変動しても、当該変動を考慮することで、画像車速の計測精度の低下を抑制することができる。なお、高さはステレオカメラ21で計測ができる。
(5)第1カメラ22又は第2カメラ23の路面100からの距離(高さ)が変動しても、当該変動を考慮することで、画像車速の計測精度の低下を抑制することができる。なお、高さはステレオカメラ21で計測ができる。
(6)ステレオカメラ21の2つのカメラの撮影画像である第1カメラ画像と第2カメラ画像とに基づいてステレオカメラ21の高さを計測できる。路面100の撮影にステレオカメラ21を利用すれば第1カメラ22や第2カメラ23の高さ及び車両10の状態を簡単な構成で計測ができるようになる。
(その他の実施形態)
なお上記実施形態は、以下の態様で実施することもできる。
・IMU(慣性計測装置)から得られる車速を、GPS車速算出部31から得られる車速で補正する装置に画像車速を適用してもよい。
なお上記実施形態は、以下の態様で実施することもできる。
・IMU(慣性計測装置)から得られる車速を、GPS車速算出部31から得られる車速で補正する装置に画像車速を適用してもよい。
図6に示すように、状態計測装置1は、IMU24を備え、車載制御装置25は、IMU車速姿勢取得部36と、カルマンフィルタ37とを備えていてもよい。IMU24は、車両10の車速や姿勢を検出して車載制御装置25に出力する。IMU車速姿勢取得部36は、IMU24が出力した車両10の車速を取得する。カルマンフィルタ37は、IMU24からの車速と選択部35で選択されたGPS車速又は画像車速とが入力される。そして、カルマンフィルタ37は、IMU24からの車速がGPS車速又は画像車速で補正された出力を出力部40に出力する。すなわち、GPS車速又は画像車速を利用することで速度域に応じて有利な計測値を選択できるとともに、こうして選択された有利な計測値をIMU24からの車速に対する補正値とすることで車速の計測精度を高めることができる。
GPS車速は測地系における水平速度であるが、画像車速は車両座標系に対する対地速度である。また、IMU24は、車両座標系における物理量を算出する。よって、IMU24が計測した車速と、画像車速とを統合する場合、カルマンフィルタ37までに座標変換を必要としない等の相性のよさを有している。
・車載制御装置25は、信号処理部30や、選択部35や、出力部40の処理を実行するプログラムを有するパーソナルコンピュータ(PC)等であってもよい。
また、一旦、記憶部34に記憶したカメラ画像に基づいて事後的に車速を計測してもよい。
また、一旦、記憶部34に記憶したカメラ画像に基づいて事後的に車速を計測してもよい。
・上記実施形態では、ステレオカメラ21の光軸が路面100に対して略垂直である場合について示した。これに限らず、ステレオカメラは、路面の模様をトラッキング可能な程度に撮影ができれば、光軸が路面に対して略垂直ではなくてもよい。例えば、路面に対するカメラの光軸が、車両の前後方向に傾きを有していたり、車両の幅方向に傾きを有していてもよい。こうした傾きによる影響は、傾きを考慮した演算処理等により適切に処理可能であり、傾きを補正する演算により垂直である場合と同様に処理することができる。なお、画像車速の計測には、路面100に対する傾きが垂直(90°)に近いほうが非常に好ましいが、45°以上であれば好ましく、45°未満であっても数m以内の路面100が撮影可能であれば計測可能である。
例えば、図7には、バックモニタ用のカメラ21Cを画像車速の計測に使用する一例が記載されている。バックモニタ用のカメラ21Cは、車両10後方の駐車区画を認識することができる。また、障害物等を認識できるように撮影可能範囲が広角である。そして、カメラ21Cが撮影した画像のうち、路面100が鮮明に撮影されている範囲を取得することで、カメラ21Cの高さ、及び、画像車速を計測することができる。
・ステレオカメラ21は、車両10の後部に設置される場合に限られず、路面100の撮影が可能ならば車両10の前方、車両10の側方、車両10の下方の少なくとも1か所に設けられていてもよい。
例えば、図8(a)及び(b)に示すように、ステレオカメラ21Aを車両10の底面に取り付けてもよい。一般に、カメラは周囲の明るさの変化が急激であると、露光感度が調整できるまで適切な明度の画像を撮影できない。この点、車両10の底面は、車両10に覆われていることから相対的には暗いものの、明度の変化が相対的に小さく、露光感度の調整も少なくて済むため、走行環境によらず画像を適切な明度で撮影できる可能性が高められる。
・上記実施形態では、ステレオカメラ21の2つのカメラは車幅方向にカメラ間隔LDを空けて配置される場合について示したが、これに限らず、カメラの路面からの距離を計測できれば、カメラが車長方向など、車幅方向以外にカメラ間隔を空けて配置されてもよい。
例えば、図9(a)及び(b)に示すように、ステレオカメラ21Bを構成する2台のカメラを車両10の底面において車長方向にカメラ間隔を空けて取り付けてもよい。これによっても、三角測量の原理に基づいて路面に対するステレオカメラ21Bの高さを計測することができる。
・上記実施形態では、状態計測装置1は、車両10の状態を計測する場合について示したが、これに限らず、状態計測装置1は、路面や床面等を移動する移動体の速度等の状態を計測してもよい。
・上記実施形態では、状態計測装置1は、車速を計測する場合について示したが、さらに、車両等の姿勢を計測してもよい。例えば、第1カメラ画像と第2カメラ画像との重複する範囲に含まれている2点について路面や床面等の基準面との間の距離(高さ)を計測することにより、2点を結ぶ方向に対する車両の傾きを計測することができる。3点以上について路面や床面等の基準面との間の距離(高さ)を計測することにより車両の基準面に対する姿勢を計測することができる。
・上記実施形態では、撮影範囲に対応する距離がステレオカメラ21で計測される場合について示した。これに限らず、ステレオカメラの第1カメラ画像と第2カメラ画像とを得た車載制御装置の信号処理部で撮影範囲に対応する距離を計測してもよい。
・上記実施形態では、ステレオカメラ21は、パッシブ型である場合について示した。これに限らず、ステレオカメラは、レーザ発振器から照射したレーザ光をカメラで受光し、この受光したレーザ光の変位に基づいて物体の奥行情報である3次元形状を計測するアクティブ型であってもよい。
・上記実施形態では、ステレオカメラ21で路面100との距離(高さ)を計測する場合について示した。これに限らず、距離(高さ)は投光光学式の距離計、レーザ干渉変位計、超音波式の距離計等で計測してもよい。
・また、路面100との距離(高さ)を、1つのカメラが撮影した路面の時間的に連続な複数の画像に基づいて連続して複数点計測するようにしてもよい。1つのカメラは、ステレオカメラのうちのいずれか1つのカメラでもよいし、単眼カメラであってもよい。例えば、画像解析処理の1つであるビジュアルオドメトリ(Visual Odmetry)に基づいて動きのあるフレーム間でステレオカメラと同様の処理を行うことで高さを計測してもよい。
・ステレオカメラ21は、第1カメラ22及び第2カメラ23の光軸が平行である場合に限らず、2つのカメラの間の相対角度及びカメラ間隔等の相対関係が明確であれば、第1カメラ22及び第2カメラ23の光軸が平行ではなくてもよい。
・ステレオカメラ21は、第1カメラ22及び第2カメラ23の2つのカメラを有する場合に限られず、3つ以上のカメラを有していてもよい。
・上記実施形態では、路面100の第1カメラ画像に基づいて車速が算出される場合について示したが、これに限らず、第1カメラ画像に基づいて旋回等を計測してもよい。車両の直進方向に対して第1カメラ画像や第2カメラ画像の向きは予め分かっているので、同一領域の幅方向の位置の変化によって車両の旋回を計測することもできる。
・上記実施形態では、路面100の第1カメラ画像に基づいて車速が算出される場合について示したが、これに限らず、第1カメラ画像に基づいて旋回等を計測してもよい。車両の直進方向に対して第1カメラ画像や第2カメラ画像の向きは予め分かっているので、同一領域の幅方向の位置の変化によって車両の旋回を計測することもできる。
・上記実施形態では、所定の選択条件に応じて画像車速及びGPS車速のいずれか一方が選択される場合について示した。これに限らず、画像車速とGPS車速との選択によって切り替えられる選択状態に対応する値について、移行期間を設けてなだらかな変化となるようにしてもよい。例えば、画像車速とGPS車速との間で選択状態を切り替えたとき、所定の期間(移行期間)内に、切り替えで選択した選択状態(例えば、画像車速)の割合を順次増大させるとともに、切り替えで非選択にした選択状態(例えば、GPS車速)の割合を前記順次増大させることに応じて順次減少させるようにして選択状態を選択する。例えば、順次増大させる割合と、順次減少させる割合とを足して「1」となる重みとして設定するものとし、切り替え時は、順次増大させる割合の増加量に対応する減少量を順次減少させる割合から減少させるようにすればよい。
すなわち、一方により計測された状態と他方により計測された状態との間で計測された状態に相違があったとしても、その状態の相違を割合変化によって緩やかに変化させることができる。これにより、選択される状態が切り替えられたとき、連続に近いかたちで状態が変化されるようになる。
このとき、所定の選択条件を所定の期間を考慮して変更してもよい。所定の選択条件が、完全な切り替わりを想定している場合、所定の期間の終わりのタイミングで選択した状態が100%となるように、所定の選択条件を変更してもよい。例えば、画像車速からGPS車速に切り替えられるときの速度に対して、GPS車速から画像車速に切り替えられるときの速度を高くしてもよい。速度が高くなるときは、速度が低くなるときに比べて速度閾値Vthを低い速度に設定してもよい。
・上記実施形態では、ステレオカメラ21から路面100までの距離を逐次算出する場合について示した。これに限らず、路面からステレオカメラまでの高さの変動が小さいようであれば、1画素に対応する実際の長さを予め設定した長さとしてもよい。車両の振動が小さいのであれば、あらかじめ設定された1画素の長さを利用しても、一定の精度で車速を計測することができる。
・上記実施形態では、状態計測装置1は、車速を計測する場合について示したが、これに限らず、状態計測装置1は、車速に基づいて計測することのできる走行位置や加速度を計測してもよい。
・信号処理部30は、画像車速算出部32を外部装置として有し、この外部装置で計測した車速を取得してもよい。
・信号処理部30は、GPS車速算出部31を外部装置として有し、この外部装置で計測した車速を取得してもよい。例えば、外部装置としては、LC−8300(小型高感度速度計、株式会社小野測器社製)等が挙げられる。LC−8300は、時速30km以上等の所定の条件下で時速0.2km以内の高精度で車速を計測することができる。
・信号処理部30は、GPS車速算出部31を外部装置として有し、この外部装置で計測した車速を取得してもよい。例えば、外部装置としては、LC−8300(小型高感度速度計、株式会社小野測器社製)等が挙げられる。LC−8300は、時速30km以上等の所定の条件下で時速0.2km以内の高精度で車速を計測することができる。
・上記実施形態では、速度閾値Vthが「時速20km」以上、かつ、「時速60km」以下の範囲で予め定められている場合について示した。これに限らず、GPS車速の精度に応じて変化させてもよい。詳述すると、GPS車速の精度は、GPS信号を受信することのできるGPS衛星の数が多くなると高くなる。よって、GPS信号を受信できるGPS衛星の数が多いとき、GPS車速の選択範囲を広くするように速度閾値Vthを小さくし、逆に、GPS信号を受信できるGPS衛星の数が少ないとき、GPS車速の選択範囲を狭くするように速度閾値Vthを大きくしてもよい。また、GPS衛星の数が3個以下である場合、画像車速による計測が限界となる車速まで画像車速を選択するようにしてもよい。
1…状態計測装置、10…車両、20…GPSアンテナ、21,21A,21B…ステレオカメラ、21C…カメラ、22…第1カメラ、23…第2カメラ、25…車載制御装置、30…信号処理部、31…GPS車速算出部、32…画像車速算出部、34…記憶部、35…選択部、40…出力部、100…路面。
Claims (8)
- 移動体の状態を計測する状態計測装置であって、
GPS信号に基づいて前記移動体の状態を計測する第1の計測部と、
前記移動体が走行する走行面を撮影する走行面撮影部で撮影した前記走行面の画像に基づいて前記移動体の状態を計測する第2の計測部と、
所定の選択条件を用いて選択状態を選択する選択部であって、前記選択条件が、前記第1の計測部及び前記第2の計測部のうち一方の計測精度が他方の計測精度以上となる所定の計測環境において前記一方により計測された状態を前記選択状態とするための条件であり、前記選択条件が成立することに基づいて前記一方により計測された状態を前記選択状態とし、かつ、前記選択条件が不成立であることに基づいて前記他方により計測された状態を前記選択状態とする前記選択部とを備え、
前記選択部で選択した前記選択状態を計測結果として出力する
状態計測装置。 - 前記選択条件は、前記第1の計測部の計測精度が前記第2の計測部の計測精度以上となる所定の計測環境において前記第1の計測部により計測された状態を前記選択状態とするための条件を含む
請求項1に記載の状態計測装置。 - 前記第1の計測部が計測する状態が第1の状態であり、前記第2の計測部が計測する状態が第2の状態であって、前記第1の状態及び前記第2の状態はそれぞれ前記移動体の速度であり、
前記第1の状態又は前記第2の状態が速度閾値未満であるとき、前記第2の状態の計測精度が前記第1の状態の計測精度以上であるものとし、前記速度閾値以上であるとき、前記第2の状態の計測精度が前記第1の状態の計測精度以上ではないものとする
請求項2に記載の状態計測装置。 - 前記選択部は、前記一方により計測された状態と前記他方により計測された状態との間で前記選択状態を切り替えたとき、所定の期間内に、前記切り替えで選択した前記選択状態の割合を順次増大させるとともに、前記切り替えで非選択にした前記選択状態の割合を前記順次増大させることに応じて順次減少させることで前記選択状態を選択する
請求項1〜3のいずれか一項に記載の状態計測装置。 - 前記第2の計測部は、所定の撮影間隔を空けて前記走行面撮影部で撮影した前記走行面の画像を比較することに基づいて前記移動体の状態を計測する
請求項1〜4のいずれか一項に記載の状態計測装置。 - 前記走行面撮影部の前記走行面からの高さを計測する高さ計測部をさらに備え、
前記第2の計測部は、前記高さ計測部で計測した高さを考慮して前記移動体の状態を計測する
請求項1〜5のいずれか一項に記載の状態計測装置。 - 前記走行面撮影部は、前記走行面のうちの同一領域を含むように同時に撮影した2つのカメラの画像をそれぞれ取得し、
前記高さ計測部は、前記2つのカメラの画像にそれぞれ含まれる前記同一領域と前記2つのカメラの相対位置関係とに基づいて前記走行面からの高さを計測する
請求項6に記載の状態計測装置。 - 前記高さ計測部は、同一時点における前記走行面の複数の点のそれぞれの高さを計測する
請求項6又は7に記載の状態計測装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018097707A JP2019203732A (ja) | 2018-05-22 | 2018-05-22 | 状態計測装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018097707A JP2019203732A (ja) | 2018-05-22 | 2018-05-22 | 状態計測装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2019203732A true JP2019203732A (ja) | 2019-11-28 |
Family
ID=68726666
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018097707A Pending JP2019203732A (ja) | 2018-05-22 | 2018-05-22 | 状態計測装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2019203732A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023197928A1 (zh) * | 2022-04-14 | 2023-10-19 | 华为技术有限公司 | 多目测距方法及电子设备 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007278951A (ja) * | 2006-04-10 | 2007-10-25 | Alpine Electronics Inc | 車体挙動測定装置 |
JP2009270918A (ja) * | 2008-05-07 | 2009-11-19 | Stanley Electric Co Ltd | 車高センサ |
WO2016016959A1 (ja) * | 2014-07-30 | 2016-02-04 | 株式会社日立製作所 | 光学式速度計測装置および移動体 |
JP2017207379A (ja) * | 2016-05-19 | 2017-11-24 | 株式会社小野測器 | 速度測定装置 |
-
2018
- 2018-05-22 JP JP2018097707A patent/JP2019203732A/ja active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007278951A (ja) * | 2006-04-10 | 2007-10-25 | Alpine Electronics Inc | 車体挙動測定装置 |
JP2009270918A (ja) * | 2008-05-07 | 2009-11-19 | Stanley Electric Co Ltd | 車高センサ |
WO2016016959A1 (ja) * | 2014-07-30 | 2016-02-04 | 株式会社日立製作所 | 光学式速度計測装置および移動体 |
JP2017207379A (ja) * | 2016-05-19 | 2017-11-24 | 株式会社小野測器 | 速度測定装置 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023197928A1 (zh) * | 2022-04-14 | 2023-10-19 | 华为技术有限公司 | 多目测距方法及电子设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6880080B2 (ja) | ポイントクラウドに基づく姿勢推定を用いた車両ナビゲーションシステム | |
US10371530B2 (en) | Systems and methods for using a global positioning system velocity in visual-inertial odometry | |
US10267924B2 (en) | Systems and methods for using a sliding window of global positioning epochs in visual-inertial odometry | |
Schreiber et al. | Vehicle localization with tightly coupled GNSS and visual odometry | |
KR20180101717A (ko) | 맵들을 사용하는 차량 컴포넌트 제어 | |
JP5261842B2 (ja) | 移動体位置検出方法および移動体位置検出装置 | |
WO2012086401A1 (ja) | 運転支援装置 | |
JP4796676B2 (ja) | 車両上方視点画像表示装置 | |
JP5762131B2 (ja) | キャリブレーション装置、キャリブレーション装置のキャリブレーション方法およびキャリブレーションプログラム | |
US20080024607A1 (en) | Image display apparatus and method | |
EP3137850A1 (en) | Method and system for determining a position relative to a digital map | |
KR20210118119A (ko) | 차량 센서들 및 카메라 어레이들로부터의 구조화된 지도 데이터의 생성 | |
US20130322697A1 (en) | Speed Calculation of a Moving Object based on Image Data | |
KR101909953B1 (ko) | 라이다 센서를 이용한 차량의 자세 추정 방법 | |
WO2015186309A1 (ja) | 移動距離推定装置 | |
CN110398258B (zh) | 一种惯性导航系统的性能测试装置及方法 | |
JP4436632B2 (ja) | 位置誤差補正機能を持つ測量システム | |
JP4077385B2 (ja) | 画像処理を用いたグローバル座標取得装置 | |
KR101764222B1 (ko) | 고정밀 측위 시스템 및 방법 | |
US8723718B2 (en) | Method and device for determining aspect angle progression | |
KR100901312B1 (ko) | 자율이동플랫폼의 지형데이터 생성 장치, 이를 구비하는 자율이동플랫폼 및 자율이동플랫폼의 지형데이터 생성 방법 | |
JP2019203732A (ja) | 状態計測装置 | |
CN105137468A (zh) | 光电式gps盲区环境下车辆可持续导航数据采集装置及方法 | |
CN109309785B (zh) | 拍摄控制装置以及拍摄控制方法 | |
JP2007267231A (ja) | 車載カメラの光軸ずれ検出装置、車載カメラの光軸ずれ検出方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210107 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20211104 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211109 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20220426 |