JP2016012229A - Autonomous traveling apparatus, target determining apparatus, target determining method, and program - Google Patents
Autonomous traveling apparatus, target determining apparatus, target determining method, and program Download PDFInfo
- Publication number
- JP2016012229A JP2016012229A JP2014133353A JP2014133353A JP2016012229A JP 2016012229 A JP2016012229 A JP 2016012229A JP 2014133353 A JP2014133353 A JP 2014133353A JP 2014133353 A JP2014133353 A JP 2014133353A JP 2016012229 A JP2016012229 A JP 2016012229A
- Authority
- JP
- Japan
- Prior art keywords
- color
- image
- target
- correction
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 44
- 238000003384 imaging method Methods 0.000 claims description 44
- 239000003086 colorant Substances 0.000 abstract description 8
- 238000012937 correction Methods 0.000 description 130
- 239000011159 matrix material Substances 0.000 description 20
- 238000005286 illumination Methods 0.000 description 15
- 238000012545 processing Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 7
- 239000000284 extract Substances 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000007613 environmental effect Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Landscapes
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
Description
本発明は、自律走行装置、ターゲット判定装置、ターゲット判定方法およびプログラムに関する。 The present invention relates to an autonomous traveling device, a target determination device, a target determination method, and a program.
自律走行装置に関して幾つかの技術が提案されている。
例えば、特許文献１に記載の自律走行装置は、駆動輪と、モータと、装置周辺の環境地図を計測する距離センサと、距離センサからの計測信号に基づき、モータ制御信号を出力する制御器と、を備える。そして、制御器には所定の走行経路に対応した装置周辺の環境地図が予め記録されており、制御器は、距離センサからの距離信号に基づき装置周辺の環境地図を形成し、形成される環境地図と予め記憶された環境地図を貪欲法により比較解析し、この比較解析により自己位置状態を推定し、自己位置状態に基づき所定の走行経路上を走行すべくモータ制御信号を出力する。
特許文献１に記載の自律走行装置では、好適な方向により双方の環境地図を比較解析し、相互のずれ量を好適に把握することができる。
Several techniques have been proposed for autonomous traveling devices.
For example, an autonomous traveling device described in Patent Literature 1 includes a drive wheel, a motor, a distance sensor that measures an environmental map around the device, and a controller that outputs a motor control signal based on a measurement signal from the distance sensor. . An environment map around the device corresponding to a predetermined travel route is recorded in the controller in advance, and the controller forms an environment map around the device based on the distance signal from the distance sensor, and the environment formed A map and a prestored environment map are compared and analyzed by a greedy method, a self-position state is estimated by this comparison analysis, and a motor control signal is output to travel on a predetermined travel route based on the self-position state.
In the autonomous traveling device described in Patent Document 1, both environmental maps can be compared and analyzed in a suitable direction, and the amount of deviation between them can be grasped appropriately.
自律走行装置が、自律走行を行うために自らの位置を推定する方法として、特許文献１に示されている距離センサを用いる方向に加えて、あるいは代えて、自律走行装置自らに搭載したカメラで周囲の画像を撮像し、撮像画像を解析する方法がある。撮像画像の解析の際、撮像画像における色のデータ値は、照明条件の影響を受ける。例えば、自律走行装置が屋外を走行する場合、太陽の位置や天候によって色の見え具合が変化する。かかる色の見え具合の変化によって色を誤判定すると、自律走行装置が自らの位置を正しく推定できない可能性がある。そこで、自律走行装置が周囲の画像に加えて色パッチ（色標本）を撮像し、色パッチの撮像状態に応じて色補正を行うことにより、照明の変化に影響されないターゲットの検出が可能になり、それによって安定した位置推定が可能になると期待される。 As a method for the autonomous traveling device to estimate its own position for autonomous traveling, in addition to or instead of using the distance sensor shown in Patent Document 1, a camera mounted on the autonomous traveling device itself is used. There is a method of capturing a surrounding image and analyzing the captured image. When analyzing a captured image, color data values in the captured image are affected by illumination conditions. For example, when the autonomous traveling device travels outdoors, the color appearance changes depending on the position of the sun and the weather. If the color is erroneously determined based on such a change in color appearance, the autonomous mobile device may not be able to correctly estimate its own position. Therefore, the autonomous traveling device captures a color patch (color sample) in addition to the surrounding image, and performs color correction according to the color patch imaging state, thereby enabling detection of a target that is not affected by changes in illumination. This is expected to enable stable position estimation.
本発明は、照明条件の影響を受ける環境下でも、より高精度に色の判定を行うことができる自律走行装置、ターゲット判定装置、ターゲット判定方法およびプログラムを提供する。 The present invention provides an autonomous traveling device, a target determination device, a target determination method, and a program capable of performing color determination with higher accuracy even under an environment affected by illumination conditions.
本発明の第１の態様によれば、自律走行装置は、記憶部と、自位置推定装置と、走行機構と、走行制御部とを具備する自律走行装置であって、前記記憶部は、所定のターゲットの位置情報を記憶し、前記自位置推定装置は、前記自律走行装置の周囲の画像を撮像する撮像装置と、色標本と、前記色標本の撮像画像における色情報を用いて、前記周囲の画像に前記ターゲットの像が含まれるか否かを判定する判定部と、前記判定部が、前記周囲の画像に前記ターゲットの像が含まれると判定した場合、前記ターゲットの位置情報に基づいて前記車両の位置を推定する位置推定部と、を具備する。 According to the first aspect of the present invention, the autonomous traveling device is an autonomous traveling device including a storage unit, a self-position estimation device, a traveling mechanism, and a traveling control unit, wherein the storage unit is a predetermined unit. The position information of the target is stored, and the self-position estimation device uses the imaging device that captures an image around the autonomous traveling device, a color sample, and color information in the captured image of the color sample, A determination unit that determines whether the target image is included in the image of the target, and the determination unit determines that the target image is included in the surrounding image, based on the position information of the target A position estimation unit that estimates the position of the vehicle.
前記判定部は、前記色標本の像に設定されている複数の領域のいずれかを選択し、選択した領域における色情報を用いて、前記周囲の画像にターゲットの像が含まれるか否かを判定し、前記走行制御部は、前記位置推定部が推定した前記車両の位置に基づいて前記走行機構を制御して前記自律走行装置を走行させるようにしてもよい。 The determination unit selects one of a plurality of areas set in the image of the color sample, and uses color information in the selected area to determine whether the target image is included in the surrounding image. The traveling control unit may determine and control the traveling mechanism based on the position of the vehicle estimated by the position estimating unit to cause the autonomous traveling device to travel.
前記撮像装置は、前記複数の領域を含む前記色標本の像を前記周囲の画像に含んで撮像可能な位置に設置された全方位カメラを具備するようにしてもよい。 The imaging device may include an omnidirectional camera installed at a position where the surrounding image includes the image of the color sample including the plurality of regions and can be captured.
本発明の第２の態様によれば、ターゲット判定装置は、周囲の画像を撮像する撮像装置と、色標本と、前記色標本の撮像画像における色情報を用いて、前記周囲の画像にターゲットの像が含まれるか否かを判定する判定部と、を具備する。 According to the second aspect of the present invention, the target determination device uses an imaging device that captures a surrounding image, a color sample, and color information in the captured image of the color sample, and the target image is detected on the surrounding image. And a determination unit that determines whether or not an image is included.
本発明の第３の態様によれば、ターゲット判定方法は、周囲の画像を撮像する撮像装置と、色標本とを具備するターゲット判定装置のターゲット判定方法であって、前記色標本の撮像画像における色情報を用いて、前記周囲の画像にターゲットの像が含まれるか否かを判定する判定ステップと、を有する。 According to a third aspect of the present invention, a target determination method is a target determination method of a target determination device that includes an imaging device that captures a surrounding image and a color sample, in the captured image of the color sample. A determination step of determining whether or not the surrounding image includes a target image using color information.
本発明の第４の態様によれば、プログラムは、周囲の画像を撮像する撮像装置と、色標本とを具備するターゲット判定装置の具備するコンピュータに、前記色標本の撮像画像における色情報を用いて、前記周囲の画像にターゲットの像が含まれるか否かを判定する判定ステップを実行させるためのプログラムである。 According to the fourth aspect of the present invention, the program uses the color information in the captured image of the color sample in a computer included in the target determination device including the imaging device that captures the surrounding image and the color sample. A program for executing a determination step of determining whether or not the surrounding image includes a target image.
上記した自律走行装置、ターゲット判定装置、ターゲット判定方法およびプログラムによれば、照明条件の影響を受ける環境下でも、より高精度に色の判定を行うことができる。 According to the above-described autonomous traveling device, target determination device, target determination method, and program, it is possible to perform color determination with higher accuracy even under an environment affected by illumination conditions.
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
なお、明細書本文において、ベクトルを示す矢印の表記や、行列ないしベクトルを示す太字表記を省略する。
Hereinafter, the present invention will be described through embodiments of the invention, but the following embodiments do not limit the invention according to the claims. In addition, not all the combinations of features described in the embodiments are essential for the solving means of the invention.
In the specification text, notation of an arrow indicating a vector and bold notation indicating a matrix or a vector are omitted.
図１は、本発明の一実施形態における車両の機能構成を示す概略ブロック図である。同図において、車両１は、車両本体１００と、モータ１１１および１２１と、回転軸１１２、１２２、１３２および１４２と、車輪１１３、１２３、１３３および１４３と、固定部１３１および１４１と、撮像装置１５０と、色補正用パッチ１６１および１６２と、記憶部１８０と、制御部１９０とを具備する。制御部１９０は、判定部１９１と、位置推定部１９３と、走行制御部１９４とを具備する。判定部１９１は、補正部１９２を具備する。 FIG. 1 is a schematic block diagram showing a functional configuration of a vehicle in one embodiment of the present invention. In the figure, a vehicle 1 includes a vehicle main body 100, motors 111 and 121, rotating shafts 112, 122, 132 and 142, wheels 113, 123, 133 and 143, fixing portions 131 and 141, and an imaging device 150. And color correction patches 161 and 162, a storage unit 180, and a control unit 190. The control unit 190 includes a determination unit 191, a position estimation unit 193, and a travel control unit 194. The determination unit 191 includes a correction unit 192.
車両１は、車両１自らの周囲の画像を撮像し、得られた画像から車両１自らの位置を推定して自律走行する。車両１は、自律走行装置の例に該当する。
モータ１１１および１２１と、固定部１３１および１４１と、回転軸１１２、１２２、１３２および１４２と、車輪１１３、１２３、１３３および１４３との組み合わせにて走行機構１０を構成し、走行制御部１９４の制御に従って車両１を走行させる。
具体的には、モータ１１１および１２１は、それぞれ車両本体１００に固定して設けられており、回転軸１１２および１２２を介して車輪１１３および１２３を回転させる。車輪１１３および１２３が回転することで、車両１を走行させる。また、車輪１１３と車輪１２３とが異なる回転速度で回転することで、車両１の進行方向を変化させる。
また、固定部１３１および１４１は、それぞれ車両本体１００に固定して設けられており、回転軸１３２および１４２を介して車輪１３３および１４３を回転自在に支持している。車両１の走行に応じて車輪１３３および１４３が回転する。
The vehicle 1 captures an image of the surroundings of the vehicle 1 and autonomously travels by estimating the position of the vehicle 1 from the obtained image. The vehicle 1 corresponds to an example of an autonomous traveling device.
The traveling mechanism 10 is configured by a combination of the motors 111 and 121, the fixed portions 131 and 141, the rotating shafts 112, 122, 132, and 142, and the wheels 113, 123, 133, and 143, and is controlled by the traveling control unit 194. The vehicle 1 is run according to the following.
Specifically, the motors 111 and 121 are fixed to the vehicle main body 100 and rotate the wheels 113 and 123 via the rotation shafts 112 and 122, respectively. As the wheels 113 and 123 rotate, the vehicle 1 travels. Further, the traveling direction of the vehicle 1 is changed by the wheels 113 and the wheels 123 rotating at different rotational speeds.
The fixing portions 131 and 141 are respectively fixed to the vehicle main body 100 and support the wheels 133 and 143 through the rotation shafts 132 and 142 so as to be rotatable. As the vehicle 1 travels, the wheels 133 and 143 rotate.
撮像装置１５０は、車両１の周囲の画像として撮像装置１５０自らの周囲の画像を撮像する。具体的には、撮像装置１５０は、複数の領域を含む色標本の像を周囲の画像に含んで撮像可能な位置に設置された全方位カメラとして構成される。当該全方位カメラは、車両１の上部に下向きに設置され、当該全方位カメラの撮像画像には、車両本体１００の像が含まれる。車両本体１００の上側には色補正用パッチ１６１および１６２が設置されており、当該全方位カメラの撮像画像には、色補正用パッチ１６１および１６２の像も含まれる。 The imaging device 150 captures an image around the imaging device 150 itself as an image around the vehicle 1. Specifically, the imaging device 150 is configured as an omnidirectional camera installed at a position where an image of a color sample including a plurality of regions is included in a surrounding image and can be captured. The omnidirectional camera is installed downward on the top of the vehicle 1, and the captured image of the omnidirectional camera includes an image of the vehicle main body 100. Color correction patches 161 and 162 are installed on the upper side of the vehicle main body 100, and the images of the color correction patches 161 and 162 are included in the captured image of the omnidirectional camera.
ここでいう全方位カメラとは、周囲３６０度（°）を撮像可能なカメラである。全方位カメラは、例えば魚眼レンズを具備して広い画角を撮像することで、周囲３６０度を撮像する。
色補正用パッチ１６１および１６２は、いずれも単色の色標本である。特に、色補正用パッチ１６１の色と色補正用パッチ１６２の色とは同じである。色補正用パッチ１６１および１６２は、例えば紫色の板（プレート）として構成される。以下では、色補正用パッチ１６１と１６２とを総称して色補正用パッチ１６０と表記する。
The omnidirectional camera here is a camera that can image 360 degrees (°). An omnidirectional camera, for example, includes a fisheye lens and images a wide field angle, thereby imaging 360 degrees around.
Each of the color correction patches 161 and 162 is a single color sample. In particular, the color of the color correction patch 161 and the color of the color correction patch 162 are the same. The color correction patches 161 and 162 are configured as, for example, purple plates. Hereinafter, the color correction patches 161 and 162 are collectively referred to as a color correction patch 160.
記憶部１８０は、車両１が具備する記憶デバイスにて構成され、各種情報を記憶する。特に、記憶部１８０は、所定のターゲットの位置情報を記憶する。
ここでいうターゲットとは、位置推定部１９３が車両１の位置を推定する際に、位置の基準となる物である。
制御部１９０は、車両１の各部を制御する。特に、制御部１９０は、撮像装置１５０の撮像画像を用いて車両１の位置を推定し、推定結果に基づいて走行機構１０を制御して車両１を走行させる。
The memory | storage part 180 is comprised with the memory | storage device with which the vehicle 1 comprises, and memorize | stores various information. In particular, the storage unit 180 stores position information of a predetermined target.
The target here is an object that serves as a reference for the position when the position estimating unit 193 estimates the position of the vehicle 1.
The control unit 190 controls each unit of the vehicle 1. In particular, the control unit 190 estimates the position of the vehicle 1 using a captured image of the imaging device 150 and controls the traveling mechanism 10 based on the estimation result to cause the vehicle 1 to travel.
判定部１９１は、色標本（色補正用パッチ１６０）の撮像画像における色情報を用いて、周囲の画像（撮像装置１５０の撮像画像）にターゲットの像が含まれるか否かを判定する。
より具体的には、判定部１９１において補正部１９２は、撮像装置１５０の撮像画像に含まれる色補正用パッチ１６１または１６２の像における色情報に基づいて、周囲の画像（撮像装置１５０の撮像画像）における色情報を補正する。特に、補正部１９２は、撮像装置１５０の撮像画像に含まれる色補正用パッチ１６１の像の領域または色補正用パッチ１６２の像の領域のうち、領域内の色のばらつきの少ない方を選択する。そして、補正部１９２は、選択した領域における色情報に基づいて、周囲の画像における色情報を補正する。
The determination unit 191 uses the color information in the captured image of the color sample (color correction patch 160) to determine whether the surrounding image (captured image of the imaging device 150) includes the target image.
More specifically, in the determination unit 191, the correction unit 192 includes a surrounding image (a captured image of the imaging device 150) based on color information in the image of the color correction patch 161 or 162 included in the captured image of the imaging device 150. ) Is corrected. In particular, the correction unit 192 selects an image area of the color correction patch 161 or an image area of the color correction patch 162 included in the captured image of the imaging apparatus 150 that has less color variation in the area. . Then, the correction unit 192 corrects the color information in the surrounding images based on the color information in the selected area.
そして、判定部１９１は、補正部１９２が補正した色情報を用いて、周囲の画像にターゲットの像が含まれるか否かを判定する。
補正部１９２は、撮像装置１５０の撮像画像に含まれる色補正用パッチ１６１の像の領域または色補正用パッチ１６２の像の領域のうち、領域内の色のばらつきの少ない方を選択することで、周囲の画像における色情報をより正確に補正することができる。これにより、判定部１９１は、周囲の画像にターゲットの像が含まれるか否かをより正確に判定することができる。
Then, the determination unit 191 determines whether the surrounding image includes the target image using the color information corrected by the correction unit 192.
The correcting unit 192 selects the image area of the color correction patch 161 or the image area of the color correction patch 162 included in the captured image of the image capturing apparatus 150, which has less color variation in the area. The color information in the surrounding image can be corrected more accurately. Thereby, the determination unit 191 can determine more accurately whether or not the surrounding image includes the target image.
ここで、色補正用パッチ１６０の一部に影がかかっているなど、色補正用パッチ１６０の像の領域内の色のばらつきが大きい場合、補正部１９２が、当該色のばらつきに影響されると、サンプルの色を正しく把握できず補正の精度が低下してしまう可能性がある。さらに、当該補正の精度の低下により、判定部１９１が、周囲の画像にターゲットの像が含まれるか否かを判定する精度が低下してしまう可能性がある。
これに対して、補正部１９２が、色補正用パッチ１６１の像の領域または色補正用パッチ１６２の像の領域のうち、領域内の色のばらつきの少ない方を選択することで、色のばらつきの影響を低減させ、周囲の画像における色情報をより正確に補正することができる。これにより、判定部１９１は、周囲の画像にターゲットの像が含まれるか否かをより正確に判定することができる。
撮像装置１５０と、色補正用パッチ１６１および１６２と、判定部１９１との組み合わせにて、ターゲット判定装置２０を構成する。
Here, when the color variation in the image area of the color correction patch 160 is large, such as a part of the color correction patch 160 is shaded, the correction unit 192 is affected by the color variation. In this case, the color of the sample cannot be grasped correctly, and the correction accuracy may be reduced. Furthermore, the accuracy of determining whether or not the determination unit 191 includes the target image in the surrounding image may decrease due to the decrease in the accuracy of the correction.
On the other hand, the correction unit 192 selects one of the image area of the color correction patch 161 or the image area of the color correction patch 162 to reduce the color variation. The color information in the surrounding image can be corrected more accurately. Thereby, the determination unit 191 can determine more accurately whether or not the surrounding image includes the target image.
The target determination device 20 is configured by a combination of the imaging device 150, the color correction patches 161 and 162, and the determination unit 191.
位置推定部１９３は、判定部１９１が、周囲の画像にターゲットの像が含まれると判定した場合、ターゲットの位置情報に基づいて車両の位置を推定する。
撮像装置１５０と、色補正用パッチ１６１および１６２と、記憶部１８０と、判定部１９１と、走行制御部１９４との組み合わせにて、自車位置推定装置３０を構成する。
走行制御部１９４は、位置推定部１９３が推定した車両１の位置に基づいて走行機構１０を制御して車両１を走行させる。
When the determination unit 191 determines that the target image is included in the surrounding images, the position estimation unit 193 estimates the position of the vehicle based on the target position information.
The vehicle position estimation device 30 is configured by a combination of the imaging device 150, the color correction patches 161 and 162, the storage unit 180, the determination unit 191, and the travel control unit 194.
The travel control unit 194 controls the travel mechanism 10 based on the position of the vehicle 1 estimated by the position estimation unit 193 to cause the vehicle 1 to travel.
図２は、撮像装置１５０が撮像する周囲の画像の例を示す説明図である。同図に示される周囲の画像には、車両本体１００の像と、色補正用パッチ１６１および１６２の像と、ターゲットＴＧの像とが含まれている。
このように、車両１では、周囲の画像と色補正用パッチ１６０の像とを同じカメラ（撮像装置１５０）で撮像する。仮に、周囲の画像と色補正用パッチ１６０の像とが異なるカメラで撮像される場合、カメラ毎に特性が異なると、色補正用パッチ１６０の像に基づいて周囲の画像に対する補正量を決定した場合に、カメラの特性の違いが反映されず、補正の精度が低下してしまう可能性がある。これに対し、車両１では、周囲の画像と色補正用パッチ１６０の像とを同じカメラ（撮像装置１５０）で撮像するので、カメラの特性の違いは生じず、より高精度に補正を行い得る。
FIG. 2 is an explanatory diagram illustrating an example of a surrounding image captured by the imaging device 150. The surrounding images shown in the figure include an image of the vehicle main body 100, images of the color correction patches 161 and 162, and an image of the target TG.
Thus, in the vehicle 1, the surrounding image and the image of the color correction patch 160 are imaged by the same camera (imaging device 150). If the surrounding image and the image of the color correction patch 160 are captured by different cameras, the correction amount for the surrounding image is determined based on the image of the color correction patch 160 if the characteristics of each camera are different. In this case, the difference in camera characteristics is not reflected, and the correction accuracy may be reduced. On the other hand, in the vehicle 1, since the surrounding image and the image of the color correction patch 160 are imaged by the same camera (imaging device 150), the difference in camera characteristics does not occur and correction can be performed with higher accuracy. .
但し、車両１が複数のカメラを備え、周囲の画像と色補正用パッチ１６０の像とを異なるカメラで撮像するようにしてもよい。この場合、カメラの特性の違い等を補正することで、色補正用パッチ１６０の像に基づく周囲の画像に対する補正を、より高精度に行うことができる。カメラの特性の違い等の補正は、例えば、複数のカメラが同じ被写体を同じ条件で撮影して得られた画像の差分から、予め補正量を求めておいて行う。
一方、周囲の画像と色補正用パッチ１６０の像とを同じカメラで撮像する場合、カメラの特性の違いが生じないのでカメラの特性の違いを補正する必要がない。この点において、色補正用パッチ１６０の像に基づく周囲の画像に対する補正を、より容易に行うことができる。
However, the vehicle 1 may include a plurality of cameras, and the surrounding image and the image of the color correction patch 160 may be captured by different cameras. In this case, by correcting differences in camera characteristics and the like, it is possible to perform correction on surrounding images based on the image of the color correction patch 160 with higher accuracy. For example, correction of differences in camera characteristics is performed by obtaining a correction amount in advance from a difference between images obtained by photographing a plurality of cameras with the same subject under the same conditions.
On the other hand, when the surrounding image and the image of the color correction patch 160 are picked up by the same camera, there is no need to correct the difference in camera characteristics because no difference in camera characteristics occurs. In this respect, it is possible to more easily correct the surrounding image based on the image of the color correction patch 160.
図３は、カラーチャートの例を示す説明図である。同図に示すカラーチャートは、横に３段、縦に６列に分割されており、合計１８個の領域に分割されている。領域毎に異なる色が付されており、カラーチャートには全部で１８個の異なる色が付されている。以下では、カラーチャートにおける各領域を「色パッチ」と称する。
色パッチの各々は、色のサンプルを示しており、カラーチャートは、補正部１９２が色の補正を行うための固有ベクトルや係数の算出に用いられる。
なお、カラーチャートにおける色パッチの数は、図３の例における１８に限らず任意である。補正部１９２が行う補正の精度を高める観点から、色パッチの数が、ある程度多いことが好ましい。
FIG. 3 is an explanatory diagram illustrating an example of a color chart. The color chart shown in the figure is divided into three rows horizontally and six columns vertically, and is divided into a total of 18 areas. A different color is assigned to each region, and a total of 18 different colors are assigned to the color chart. Hereinafter, each region in the color chart is referred to as a “color patch”.
Each of the color patches represents a color sample, and the color chart is used to calculate eigenvectors and coefficients for the correction unit 192 to correct the color.
The number of color patches in the color chart is not limited to 18 in the example of FIG. From the viewpoint of increasing the accuracy of correction performed by the correction unit 192, the number of color patches is preferably large to some extent.
次に、補正部１９２が色の補正を行う処理、および、当該補正のための準備作業の例について説明する。但し、判定部１９１が、撮像画像にターゲットの像が含まれているか否かを判定する処理は、以下で説明する処理を用いるものに限らない。例えば、判定部１９１が、ターゲットと同じ色の色補正用パッチ１６０を具備し、撮像画像に含まれるターゲットの候補の色と色補正用パッチ１６０の色とが同じか否かを判定することで、撮像画像にターゲットの像が含まれているか否かを判定するようにしてもよい。 Next, a description will be given of an example of processing for correcting the color by the correction unit 192 and preparation work for the correction. However, the process in which the determination unit 191 determines whether the captured image includes the target image is not limited to the process described below. For example, the determination unit 191 includes the color correction patch 160 having the same color as the target, and determines whether or not the target candidate color included in the captured image is the same as the color of the color correction patch 160. Further, it may be determined whether or not the captured image includes a target image.
図４は、補正部１９２が行う補正に用いられる固有ベクトルを求める手順の例を示すフローチャートである。以下では、人（作業者）が同図の処理を行う場合を例に説明するが、車両１が自動で同図の処理を行うようにしてもよい。
図４の処理において、作業者は、まず、様々な照明条件でカラーチャートを撮像する（ステップＳ１０１）。例えば、作業者は、撮像装置１５０、または、撮像装置１５０と同じ特性のカメラを用いて、様々な時刻および様々な天候による照明条件のもとで、カラーチャートを撮像する。
以下では、ステップＳ１０１において３０００回の撮像を行った場合を例に説明するが、ステップＳ１０１における撮像回数は任意である。補正部１９２が行う補正の精度を高める観点から、撮像回数が、ある程度多いことが好ましい。
次に作業者は、ステップＳ１０１で得られた撮像画像の各々について、式（１）に基づいて、ＲＧＢの色データを（ｒ，ｇ）の形式による色データに変換する（ステップＳ１０２）。
FIG. 4 is a flowchart illustrating an example of a procedure for obtaining an eigenvector used for correction performed by the correction unit 192. In the following, a case where a person (worker) performs the process shown in the figure will be described as an example. However, the vehicle 1 may automatically perform the process shown in the figure.
In the process of FIG. 4, the worker first images a color chart under various illumination conditions (step S101). For example, the operator uses the imaging device 150 or a camera having the same characteristics as the imaging device 150 to image the color chart under lighting conditions at various times and various weathers.
In the following, a case will be described as an example where 3000 times of imaging are performed in step S101, but the number of times of imaging in step S101 is arbitrary. From the viewpoint of increasing the accuracy of the correction performed by the correction unit 192, it is preferable that the number of times of imaging is large to some extent.
Next, for each of the captured images obtained in step S101, the worker converts RGB color data into color data in the format (r, g) based on equation (1) (step S102).
ここで、Ｒ、Ｇ、Ｂは、それぞれ、変換前の画像データにおける赤、緑、青の画素値を示す。（Ｒ，Ｇ，Ｂ）の情報は明度情報を含み、照明強度やカメラのゲインの変化などに対して不安定であるので、明度を含まない色情報である（ｒ，ｇ）に変換した情報を用いる。
次に、作業者は、撮像画像毎かつ色パッチ毎に、色の平均値（ｒ、ｇ各々の平均値）を算出する（ステップＳ１０３）。ステップＳ１０３で得られるｒの平均値をｒｉｊと表記し、ｇの平均値をｇｉｊと表記する。ここで、ｉは、１≦ｉ≦１８の正整数であり、色パッチを識別する番号を示す。また、ｊは、１≦ｊ≦３０００の正整数であり、撮像画像を識別する番号を示す。
Here, R, G, and B respectively indicate red, green, and blue pixel values in the image data before conversion. Since the information of (R, G, B) includes lightness information and is unstable with respect to changes in illumination intensity, camera gain, etc., information converted into (r, g) color information that does not include lightness Is used.
Next, the operator calculates an average value of colors (average values of r and g) for each captured image and for each color patch (step S103). The average value of r obtained in step S103 is expressed as r ij, and the average value of g is expressed as g ij . Here, i is a positive integer of 1 ≦ i ≦ 18, and indicates a number for identifying a color patch. Moreover, j is a positive integer of 1 ≦ j ≦ 3000, and indicates a number for identifying the captured image.
次に、作業者は、３０００枚の撮像画像全体における色パッチ毎に色の平均値（ｒ、ｇ各々の平均値）を算出する（ステップＳ１０４）。ステップＳ１０４で得られるｒの平均値をｒ（バー）ｉと表記し、ｇの平均値をｇ（バー）ｉと表記する。ここで、ｉは、１≦ｉ≦１８の正整数であり、色パッチを識別する番号を示す。 Next, the worker calculates an average value of colors (average values of r and g) for each color patch in the entire 3000 captured images (step S104). The average value of r obtained in step S104 is expressed as r (bar) i, and the average value of g is expressed as g (bar) i . Here, i is a positive integer of 1 ≦ i ≦ 18, and indicates a number for identifying a color patch.
次に、作業者は、ステップＳ１０３で得られた撮像画像毎かつ色パッチ毎の平均値と、ステップＳ１０４で得られた撮像画像全体における色パッチ毎の平均値との差を算出する（ステップＳ１０５）。ステップＳ１０５で算出される差は、式（２）のように表記される。 Next, the operator calculates the difference between the average value for each captured image and for each color patch obtained in step S103 and the average value for each color patch in the entire captured image obtained in step S104 (step S105). ). The difference calculated in step S105 is expressed as equation (2).
ここで、ｄｉｒは、ｒについての差を示し、ｄｉｇは、ｇについての差を示す。また、ｄｉｒとｄｉｇとを纏めてｄｉと表記している。なお、式（２）では、撮像装置を識別する番号ｊの表記を省略している。式（２）におけるｒｉ、ｇｉは、それぞれ、上記のｒｉｊ、ｇｉｊを表している。
次に、作業者は、ステップＳ１０５で得られた差を、式（３）のように行列にする（ステップＳ１０６）。
Here, d ir represents the difference for r, and d ig represents the difference for g. In addition, d ir and d ig are collectively expressed as d i . In Expression (2), the notation of the number j for identifying the imaging device is omitted. In formula (2), r i and g i represent the above r ij and g ij , respectively.
Next, an operator makes the difference obtained by step S105 into a matrix like Formula (3) (step S106).
ここで、ｎは、ステップＳ１０１で得られた撮像画像の数を示す。本実施形態で説明する例では、ｎ＝３０００である。
次に、作業者は、ステップＳ１０６で得られた行列の分散共分散行列を算出し（ステップＳ１０７）、得られた分散共分散行列の固有値および固有ベクトルを算出する（ステップＳ１０８）。
１８色それぞれの色変動は、式（４）に示すように、固有ベクトルの線形結合で表される。
Here, n indicates the number of captured images obtained in step S101. In the example described in the present embodiment, n = 3000.
Next, the operator calculates the variance-covariance matrix of the matrix obtained in step S106 (step S107), and calculates the eigenvalues and eigenvectors of the obtained variance-covariance matrix (step S108).
The color variation of each of the 18 colors is represented by a linear combination of eigenvectors as shown in Equation (4).
ここで、ｍは、色パッチの数×２の整数であり、本実施形態で説明する例では、ｍ＝１８×２＝３６である。ｍが色パッチの数の２倍となるのは、各色パッチにはｒ、ｇの２つの成分が存在するためである。
また、ｄｉｒは、番号ｉで識別されるパッチの、ｒについての色変動を示す。ｄｉｇは、番号ｉで識別されるパッチの、ｇについての色変動を示す。ｄｉｒ、ｄｉｇを纏めて、列ベクトルｄで示している。なお、明細書本文の記載において、ベクトルを示す矢印の表記や、ベクトルまたは行列を示す太字表記を省略する。
また、ｅｋ（ｋは１≦ｋ≦ｍの正整数）は、ステップＳ１０８で得られた固有ベクトルである。ａｋ（ｋは１≦ｋ≦ｍの正整数）は、係数である。この係数ａｋの値は、後述するように色パッチの色変動を測定することによって求められる。
Here, m is an integer of the number of color patches × 2, and m = 18 × 2 = 36 in the example described in the present embodiment. The reason why m is twice the number of color patches is that there are two components r and g in each color patch.
D ir indicates the color variation with respect to r of the patch identified by the number i. d ig indicates the color variation for g of the patch identified by the number i. d ir and d ig are collectively shown as a column vector d. Note that in the description of the specification text, the notation of an arrow indicating a vector and the bold notation indicating a vector or a matrix are omitted.
Further, e k (k is a positive integer satisfying 1 ≦ k ≦ m) is the eigenvector obtained in step S108. a k (k is a positive integer satisfying 1 ≦ k ≦ m) is a coefficient. The value of the coefficient ak is obtained by measuring the color variation of the color patch as will be described later.
次に、作業者は、次に説明する図５の処理により、使用する色パッチを選択する（ステップＳ１０９）。
その後、図４の処理を終了する。
Next, the worker selects a color patch to be used by the process of FIG. 5 described next (step S109).
Thereafter, the process of FIG. 4 is terminated.
図５は、使用する色パッチを選択する処理手順の例を示すフローチャートである。作業者は、図４のステップＳ１０９において、図５の処理を行う。
図５の処理において、作業者は、まず、色パッチ毎、または、色パッチの組み合わせ毎に、当該色パッチから決定されるベクトルｄ＋の分散共分散行列を求める（ステップＳ２０１）。このステップＳ２０１について、より詳細に説明する。
式（４）には、１８個の色パッチに基づく３６個の等式が含まれている。これらの１８個の色パッチのうち一部のみを撮像して色変動を求める場合、式（４）は、式（５）に示される近似式に再構築することができる。
FIG. 5 is a flowchart illustrating an example of a processing procedure for selecting a color patch to be used. The worker performs the process of FIG. 5 in step S109 of FIG.
In the process of FIG. 5, the worker first obtains a variance covariance matrix of a vector d + determined from the color patch for each color patch or each combination of color patches (step S201). This step S201 will be described in more detail.
Equation (4) includes 36 equations based on 18 color patches. When only a part of these 18 color patches is imaged to obtain the color variation, the equation (4) can be reconstructed into the approximate equation shown in the equation (5).
ここで、ｄ＋は、式（６）に示されるベクトルである。 Here, d + is a vector shown in Expression (6).
ここで、ｄｋ ＋（ｋは、１≦ｋ≦ｐの正整数。ｐは正整数）は、式（４）に示されるベクトルｄから選択したｐ個の成分を示す。このｐは、撮像される色パッチの数に応じて決定される数である。例えば、撮像される色パッチの数を２倍した値をｐとすることができる。
また、式（５）のＥは、式（７）に示される行列である。
Here, d k + (k is a positive integer of 1 ≦ k ≦ p, p is a positive integer) indicates p components selected from the vector d shown in Expression (4). This p is a number determined according to the number of color patches to be imaged. For example, p can be a value obtained by doubling the number of color patches to be captured.
Further, E in Equation (5) is a matrix shown in Equation (7).
ここで、ｅｋ ＋は、固有ベクトルｅ１，・・・，ｅｍからｐ個の固有ベクトルを選択し、選択した各固有ベクトルからｐ個の成分のみを抜き出して得られたベクトルである。なお、ｋおよびｐは、式（６）の場合と同じである。
また、式（５）のａは、式（８）に示されるベクトルである。
Here, e k + is the eigenvector e 1, · · ·, select p eigenvectors from e m, a vector obtained by extracting only p pieces of components from each of the selected eigenvectors. Note that k and p are the same as those in Equation (6).
Further, a in Expression (5) is a vector shown in Expression (8).
ここで、ａｋ ＋（ｋは、１≦ｋ≦ｐの正整数。ｐは正整数）は、ｐ個の係数を示す。なお、ｋおよびｐは、式（６）の場合と同じである。
式（５）を変形すると式（９）を得られる。
Here, a k + (k is a positive integer of 1 ≦ k ≦ p, p is a positive integer) indicates p coefficients. Note that k and p are the same as those in Equation (6).
By transforming equation (5), equation (9) is obtained.
ここで、Ｅ−１は、行列Ｅの逆行列である。
１つの色パッチについてｒ、ｇそれぞれにｄｋ（式（２）に示されるｄｉｒおよびｄｉｇ）を得られるので、ｐ／２個の色パッチを撮像してｄｋを求めれば、式（９）から全ての色パッチについて色変動を求めることができる。撮像する色パッチとしてどの色パッチを選んでもよいが、選択する色パッチによってベクトルａ（係数ベクトル）の推定精度が異なる。そこで、ベクトルａの推定精度が良くなるように、選択する色パッチの候補（１つの色パッチでもよいし、複数の色パッチの組み合わせでもよい）の各々についてステップＳ２０１〜Ｓ２０２処理を行い、ステップＳ２０３にて候補のいずれかを選択する。
Here, E −1 is an inverse matrix of the matrix E.
Since d k (d ir and d ig shown in the equation (2)) can be obtained for each of r and g for one color patch, if d k is obtained by imaging p / 2 color patches, the equation ( From 9), the color variation can be obtained for all the color patches. Any color patch may be selected as the color patch to be imaged, but the estimation accuracy of the vector a (coefficient vector) differs depending on the color patch to be selected. In order to improve the estimation accuracy of the vector a, steps S201 to S202 are performed for each candidate color patch to be selected (a single color patch or a combination of a plurality of color patches). To select one of the candidates.
ステップＳ２０１の後、作業者は、ステップＳ２０１で得られた分散共分散行列Ｖｄ ＋毎に、係数ベクトルａの分散共分散行列Ｖａを求める（ステップＳ２０２）。
色パッチから決定されるベクトルｄ＋に含まれる誤差の分散共分散行列をＶｄ ＋とすると、式（９）からベクトルａの分散共分散行列Ｖａは、式（１０）のように示される。
After step S201, the operator, the variance-covariance matrix V d + each obtained in step S201, obtaining the variance-covariance matrix V a coefficient vector a (step S202).
Assuming that the variance covariance matrix of the error included in the vector d + determined from the color patch is V d + , the variance covariance matrix V a of the vector a from Equation (9) is expressed as Equation (10). .
ここで、Ｅ−１は、式（７）に示される行列Ｅの逆行列を示す。Ｅ−Ｔは、行列Ｅ−１の転置行列を示す。作業者は、式（１０）に基づいて、Ｖｄ ＋からＶａを求める。
ベクトルａの誤差が最大になる方向の分散は、Ｖａの最大の固有値で与えられる。そこで、作業者は、ステップＳ２０２で求めた分散共分散行列Ｖａが最も小さくなる色パッチを選択する（ステップＳ２０３）。
さらに、作業者は、ステップＳ２０３で選択した色パッチの平均値（図４のステップＳ１０４で求めたｒ（バー）ｉおよびｇ（バー）ｉ）を選択し（ステップＳ２０４）、またステップＳ２０３で選択した色パッチの固有ベクトルを選択する（ステップＳ２０５）。
その後、図５の処理を終了する。
Here, E −1 represents an inverse matrix of the matrix E shown in Expression (7). E− T represents a transposed matrix of the matrix E− 1 . The worker obtains V a from V d + based on Expression (10).
The variance in the direction in which the error of vector a is maximized is given by the maximum eigenvalue of V a . Therefore, the operator, variance-covariance matrix V a obtained in step S202 selects the smallest color patches (step S203).
Further, the operator selects the average value of the color patches selected in step S203 (r (bar) i and g (bar) i obtained in step S104 in FIG. 4) (step S204), and selects in step S203. Then, the eigenvector of the selected color patch is selected (step S205).
Thereafter, the process of FIG.
図６は、色の補正を行う処理手順の例を示すフローチャートである。
同図の処理において、補正部１９２は、色パッチの像を含む画像を取得する（ステップＳ３０１）。ステップＳ３０１で補正部１９２が取得する画像の例として、車両１がターゲットを探す際の、車両１の周囲の画像や、判定部１９１が用いる閾値を決定する際の、ターゲットの像を含む画像が挙げられる。
FIG. 6 is a flowchart illustrating an example of a processing procedure for performing color correction.
In the process of FIG. 9, the correction unit 192 acquires an image including a color patch image (step S301). As an example of the image acquired by the correction unit 192 in step S <b> 301, an image including the image of the target around the vehicle 1 when the vehicle 1 searches for the target and the threshold used by the determination unit 191 is included. Can be mentioned.
次に、補正部１９２は、ステップＳ３０１で得られた画像から色パッチの領域を複数抽出する（ステップＳ３０２）。例えば、撮像装置１５０の撮像画像において、色補正用パッチ１６０の像は常に一定の位置に撮像される。補正部１９２は、当該位置について既知であり、撮像装置１５０から当該位置の部分を抽出することで、色パッチの領域を抽出する。特に、補正部１９２は、図２の例における色補正用パッチ１６１の像および色補正用パッチ１６２の像のように色パッチの領域を複数含む画像を取得し、複数の領域の各々を抽出する。
そして、補正部１９２は、ステップＳ３０２で抽出した領域の各々についてｒ、ｇそれぞれの平均値およびばらつき度合い（例えば分散）を求める（ステップＳ３０３）。
Next, the correction unit 192 extracts a plurality of color patch regions from the image obtained in step S301 (step S302). For example, in the captured image of the imaging device 150, the image of the color correction patch 160 is always captured at a fixed position. The correction unit 192 extracts the color patch region by extracting the portion of the position that is known from the imaging device 150 and that position is known. In particular, the correction unit 192 acquires an image including a plurality of color patch regions such as the image of the color correction patch 161 and the image of the color correction patch 162 in the example of FIG. 2, and extracts each of the plurality of regions. .
Then, the correction unit 192 calculates an average value and a variation degree (for example, variance) of r and g for each of the regions extracted in step S302 (step S303).
次に、補正部１９２は、ステップＳ３０２で抽出した領域のうち、ステップＳ３０３で得られたばらつき度合いが小さい領域を選択し、当該領域についてステップＳ３０３で計算したｒ、ｇそれぞれの平均値を選択する（ステップＳ３０４）。
次に、補正部１９２は、ステップＳ３０４で得られた平均値と、複数の撮像画像（本実施形態の例では３０００枚の撮像画像）について図４のステップＳ１０４で求めた色パッチの平均値ｒ（バー）ｉ、ｇ（バー）ｉとの差を求める（ステップＳ３０５）。
Next, the correction unit 192 selects a region with a small degree of variation obtained in step S303 from the regions extracted in step S302, and selects the average values of r and g calculated in step S303 for the region. (Step S304).
Next, the correction unit 192 and the average value r obtained in step S104 of FIG. 4 for the average value obtained in step S304 and a plurality of captured images (3000 captured images in the example of the present embodiment). (bar) i, obtains the difference between g (bar) i (step S305).
次に、補正部１９２は、ステップＳ３０５で得られた差を式（９）のベクトルｄ＋に代入し、ステップＳ２０５で選択した固有ベクトルから求まる行列Ｅ−１を用いて、係数ベクトル（ベクトルａ）を算出する（ステップＳ３０６）。
そして、補正部１９２は、ステップＳ３０６で得られた係数（係数ベクトルａの要素）を式（１１）のａ１ ＋・・・ａｐ ＋に代入し、図５のステップＳ２０５で選択した固有ベクトルを式（１１）のｅ１ ’・・・ｅｐ ’に代入して、近似的にベクトルｄ（色変動ベクトル）の値を求める（ステップＳ３０７）。
Next, the correction unit 192 substitutes the difference obtained in step S305 for the vector d + in the equation (9), and uses the matrix E −1 obtained from the eigenvector selected in step S205 to use the coefficient vector (vector a). Is calculated (step S306).
Then, the correction unit 192 substitutes the coefficient (the element of the coefficient vector a) obtained in step S306 into a 1 + ... A p + in the equation (11), and the eigenvector selected in step S205 in FIG. Substituting into e 1 ′ ... E p ′ in equation (11), the value of the vector d (color variation vector) is approximately obtained (step S307).
ステップＳ３０７の後、補正部１９２は、ステップＳ３０１で得られた撮像画像の各画素について色の補正を行う（ステップＳ３０８）。このステップＳ３０８について、より詳細に説明する。
以下、色の補正を行う処理対象の画素を「色補正対象」と称する。色補正対象の色変動をベクトルｄ（ハット）と表記する。ｄ（ハット）のｒ成分をｄ（ハット）ｒと表記し、ｇ成分をｄ（ハット）ｇと表記する。
色補正対象の色が色パッチのいずれかの色と同一である場合、補正部１９２は、ステップＳ３０７で得られたベクトルｄの要素から、ｄ（ハット）ｒおよびｄ（ハット）ｇを抽出することができる。具体的には、補正部１９２は、補正後の色パッチの色に、式（１６）に示される色変動を加算して得られる色（ｒ、ｇの値）を、補正前の色パッチの色として記憶しておく。そして、色補正対象の補正前の色が、いずれかの色パッチの補正前の色と同じであると判定した場合、補正部１９２は、当該色パッチの補正後の色を、色補正対象の補正後の色とする。
なお、補正後の色パッチの色として、例えば、３０００枚の撮像画像全体における、色パッチ毎の色の平均値（式（２）のｒ（バー）ｉおよびｇ（バー）ｉ）を用いることが出来る。
After step S307, the correction unit 192 performs color correction on each pixel of the captured image obtained in step S301 (step S308). Step S308 will be described in more detail.
Hereinafter, a pixel to be processed for color correction is referred to as a “color correction target”. The color variation of the color correction target is expressed as a vector d (hat). The r component of d (hat) is expressed as d (hat) r, and the g component is expressed as d (hat) g .
When the color correction target color is the same as any one of the color patches, the correction unit 192 extracts d (hat) r and d (hat) g from the elements of the vector d obtained in step S307. be able to. Specifically, the correction unit 192 uses the color (r and g values) obtained by adding the color variation represented by Expression (16) to the color patch after correction, and the color patch before correction. Remember it as a color. If it is determined that the color before correction of the color correction target is the same as the color before correction of any of the color patches, the correction unit 192 determines the corrected color of the color patch as the color correction target. Use the corrected color.
As the color of the color patch after correction, for example, average values of colors for each color patch (r (bar) i and g (bar) i in equation (2)) in the entire 3000 captured images are used. I can do it.
一方、色補正対象の補正前の色が、いずれの色パッチの補正前の色とも異なる場合、以下のようにして色変動を推定し補正することができる。
色補正対象の補正前の色（ｒ（ハット），ｇ（ハット））と、１８色の色パッチの補正前の色（ｒｉ，ｇｉ）（ｉは、１≦ｉ≦１８の正整数）との（ｒ，ｇ）平面でのユークリッド距離Ｌｉから色変動を推定する。色パッチの補正前の色（ｒｉ，ｇｉ）は、上記のように、補正後の色パッチの色に色変動を加算して得られる。また、１８色の各色パッチの色変動を示すベクトルｄｉ＝（ｄｉｒ，ｄｉｇ）は、ベクトルｄの要素から得られる。色補正対象の色の変動を示すベクトルｄ（ハット）＝（ｄ（ハット）ｒ，ｄ（ハット）ｇ）は、ベクトルｄｉを用いて式（１２）のように表される。
On the other hand, when the color before correction of the color correction target is different from the color before correction of any color patch, the color variation can be estimated and corrected as follows.
Colors to be corrected (r (hat), g (hat)) and 18 color patches before correction (r i , g i ) (i is a positive integer of 1 ≦ i ≦ 18) ) And the Euclidean distance L i in the (r, g) plane with the color variation is estimated. The color (r i , g i ) before correction of the color patch is obtained by adding color variation to the color of the color patch after correction as described above. A vector d i = (d ir , d ig ) indicating the color variation of each of the 18 color patches is obtained from the elements of the vector d. A vector d (hat) = (d (hat) r , d (hat) g ) indicating a change in the color to be corrected is expressed as in equation (12) using the vector d i .
補正部１９２は、式（１２）に基づいて、色変動のベクトルｄ（ハット）を求める。
そして、補正部１９２は、式（１３）に基づいて、色変動（ｄ（ハット）ｒ，ｄ（ハット）ｇ）を補正対象の色（ｒ（ハット），ｇ（ハット））から減算することで、補正後の色（ｒｃ，ｇｃ）を算出する。
The correcting unit 192 obtains a color variation vector d (hat) based on the equation (12).
Then, the correcting unit 192 subtracts the color variation (d (hat) r , d (hat) g ) from the correction target color (r (hat), g (hat)) based on the equation (13). Then, the corrected color (r c , g c ) is calculated.
これにより、任意の色を補正することができる。
なお、補正部１９２が、色補正対象の補正前の色がいずれかの色パッチの補正前の色と同じであるか否かの判定を行うようにしてもよいし、当該判定を行わずに直接、式（１２）および式（１３）の演算を行うようにしてもよい。
補正部１９２が、当該判定を行う場合、色補正対象の補正前の色が色パッチの補正前の色と同じときは、式（１２）や式（１３）の演算を行う必要無しに、色補正対象の補正後の色を得ることができる。撮像画像の画素のうち、色パッチの補正前の色と同じ色の画素が比較的多い場合、式（１２）および式（１３）の演算を直接行うよりも、補正部１９２の負荷を低減させることができ、また、補正の処理時間を短縮することができる。
Thereby, an arbitrary color can be corrected.
The correction unit 192 may determine whether or not the color before correction of the color correction target is the same as the color before correction of any color patch, or without performing the determination. You may make it perform the calculation of Formula (12) and Formula (13) directly.
When the correction unit 192 performs the determination, if the color before correction of the color correction target is the same as the color before correction of the color patch, it is not necessary to perform the calculation of Expression (12) or Expression (13). The corrected color of the correction target can be obtained. When there are a relatively large number of pixels of the captured image that have the same color as the color before correction of the color patch, the load on the correction unit 192 is reduced compared to the direct calculation of Expression (12) and Expression (13). In addition, the correction processing time can be shortened.
一方、補正部１９２が、式（１２）および式（１３）の演算を直接行う場合、色補正対象の補正前の色がいずれかの色パッチの補正前の色と同じか否かの判定を行う必要がない。撮像画像の画素のうち、色パッチの補正前の色と同じ色の画素が比較的少ない場合、当該判定を行う必要がないことで、補正部１９２の負荷を低減させることができ、また、補正の処理時間を短縮することができる。
ステップＳ３０８の後、図６の処理を終了する。
On the other hand, when the correction unit 192 directly performs the calculations of Expression (12) and Expression (13), it is determined whether the color before correction of the color correction target is the same as the color before correction of any color patch. There is no need to do it. When there are relatively few pixels of the same color as the color before correction of the color patch among the pixels of the captured image, it is not necessary to perform the determination, so that the load on the correction unit 192 can be reduced. The processing time can be shortened.
After step S308, the process of FIG. 6 ends.
例えば、１つの色パッチを撮像して補正を行う場合（ｐ＝２の場合）、式（５）は、式（１４）のようになる。 For example, when one color patch is imaged and correction is performed (when p = 2), Expression (5) becomes Expression (14).
ここで、ｅ１１ ＋およびｅ１２ ＋は、ベクトルｅ１ ＋から選択された成分を示す。ｅ２１ ＋およびｅ２２ ＋は、ベクトルｅ２ ＋から選択された成分を示す。
また、式（９）は、式（１５）のようになる。
Here, e 11 + and e 12 + indicate components selected from the vector e 1 + . e 21 + and e 22 + indicate components selected from the vector e 2 + .
Moreover, Formula (9) becomes Formula (15).
補正部１９２は、式（１５）のｄ１ ＋およびｄ２ ＋に測定値を代入して、係数ａ１ ＋およびａ２ ＋を求める。
また、式（１１）は、式（１６）のようになる。
The correction unit 192 calculates the coefficients a 1 + and a 2 + by substituting the measurement values for d 1 + and d 2 + in Expression (15).
Moreover, Formula (11) becomes Formula (16).
補正部１９２は、式（１５）で求まった係数ａ１ ＋およびａ２ ＋を式（１６）に代入して、近似的にベクトルｄの値を求める。色パッチ以外の色について補正を行う場合は、式（１２）を用いる。 The correcting unit 192 substitutes the coefficients a 1 + and a 2 + obtained by the equation (15) into the equation (16) to approximately obtain the value of the vector d. When correcting colors other than the color patch, Expression (12) is used.
図７は、ターゲットの色か否かの判定閾値を設定する処理手順の例を示すフローチャートである。
同図の処理において、作業者は、様々な照明条件でターゲットを撮像する（ステップＳ４０１）。例えば、作業者は、撮像装置１５０、または、撮像装置１５０と同じ特性のカメラを用いて、様々な時刻および様々な天候による照明条件のもとで、ターゲットを撮像する。
FIG. 7 is a flowchart illustrating an example of a processing procedure for setting a determination threshold value for determining whether or not a target color is used.
In the process shown in the figure, the worker images the target under various illumination conditions (step S401). For example, the operator uses the imaging device 150 or a camera having the same characteristics as the imaging device 150 to image the target under lighting conditions at various times and various weathers.
次に、作業者は、ステップＳ４０１で得られた画像の各々について、図６の処理によりターゲットの色の補正を行う（ステップＳ４０２）。
次に、作業者は、ステップＳ４０２で得られた、画像毎の補正後のターゲットの色の、全画像についての平均値と分散とを算出する（ステップＳ４０３）。
そして、作業者は、ステップＳ４０３で得られた分散に基づいて閾値を設定する（ステップＳ４０４）。
その後、図７の処理を終了する。
Next, the operator corrects the color of the target for each of the images obtained in step S401 by the process of FIG. 6 (step S402).
Next, the operator calculates the average value and variance for all images of the corrected target color for each image obtained in step S402 (step S403).
Then, the worker sets a threshold based on the variance obtained in step S403 (step S404).
Then, the process of FIG. 7 is complete | finished.
図８は、撮像画像にターゲットの像が含まれるか否かの判定を行う処理手順の例を示す説明図である。
同図の処理において、撮像装置１５０は、色パッチの像を含む周囲の画像を撮像する（ステップＳ５０１）。
次に、補正部１９２は、ステップＳ５０１で得られた画像について、図６の処理によりターゲットの色の補正を行う（ステップＳ５０２）。
次に、補正部１９２は、ステップＳ５０２で得られた補正後の色と、図７のステップＳ４０３で得られた平均値との距離を算出する（ステップＳ５０３）。
FIG. 8 is an explanatory diagram illustrating an example of a processing procedure for determining whether a captured image includes a target image.
In the process of FIG. 10, the imaging device 150 captures surrounding images including color patch images (step S501).
Next, the correction unit 192 corrects the target color by the process of FIG. 6 for the image obtained in step S501 (step S502).
Next, the correction unit 192 calculates the distance between the corrected color obtained in step S502 and the average value obtained in step S403 in FIG. 7 (step S503).
次に、補正部１９２は、ステップＳ５０３で得られた距離が閾値以下か否かを判定する（ステップＳ５０４）。
距離が閾値以下であると判定した場合（ステップＳ５０４：ＹＥＳ）、補正部１９２は、撮像画像にターゲットの像が含まれていると判定する（ステップＳ５１１）。
その後、図８の処理を終了する。
一方、ステップＳ５０４で得られた距離が閾値より大きいと判定した場合（ステップＳ５０５：ＮＯ）、補正部１９２は、撮像画像にターゲットの像が含まれていないと判定する（ステップＳ５２１）。
その後、図８の処理を終了する。
Next, the correcting unit 192 determines whether or not the distance obtained in step S503 is equal to or less than a threshold value (step S504).
When it is determined that the distance is equal to or smaller than the threshold (step S504: YES), the correcting unit 192 determines that the target image is included in the captured image (step S511).
Thereafter, the process of FIG.
On the other hand, when it determines with the distance obtained by step S504 being larger than a threshold value (step S505: NO), the correction | amendment part 192 determines with the image of a target not being included in a captured image (step S521).
Thereafter, the process of FIG.
図９は、色を補正しない場合の、照明条件の変化による色変動の例を示す説明図である。同図の縦軸および横軸は、ｇおよびｒの値を示す。同図では、様々な照明条件にて色パッチを撮像し、撮像画像毎、かつ、色パッチ毎にｒおよびｇを算出してプロットしている。 FIG. 9 is an explanatory diagram illustrating an example of color variation due to a change in illumination conditions when the color is not corrected. The vertical and horizontal axes in the figure indicate the values of g and r. In the figure, color patches are imaged under various illumination conditions, and r and g are calculated and plotted for each captured image and for each color patch.
図１０は、色を補正した場合の、照明条件の変化による色変動の例を示す説明図である。同図の縦軸および横軸は、ｇおよびｒの値を示す。同図では、様々な照明条件にて色パッチを撮像し、撮像画像毎、かつ、色パッチ毎にｒおよびｇを算出し、補正してプロットしている。
補正を行わない場合（図９）と補正を行った場合（図１０）とを比較すると、補正を行ったほうが照明条件の変化に伴うｒやｇの値の変化が小さくなっている。これにより、判定対象の色がターゲットの色か否かの判定をより正確に行うことができる。
FIG. 10 is an explanatory diagram illustrating an example of color variation due to a change in illumination conditions when the color is corrected. The vertical and horizontal axes in the figure indicate the values of g and r. In the figure, color patches are imaged under various illumination conditions, r and g are calculated for each captured image and for each color patch, corrected and plotted.
Comparing the case where the correction is not performed (FIG. 9) and the case where the correction is performed (FIG. 10), the change in the values of r and g accompanying the change in the illumination condition is smaller when the correction is performed. As a result, it is possible to more accurately determine whether the determination target color is the target color.
以上のように、判定部１９１は、色標本（色補正用パッチ１６０）の撮像画像における色情報を用いて、周囲の画像に前記ターゲットの像が含まれるか否かを判定する。
これにより、判定部１９１は、例えば屋外など照明条件の影響を受ける環境下でも、より高精度に色の判定を行うことができる。カメラの特性を補正するために色標本を用いる技術は知られていたが、自律走行装置がターゲットの像を検出するために色標本を用いて撮像画像を補正することは、一般には行われていなかった。車両１では、ターゲットの像を検出するために色標本を用いて撮像画像を補正することで、ターゲットの像をより正確に検出することができる。
As described above, the determination unit 191 uses the color information in the captured image of the color sample (color correction patch 160) to determine whether or not the surrounding image includes the target image.
Accordingly, the determination unit 191 can perform color determination with higher accuracy even in an environment affected by illumination conditions such as outdoors. Although a technique using a color sample for correcting the characteristics of a camera has been known, it is generally performed that an autonomous mobile device corrects a captured image using a color sample in order to detect an image of a target. There wasn't. In the vehicle 1, the target image can be detected more accurately by correcting the captured image using the color sample in order to detect the target image.
また、判定部１９１は、色標本の像に設定されている複数の領域のいずれかを選択し、選択した領域における色情報を用いて、周囲の画像にターゲットの像が含まれるか否かを判定する。
これにより、判定部１９１は、色標本の一方の領域に影がかかっているなど、一方の領域内の色のばらつきが大きい場合でも、領域内の色のばらつきが小さいほうの領域を選択してより高精度に色の判定を行うことができ、もって、周囲の画像にターゲットの像が含まれるか否かをより正確に判定することができる。
In addition, the determination unit 191 selects one of a plurality of regions set in the color sample image, and uses the color information in the selected region to determine whether the surrounding image includes the target image. judge.
As a result, the determination unit 191 selects a region having a smaller color variation in one region even when the color variation in one region is large, such as a shadow in one region of the color sample. The color can be determined with higher accuracy, and therefore it can be more accurately determined whether or not the surrounding image includes the target image.
また、撮像装置１５０は、複数の領域を含む色標本の像（色補正用パッチ１６１の像および色補正用パッチ１６２の像）を周囲の画像に含んで撮像可能な位置に設置された全方位カメラを具備する。
このように、色標本の像と周囲の画像とを同じ撮像装置１５０が撮像することで、補正部１９２が周囲の画像における色の補正を行う際、色標本を撮像した撮像装置の特性と、周囲の画像を撮像した撮像装置の特性との違いの影響を受けない。この点において、補正部１９２は、周囲の画像における色情報をより正確に補正することができる。これにより、判定部１９１は、周囲の画像にターゲットの像が含まれるか否かをより正確に判定することができる。
In addition, the imaging device 150 includes a color sample image including a plurality of regions (an image of the color correction patch 161 and an image of the color correction patch 162) in an omnidirectional position installed at a position where the surrounding image can be captured. A camera is provided.
Thus, when the same imaging device 150 captures the image of the color sample and the surrounding image, when the correction unit 192 corrects the color in the surrounding image, the characteristics of the imaging device that captured the color sample, It is not affected by the difference from the characteristics of the imaging device that captured the surrounding image. In this regard, the correction unit 192 can correct the color information in the surrounding image more accurately. Thereby, the determination unit 191 can determine more accurately whether or not the surrounding image includes the target image.
なお、制御部１９０の全部または一部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより各部の処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。
また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。
It should be noted that a program for realizing all or part of the functions of the control unit 190 is recorded on a computer-readable recording medium, and the program recorded on the recording medium is read into a computer system and executed. You may perform the process of. Here, the “computer system” includes an OS and hardware such as peripheral devices.
Further, the “computer system” includes a homepage providing environment (or display environment) if a WWW system is used.
The “computer-readable recording medium” refers to a storage device such as a flexible medium, a magneto-optical disk, a portable medium such as a ROM and a CD-ROM, and a hard disk incorporated in a computer system. The program may be a program for realizing a part of the functions described above, and may be a program capable of realizing the functions described above in combination with a program already recorded in a computer system.
以上、本発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計変更等も含まれる。 The embodiment of the present invention has been described in detail with reference to the drawings. However, the specific configuration is not limited to this embodiment, and includes design changes and the like without departing from the gist of the present invention.
本発明は、自律走行装置や、ターゲット判定装置や、ターゲット判定方法や、プログラムに用いて好適である。 The present invention is suitable for use in an autonomous traveling device, a target determination device, a target determination method, and a program.
１…車両 １０…走行機構 ２０…ターゲット判定装置 ３０…自車位置推定装置 １００…車両本体 １１１、１２１…モータ １１２、１２２、１３２、１４２…回転軸 １１３、１２３、１３３、１４３…車輪 １３１、１４１…固定部 １５０…撮像装置 １６０、１６１、１６２…色補正用パッチ １８０…記憶部 １９０…制御部 １９１…判定部 １９２…補正部 １９３…位置推定部 １９４…走行制御部
DESCRIPTION OF SYMBOLS 1 ... Vehicle 10 ... Traveling mechanism 20 ... Target determination apparatus 30 ... Own vehicle position estimation apparatus 100 ... Vehicle main body 111, 121 ... Motor 112, 122, 132, 142 ... Rotating shaft 113, 123, 133, 143 ... Wheel 131, 141 ... fixed unit 150 ... imaging device 160, 161, 162 ... color correction patch 180 ... storage unit 190 ... control unit 191 ... determination unit 192 ... correction unit 193 ... position estimation unit 194 ... running control unit
Claims (6)
前記記憶部は、所定のターゲットの位置情報を記憶し、
前記自位置推定装置は、
前記自律走行装置の周囲の画像を撮像する撮像装置と、
色標本と、
前記色標本の撮像画像における色情報を用いて、前記周囲の画像に前記ターゲットの像が含まれるか否かを判定する判定部と、
前記判定部が、前記周囲の画像に前記ターゲットの像が含まれると判定した場合、前記ターゲットの位置情報に基づいて前記車両の位置を推定する位置推定部と、
を具備する自律走行装置。 An autonomous traveling device comprising a storage unit, a local position estimating device, a traveling mechanism, and a traveling control unit,
The storage unit stores position information of a predetermined target,
The self-position estimating device
An imaging device that captures an image around the autonomous traveling device;
Color samples,
A determination unit that determines whether or not the image of the target is included in the surrounding image using color information in a captured image of the color sample;
A position estimation unit configured to estimate the position of the vehicle based on the position information of the target when the determination unit determines that the image of the target is included in the surrounding image;
An autonomous traveling device comprising:
前記走行制御部は、前記位置推定部が推定した前記車両の位置に基づいて前記走行機構を制御して前記自律走行装置を走行させる、
請求項１に記載の自律走行装置。 The determination unit selects one of a plurality of areas set in the image of the color sample, and uses color information in the selected area to determine whether the target image is included in the surrounding image. Judgment,
The traveling control unit controls the traveling mechanism based on the position of the vehicle estimated by the position estimating unit to cause the autonomous traveling device to travel.
The autonomous traveling device according to claim 1.
請求項１または請求項２に記載の自律走行装置。 The imaging device includes an omnidirectional camera installed at a position where the surrounding image includes an image of the color sample including the plurality of regions and can be imaged.
The autonomous traveling device according to claim 1 or claim 2.
色標本と、
前記色標本の撮像画像における色情報を用いて、前記周囲の画像にターゲットの像が含まれるか否かを判定する判定部と、
を具備するターゲット判定装置。 An imaging device that captures surrounding images;
Color samples,
A determination unit that determines whether or not the surrounding image includes a target image using color information in a captured image of the color sample;
A target determination device comprising:
前記色標本の撮像画像における色情報を用いて、前記周囲の画像にターゲットの像が含まれるか否かを判定する判定ステップと、
を有するターゲット判定方法。 A target determination method of a target determination device including an imaging device that captures a surrounding image and a color sample,
A determination step of determining whether or not the surrounding image includes a target image using color information in the captured image of the color sample;
A method for determining a target.
前記色標本の撮像画像における色情報を用いて、前記周囲の画像にターゲットの像が含まれるか否かを判定する判定ステップを実行させるためのプログラム。 In a computer included in a target determination device including an imaging device that captures a surrounding image and a color sample,
The program for performing the determination step which determines whether the image of a target is contained in the said surrounding image using the color information in the captured image of the said color sample.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014133353A JP6521212B2 (en) | 2014-06-27 | 2014-06-27 | Autonomous traveling device, target determination method and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014133353A JP6521212B2 (en) | 2014-06-27 | 2014-06-27 | Autonomous traveling device, target determination method and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2016012229A true JP2016012229A (en) | 2016-01-21 |
| JP6521212B2 JP6521212B2 (en) | 2019-05-29 |
Family
ID=55228910
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2014133353A Active JP6521212B2 (en) | 2014-06-27 | 2014-06-27 | Autonomous traveling device, target determination method and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6521212B2 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022234723A1 (en) * | 2021-05-07 | 2022-11-10 | 村田機械株式会社 | Traveling vehicle and traveling vehicle system |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000337887A (en) * | 1999-05-25 | 2000-12-08 | Mitsubishi Electric Corp | Self position-locating system of movable body |
| JP2001099782A (en) * | 1999-09-29 | 2001-04-13 | Iseki & Co Ltd | Device for imaging fruit or the like |
| JP2005070043A (en) * | 2003-08-20 | 2005-03-17 | Samsung Electronics Co Ltd | Self-position recognizing device and method of intelligent system using artificial mark, and the intelligent system using the same |
| JP2007101277A (en) * | 2005-09-30 | 2007-04-19 | Topcon Corp | Label with color code |
-
2014
- 2014-06-27 JP JP2014133353A patent/JP6521212B2/en active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000337887A (en) * | 1999-05-25 | 2000-12-08 | Mitsubishi Electric Corp | Self position-locating system of movable body |
| JP2001099782A (en) * | 1999-09-29 | 2001-04-13 | Iseki & Co Ltd | Device for imaging fruit or the like |
| JP2005070043A (en) * | 2003-08-20 | 2005-03-17 | Samsung Electronics Co Ltd | Self-position recognizing device and method of intelligent system using artificial mark, and the intelligent system using the same |
| JP2007101277A (en) * | 2005-09-30 | 2007-04-19 | Topcon Corp | Label with color code |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022234723A1 (en) * | 2021-05-07 | 2022-11-10 | 村田機械株式会社 | Traveling vehicle and traveling vehicle system |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6521212B2 (en) | 2019-05-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10234873B2 (en) | Flight device, flight control system and method | |
| JP6475772B2 (en) | Navigation device and method by visual positioning | |
| US10930015B2 (en) | Method and system for calibrating multiple cameras | |
| JP6129981B2 (en) | Moving object position estimation apparatus and moving object position estimation method | |
| CN110942458B (en) | Temperature anomaly defect detection and positioning method and system | |
| KR101781757B1 (en) | Underwater image processing device for object recognition and method there of | |
| CN107077137A (en) | For estimate motion method, mobile agent and coding have for cause computing device be used for estimate move method computer program code non-transitory computer-readable medium | |
| JP2019049457A (en) | Image processing apparatus and ranging device | |
| WO2013180840A1 (en) | Pose estimation based on peripheral information | |
| JP2006252473A (en) | Obstacle detector, calibration device, calibration method and calibration program | |
| JP4132068B2 (en) | Image processing apparatus, three-dimensional measuring apparatus, and program for image processing apparatus | |
| JP2019125116A (en) | Information processing device, information processing method, and program | |
| JP5966935B2 (en) | Infrared target detection device | |
| WO2021070813A1 (en) | Error estimation device, error estimation method, error estimation program | |
| ES2717186T3 (en) | Procedure and device for the detection of moving objects in a sequence of video images | |
| JP7069609B2 (en) | Crop cultivation support device | |
| CN115761532A (en) | Automatic detection system for power transmission line navigation image | |
| JP6521212B2 (en) | Autonomous traveling device, target determination method and program | |
| JP2016223934A (en) | Position correction system, position correcting method, and position correction program | |
| JP5727969B2 (en) | Position estimation apparatus, method, and program | |
| JPWO2015129062A1 (en) | Image processing apparatus, image processing method, and image processing program | |
| Vaida et al. | Automatic extrinsic calibration of LIDAR and monocular camera images | |
| KR20140011672A (en) | Method and apparatus for controlling robot | |
| JP5409451B2 (en) | 3D change detector | |
| JP2017116339A (en) | Detection device, detection method, and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170616 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180409 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180417 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180618 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20181204 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20181214 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20181214 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190204 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190402 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190416 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6521212 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |