JP2013016071A - Detection device and detection method - Google Patents
Detection device and detection method Download PDFInfo
- Publication number
- JP2013016071A JP2013016071A JP2011149340A JP2011149340A JP2013016071A JP 2013016071 A JP2013016071 A JP 2013016071A JP 2011149340 A JP2011149340 A JP 2011149340A JP 2011149340 A JP2011149340 A JP 2011149340A JP 2013016071 A JP2013016071 A JP 2013016071A
- Authority
- JP
- Japan
- Prior art keywords
- gradation value
- detection target
- image
- region
- person
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 160
- 238000000034 method Methods 0.000 claims description 29
- 230000007613 environmental effect Effects 0.000 claims description 15
- 230000014509 gene expression Effects 0.000 claims description 14
- 238000010586 diagram Methods 0.000 description 7
- 238000006243 chemical reaction Methods 0.000 description 3
- 230000000052 comparative effect Effects 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 230000036760 body temperature Effects 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000012417 linear regression Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Landscapes
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、検出装置及び検出方法に関する。 The present invention relates to a detection apparatus and a detection method.
赤外線センサーなどを用いて人体等を検出する装置の開発が行われている。このような装置は、車両周囲に人物等が存在する場合に、その旨を車両の乗員に認識させることなどに用いられる。 An apparatus for detecting a human body using an infrared sensor or the like has been developed. Such a device is used to make a vehicle occupant recognize when a person or the like is present around the vehicle.
特許文献１には、ミリ波の反射波が微弱である人物を車両等と区別して検出するために遠赤外線カメラの撮像画像を補助的に利用することが示されている。特許文献２には、物体の温度に相当する輝度値が閾値の範囲内か否かに基づいて人物を検出することが示されている。 Patent Document 1 discloses that a captured image of a far-infrared camera is used in an auxiliary manner to detect a person having a weak reflected millimeter wave from a vehicle or the like. Patent Document 2 discloses that a person is detected based on whether or not a luminance value corresponding to the temperature of an object is within a threshold range.
上述の手法は、基本的に、人物の温度に近い温度が見つかった場合に人物であると判定している。人物の表面温度はその人物の周囲の温度（環境温度）によって変化する。しかしながら、上述の手法では、環境温度により人物の表面温度が変化することは考慮されていなかった。例えば、夏の人物は薄着となるため表面温度は体温近辺となるが、冬の人物は厚着となるため表面温度は環境温度に近い温度となる。すなわち、季節によっては、検出が困難となる場合がある。 The above-described method basically determines that a person is found when a temperature close to that of the person is found. The surface temperature of a person varies depending on the ambient temperature (environmental temperature) of the person. However, in the above-described method, it has not been considered that the surface temperature of the person changes due to the environmental temperature. For example, since the person in the summer is lightly worn, the surface temperature is around the body temperature, while the person in the winter is thickly worn, the surface temperature is close to the environmental temperature. That is, detection may be difficult depending on the season.
また、顔など肌が露出している部分の温度は、季節にかかわらずほぼ一定とみることもできるが、顔の向き、髪型、着衣等により常に撮影されるとは限らないため、有効に検出できるか否かは定かではない。すなわち、検出対象物の温度が環境温度によって変わる場合において、精度良く検出対象物を検知することができないという問題がある。
本発明は、このような事情に鑑みてなされたものであり、検出対象物の検出精度を向上させることを目的とする。
In addition, the temperature of the part where the skin is exposed, such as the face, can be considered to be almost constant regardless of the season, but it is not always photographed depending on the face direction, hairstyle, clothes, etc., so it can be detected effectively. Whether it can be done is not certain. That is, there is a problem that the detection target cannot be detected with high accuracy when the temperature of the detection target varies depending on the environmental temperature.
This invention is made | formed in view of such a situation, and it aims at improving the detection accuracy of a detection target object.
上記目的を達成するための主たる発明は、
温度に応じた階調値を含む検出対象画像から前記検出対象画像の第１領域の階調値が所定範囲の階調値であるか否かに基づいて検出対象物を検出する検出部を含み、
前記所定範囲の階調値は、前記検出対象画像における第２領域の階調値が第１の階調値である場合には第１の所定範囲の階調値であり、前記検出対象画像における第２領域の階調値が第２の階調値である場合には第２の所定範囲の階調値である、検出装置である。
本発明の他の特徴については、本明細書及び添付図面の記載により明らかにする。
The main invention for achieving the above object is:
A detection unit configured to detect a detection object based on whether or not the gradation value of the first region of the detection target image is a gradation value within a predetermined range from the detection target image including a gradation value corresponding to temperature; ,
The gradation value of the predetermined range is the gradation value of the first predetermined range when the gradation value of the second region in the detection target image is the first gradation value, and the gradation value of the detection target image When the gradation value of the second region is the second gradation value, the detection device has a gradation value of the second predetermined range.
Other features of the present invention will become apparent from the description of the present specification and the accompanying drawings.
本明細書及び添付図面の記載により、少なくとも、以下の事項が明らかとなる。すなわち、
温度に応じた階調値を含む検出対象画像から、前記検出対象画像の第１領域の階調値が所定範囲の階調値であるか否かに基づいて検出対象物を検出する検出部を含み、
前記所定範囲の階調値は、前記検出対象画像における第２領域の階調値が第１の階調値である場合には第１の所定範囲の階調値であり、前記検出対象画像における第２領域の階調値が第２の階調値である場合には第２の所定範囲の階調値である、検出装置である。
所定範囲の階調値は、第２領域の階調値が第１の階調値である場合には第１の所定範囲の階調値であり、前記検出対象画像における第２領域の階調値が第２の階調値である場合には第２の所定範囲の階調値である。よって、第１領域の階調値が所定範囲の階調値であるか否かに基づいて、温度に応じた階調値を含む検出対象画像から検出対象物を検出することにより、例えば、第１領域の階調値が第２領域の階調値に応じて変化する場合にも、検出対象物の検出精度を向上させることができる。
At least the following matters will become clear from the description of the present specification and the accompanying drawings. That is,
A detection unit that detects a detection target object based on whether or not the gradation value of the first region of the detection target image is a gradation value within a predetermined range from the detection target image including a gradation value corresponding to temperature. Including
The gradation value of the predetermined range is the gradation value of the first predetermined range when the gradation value of the second region in the detection target image is the first gradation value, and the gradation value of the detection target image When the gradation value of the second region is the second gradation value, the detection device has a gradation value of the second predetermined range.
The gradation value in the predetermined range is the gradation value in the first predetermined range when the gradation value in the second area is the first gradation value, and the gradation value in the second area in the detection target image. When the value is the second gradation value, the gradation value is in the second predetermined range. Therefore, by detecting the detection target object from the detection target image including the gradation value corresponding to the temperature based on whether the gradation value of the first region is a gradation value within a predetermined range, for example, Even when the gradation value of one region changes in accordance with the gradation value of the second region, the detection accuracy of the detection object can be improved.
また、前記所定範囲の階調値は、前記第１領域の階調値と前記第２領域の階調値との関係を示す一次式を含む式で表され、
前記一次式の係数は、前記検出対象物を含む複数の学習用画像における前記第１領域の階調値と前記第２領域の階調値を用いた最小二乗法により求められることが望ましい。
このようにすることによって、第１領域の階調値と第２領域の階調値との関係が所定の式によって表される場合に、式の係数を適切に求めることができるので、検出対象物の検出精度を向上させることができる。
Further, the gradation value of the predetermined range is expressed by an expression including a linear expression indicating a relationship between the gradation value of the first area and the gradation value of the second area,
It is preferable that the coefficient of the linear expression is obtained by a least square method using the gradation value of the first region and the gradation value of the second region in a plurality of learning images including the detection target.
By doing in this way, when the relationship between the gradation value of the first region and the gradation value of the second region is expressed by a predetermined equation, the coefficient of the equation can be obtained appropriately, so that the detection target Object detection accuracy can be improved.
また、前記第１領域は、前記検出対象画像において前記第２領域よりも中央寄りの領域であることが望ましい。
検出対象物は画像の中央に存在する可能性が高いため、検出に使用される第１領域を検出対象画像の中央寄りの領域とすることで、検出対象物が検出される確率が高くなる。従って、より検出精度を向上させることができる。
The first region is preferably a region closer to the center than the second region in the detection target image.
Since there is a high possibility that the detection target exists in the center of the image, the probability that the detection target is detected is increased by setting the first region used for detection as a region closer to the center of the detection target image. Therefore, detection accuracy can be further improved.
また、前記第２領域は、前記検出対象画像の中央から最も遠い領域であることが望ましい。
検出対象物が検出対象画像の中央付近に存在する可能性が高い場合、検出対象物周辺の領域は、検出対象画像の中央から遠い領域である可能性が高い。そのため、第２領域を検出対象画像の中央から最も遠い領域とすることで、第２領域に検出対象物が含まれない確率が高くなる。より検出精度を向上させることができる。
The second region is preferably a region farthest from the center of the detection target image.
When there is a high possibility that the detection target exists near the center of the detection target image, the region around the detection target is highly likely to be a region far from the center of the detection target image. Therefore, by setting the second region as the region farthest from the center of the detection target image, the probability that the detection target is not included in the second region is increased. The detection accuracy can be further improved.
また、前記第２領域の階調値は、前記検出対象物の環境温度に応じた階調値であることが望ましい。
このようにすることで、検出対象物の温度が環境温度に応じて変化する場合であっても、適切に検出対象物を検出することができる。
In addition, it is preferable that the gradation value of the second region is a gradation value corresponding to the environmental temperature of the detection target.
By doing in this way, even if it is a case where the temperature of a detection target object changes according to environmental temperature, a detection target object can be detected appropriately.
また、かかる検出装置であって、前記検出対象画像を生成する画像生成部をさらに含み、前記画像生成部は、前記検出対象画像を含む全体画像から複数の画像をクロッピングすることにより前記検出対象画像を複数生成し、前記複数の検出対象画像のそれぞれについて前記検出対象物の検出を行うことにより、前記全体画像における前記検出対象物の位置を特定することが望ましい。
このようにすることで、全体画像において複数の検出対象物が存在する場合であっても、それぞれの検出対象物を検出することができ、さらに、全体画像における検出対象物の位置を特定することができる。
In addition, the detection apparatus further includes an image generation unit that generates the detection target image, and the image generation unit crops a plurality of images from the entire image including the detection target image. It is preferable that the position of the detection target in the whole image is specified by generating a plurality of and detecting the detection target for each of the plurality of detection target images.
In this way, even when there are a plurality of detection objects in the entire image, each detection object can be detected, and the position of the detection object in the entire image can be specified. Can do.
また、本明細書及び添付図面の記載により、少なくとも、以下の事項も明らかとなる。すなわち、
温度に応じた階調値を含む検出対象画像から、前記検出対象画像の第１領域の階調値が所定範囲の階調値であるか否かに基づいて検出対象物を検出することを含み、
前記所定範囲の階調値は、前記検出対象画像における第２領域の階調値が第１の階調値である場合には第１の所定範囲の階調値であり、前記検出対象画像における第２領域の階調値が第２の階調値である場合には第２の所定範囲の階調値である、検出方法である。
In addition, at least the following matters will become clear from the description of the present specification and the accompanying drawings. That is,
Detecting a detection target object from a detection target image including a gradation value corresponding to temperature based on whether or not the gradation value of the first region of the detection target image is a gradation value within a predetermined range. ,
The gradation value of the predetermined range is the gradation value of the first predetermined range when the gradation value of the second region in the detection target image is the first gradation value, and the gradation value of the detection target image In the detection method, when the gradation value of the second region is the second gradation value, the gradation value is in the second predetermined range.
所定範囲の階調値は、第２領域の階調値が第１の階調値である場合には第１の所定範囲の階調値であり、前記検出対象画像における第２領域の階調値が第２の階調値である場合には第２の所定範囲の階調値である。よって、第１領域の階調値が第２領域の階調値に応じて変化する所定範囲の階調値であるか否かに基づいて、温度に応じた階調値を含む検出対象画像から検出対象物を検出することにより、例えば、第１領域の階調値が第２領域の階調値に応じて変化する場合にも、検出対象物の検出精度を向上させることができる。 The gradation value in the predetermined range is the gradation value in the first predetermined range when the gradation value in the second area is the first gradation value, and the gradation value in the second area in the detection target image. When the value is the second gradation value, the gradation value is in the second predetermined range. Therefore, based on whether or not the gradation value of the first region is a predetermined range of gradation values that change according to the gradation value of the second region, the detection target image including the gradation value corresponding to the temperature is detected. By detecting the detection object, for example, even when the gradation value of the first region changes according to the gradation value of the second region, the detection accuracy of the detection object can be improved.
＝＝＝実施形態＝＝＝
図１は、本実施形態における人物検出システム１の概略構成を示すブロック図である。以下に示す実施形態では、人物を検出するシステムとして説明を行うが、検出対象物はこれに限られない。図１には、人物検出システム１に含まれる赤外線カメラ１１０と、人物検出装置１２０と、表示装置１３０が示されている。本実施形態では、赤外線カメラ１１０と、人物検出装置１２０と、表示装置１３０とは、それぞれ別体であり、電気的に接続されているが、これらのうち少なくとも２つが一体の装置であってもよい。
=== Embodiment ===
FIG. 1 is a block diagram showing a schematic configuration of a person detection system 1 in the present embodiment. In the embodiment described below, a system for detecting a person will be described, but the detection target is not limited to this. FIG. 1 shows an infrared camera 110, a person detection device 120, and a display device 130 included in the person detection system 1. In the present embodiment, the infrared camera 110, the person detection device 120, and the display device 130 are separate from each other and are electrically connected. However, at least two of them may be integrated devices. Good.
赤外線カメラ１１０（センサーに相当）は、中赤外線から遠赤外線の範囲の波長をとらえデジタル値の映像信号を人物検出装置１２０の画像取得部１２２に送信する。赤外線カメラ１１０は、不図示の撮像部とアナログデジタル変換部（Ａ／Ｄ変換部）を含む。撮像部は、赤外線カメラの受光素子に対応するものであり、受光素子が受光した赤外領域の光に対応した信号を人物検出装置１２０に出力する。Ａ／Ｄ変換部は、撮像部で得られたアナログ信号をデジタル信号に変換する機能を有する。 The infrared camera 110 (corresponding to a sensor) captures a wavelength in the range from mid-infrared to far-infrared and transmits a digital video signal to the image acquisition unit 122 of the person detection device 120. The infrared camera 110 includes an imaging unit (not shown) and an analog / digital conversion unit (A / D conversion unit). The imaging unit corresponds to the light receiving element of the infrared camera, and outputs a signal corresponding to the light in the infrared region received by the light receiving element to the person detection device 120. The A / D conversion unit has a function of converting an analog signal obtained by the imaging unit into a digital signal.
ここで、中赤外線は２．５μｍ〜４．０μｍの波長、遠赤外線は４μｍ〜１０００μｍの波長を有する赤外光である。本実施形態では、赤外線カメラ１１０は８〜１４μｍの波長を検知し、人物の体温を検出対象とするが、この波長に限られず、温度を検出できる波長であればこれに限られない。赤外線カメラ１１０は、車両のフロントグリル部などに搭載される。そして、自車両（赤外線カメラ１１０が搭載された車両）から前方方向の環境を撮影する。 Here, the mid-infrared light is infrared light having a wavelength of 2.5 μm to 4.0 μm, and the far infrared light is infrared light having a wavelength of 4 μm to 1000 μm. In the present embodiment, the infrared camera 110 detects a wavelength of 8 to 14 μm and uses a human body temperature as a detection target. However, the infrared camera 110 is not limited to this wavelength and is not limited to this as long as the temperature can be detected. The infrared camera 110 is mounted on a front grill portion of the vehicle. And the environment of the front direction is image | photographed from the own vehicle (vehicle equipped with the infrared camera 110).
人物検出装置１２０は、画像取得部１２２と画像メモリー１２４と制御部１２６と記憶部１２８を含む。そして、後述するような処理により、表示装置１３０に表示するデータを生成する。これら画像取得部１２２、画像メモリー１２４、制御部１２６、及び、記憶部１２８は、例えば、不図示の中央演算装置（ＣＰＵ）、ランダムアクセスメモリー（ＲＡＭ）及びハードディスク（ＨＤＤ）などにより実現される。 The person detection device 120 includes an image acquisition unit 122, an image memory 124, a control unit 126, and a storage unit 128. And the data displayed on the display apparatus 130 are produced | generated by the process as mentioned later. The image acquisition unit 122, the image memory 124, the control unit 126, and the storage unit 128 are realized by, for example, a central processing unit (CPU), a random access memory (RAM), a hard disk (HDD), and the like (not shown).
画像取得部１２２は、赤外線カメラ１１０が得た映像（例えば、１５ｆｐｓの映像）を取得し、この映像からフレーム画像（以下、「画像」と呼ぶ）を取得する。そして、得られた各画像は画像メモリー１２４に送られる。 The image acquisition unit 122 acquires a video (for example, a 15 fps video) obtained by the infrared camera 110 and acquires a frame image (hereinafter referred to as “image”) from the video. Each obtained image is sent to the image memory 124.
画像メモリー１２４は、画像取得部１２２から送られた画像を一時的に記憶する。制御部１２６は、人物検出処理を行うための演算を行う。具体的な人物検出処理については、後述する。 The image memory 124 temporarily stores the image sent from the image acquisition unit 122. The control unit 126 performs a calculation for performing a person detection process. Specific person detection processing will be described later.
記憶部１２８は、学習モデルなどのデータを保存する。具体的には、後述する図８に示すような、推定された人物領域階調値Ｔｆ’（以下、「人物領域推定階調値Ｔｆ’」）の式、及び、範囲Ｖを記憶する。このような人物領域推定階調値Ｔｆ’は、本実施形態において、背景領域階調値Ｔｂを変数とする一次式で表される。 The storage unit 128 stores data such as a learning model. Specifically, an equation of an estimated person area gradation value Tf ′ (hereinafter, “person area estimated gradation value Tf ′”) and a range V as shown in FIG. 8 to be described later are stored. Such a person area estimated gradation value Tf 'is represented by a linear expression using the background area gradation value Tb as a variable in the present embodiment.
表示装置１３０は、例えば、赤外線画像として得られている自車両前方映像を表示するディスプレイである。表示装置１３０には、さらに人物の検出結果として、検出された人物を強調表示することもできる。 The display device 130 is, for example, a display that displays a front image of the host vehicle obtained as an infrared image. The display device 130 can also highlight the detected person as a result of detecting the person.
図２は、クロッピング画像の一例の説明図である。図２には、後述するクロッピング画像における人物領域階調値Ｔｆと背景領域階調値Ｔｂが示されている。ここで、クロッピング画像（検出対象画像に相当する）は、前述のフレーム画像から切り出される所定サイズの画像である。このクロッピング画像のサイズは任意に決めることができる。 FIG. 2 is an explanatory diagram of an example of a cropped image. FIG. 2 shows a person area gradation value Tf and a background area gradation value Tb in a cropped image described later. Here, the cropped image (corresponding to the detection target image) is an image of a predetermined size cut out from the frame image. The size of this cropped image can be arbitrarily determined.
背景領域階調値Ｔｂと人物領域階調値Ｔｆは、ともに、赤外線カメラ１１０の出力、すなわち赤外線カメラ１１０が検知した温度、に応じて変換された階調値である。この画像は画素単位で温度情報を有する画像である。よって、これらの階調値は、それぞれ対応する領域の温度を表すものとみることもできる。本実施形態では、クロッピング画像における人物領域階調値Ｔｆが所定範囲内の階調値であるか否かに基づいて人物検出を行うが、この所定範囲内の階調値は背景領域階調値Ｔｂに応じて変化するものとなっている。これは、人物の温度が、その周辺温度（環境温度）に影響を受けて変化するためである。 Both the background area gradation value Tb and the person area gradation value Tf are gradation values converted according to the output of the infrared camera 110, that is, the temperature detected by the infrared camera 110. This image is an image having temperature information in units of pixels. Therefore, it can be considered that these gradation values represent the temperatures of the corresponding regions. In the present embodiment, person detection is performed based on whether or not the person area gradation value Tf in the cropped image is a gradation value within a predetermined range. The gradation value within the predetermined range is the background area gradation value. It changes according to Tb. This is because the temperature of a person changes under the influence of the ambient temperature (environment temperature).
図３は、学習用画像の一例の説明図である。また、図４は、背景領域階調値Ｔｂと人物領域推定階調値Ｔｆ’との関係を求めるためのフローチャートである。人物領域推定階調値Ｔｆ’は、背景領域階調値Ｔｂに基づいて推定される階調値である。この人物領域推定階調値Ｔｆ’は、以下に説明する学習により、背景領域階調値Ｔｂを変数とした関係式により表されることになる。以下、図３及び図４を参照しつつ、背景領域階調値Ｔｂと人物領域推定階調値Ｔｆ’との関係式の求め方について説明する。 FIG. 3 is an explanatory diagram of an example of the learning image. FIG. 4 is a flowchart for obtaining the relationship between the background area gradation value Tb and the person area estimated gradation value Tf ′. The person area estimated gradation value Tf ′ is a gradation value estimated based on the background area gradation value Tb. The person area estimated gradation value Tf ′ is expressed by a relational expression using the background area gradation value Tb as a variable by learning described below. Hereinafter, a method for obtaining a relational expression between the background region gradation value Tb and the person region estimated gradation value Tf ′ will be described with reference to FIGS. 3 and 4.
この関係式を求めるにあたり、検出対象物（ここでは人物）が撮影されている画像が複数用意される。図３の画像は、複数用意された画像（学習用画像）のうちの一つを例として表したものである。本実施形態では、赤外線カメラを用いて温度に応じた画像が取得され、この温度に応じた画像に基づいて検出対象物の検出が行われる。よって、学習用画像も、赤外線カメラによって人物が撮影されて得られた画像が用意される。学習用画像には、検出対象物である人物の画像と、その背景の画像とが含まれる。すなわち、学習用画像には、検出対象物が存在する可能性が高い領域と、環境温度に対応する可能性が高い領域とが含まれる。 In obtaining this relational expression, a plurality of images in which a detection object (here, a person) is photographed are prepared. The image in FIG. 3 represents one of a plurality of prepared images (learning images) as an example. In the present embodiment, an image corresponding to the temperature is acquired using an infrared camera, and the detection target is detected based on the image corresponding to the temperature. Therefore, an image obtained by photographing a person with an infrared camera is also prepared as a learning image. The learning image includes an image of a person who is a detection target and an image of the background. That is, the learning image includes a region where the detection target object is likely to exist and a region which is highly likely to correspond to the environmental temperature.
学習用画像は、図３に示されるようにセル状の複数の領域に分割される。そして、検出対象物が存在する可能性の高い領域のうち一つの領域の階調値が、人物領域階調値Ｔｆとされる。また、検出対象物の周囲の温度（環境温度）に対応する可能性の高い領域のうち一つの領域の階調値が、背景領域階調値Ｔｂとされる。本実施形態では、図３に示された領域を人物領域階調値Ｔｆとしたが、人物の全体がクロッピング画像に含まれる場合、クロッピング画像の中央付近が人物、周辺が背景である可能性が高いので、より画像の中央寄りの領域を人物領域階調値Ｔｆとしてもよい。また、左上の領域を背景領域階調値Ｔｂとしたが、右上、右下、左下など、他の領域としてもよい。また、本実施形態において領域の階調値は、複数の画素を含む領域における平均の階調値としているが、１つの画素を１つの領域とすることもできる。 The learning image is divided into a plurality of cell-like regions as shown in FIG. Then, the gradation value of one area among the areas where the detection target object is likely to exist is set as the person area gradation value Tf. In addition, the gradation value of one of the regions that are highly likely to correspond to the ambient temperature (environment temperature) of the detection target object is set as the background region gradation value Tb. In the present embodiment, the area shown in FIG. 3 is the person area gradation value Tf. However, when the entire person is included in the cropped image, there is a possibility that the vicinity of the center of the cropped image is the person and the background is the background. Since it is high, the area closer to the center of the image may be the person area gradation value Tf. Further, although the upper left area is the background area gradation value Tb, other areas such as upper right, lower right, and lower left may be used. In the present embodiment, the gradation value of the region is an average gradation value in a region including a plurality of pixels, but one pixel can be a single region.
関係式を求めるにあたり、ステップＳ１０２からステップＳ１１０の間のループにおいて、複数の学習用画像の人物領域階調値Ｔｆ及び背景領域階調値Ｔｂが取得される。具体的には、ステップＳ１０４において、ｋ番目の学習用画像の背景領域階調値Ｔｂが取得される。また、ステップＳ１０６において、ｋ番目の学習用画像の人物領域階調値Ｔｆが取得される。そして、ステップＳ１０８においてｋの値がインクリメント（加算）される。このような処理が、用意された学習用画像の枚数（ここではＮ枚とする）について行われる。 In obtaining the relational expression, the person area gradation value Tf and the background area gradation value Tb of the plurality of learning images are acquired in a loop between step S102 and step S110. Specifically, in step S104, the background area gradation value Tb of the kth learning image is acquired. In step S106, the person area gradation value Tf of the kth learning image is acquired. In step S108, the value of k is incremented (added). Such processing is performed for the number of prepared learning images (here, N).
このようにして、Ｎ枚の学習用画像の人物領域階調値Ｔｆと背景領域階調値Ｔｂが取得されると、それぞれの値Ｔｆｋ及びＴｂｋから、線形回帰式Ｔｆ’＝ａ・Ｔｂ＋ｂの係数ａ及びｂを求める。係数ａ及びｂは、上記Ｔｆｋ及びＴｂｋを代入した一次式をＮ本用意し、これらについて最小二乗法を適用することにより求められる。このようにすることにより、複数の学習画像に応じた人物領域推定階調値Ｔｆ’と背景領域階調値Ｔｂとの関係が一次式によって求められることになる。 When the person area gradation value Tf and the background area gradation value Tb of the N learning images are acquired in this way, the linear regression equation Tf ′ = a · Tb + b is obtained from the respective values Tf k and Tb k. The coefficients a and b are obtained. The coefficients a and b are obtained by preparing N linear expressions substituting Tf k and Tb k and applying the least square method to these. By doing in this way, the relationship between the person area estimated gradation value Tf ′ and the background area gradation value Tb corresponding to a plurality of learning images is obtained by a linear expression.
このようにして関係式を求めることができると、この関係式を用いて検出対象物の検出を行うことができる。
図５は、本実施形態における人物検出処理（全体画像）のフローチャートである。赤外線カメラ１１０は、撮影対象物から放射される赤外線に応じた映像をデジタルデータとして出力している。このような映像から１枚の画像（全体画像）が取得される（Ｓ２０２）。赤外線カメラ１１０から得られた画像は、温度に応じた階調値が各画素に設定された画像である。つまり、この画像は画素単位で温度情報を有する画像である。
If the relational expression can be obtained in this way, the detection target can be detected using this relational expression.
FIG. 5 is a flowchart of person detection processing (entire image) in the present embodiment. The infrared camera 110 outputs an image corresponding to the infrared ray radiated from the photographing object as digital data. One image (entire image) is obtained from such a video (S202). The image obtained from the infrared camera 110 is an image in which gradation values corresponding to temperature are set for each pixel. That is, this image is an image having temperature information in units of pixels.
そして、得られた画像について前処理が行われる（Ｓ２０４）。前処理は、例えば、画像のコントラストの調整、及び、リサイズなどの処理である。 Then, preprocessing is performed on the obtained image (S204). Pre-processing is, for example, processing such as image contrast adjustment and resizing.
次に、ステップＳ２０６〜ステップＳ２１０において、探索窓ｗ（図７参照）を全体画像の範囲内で移動させつつ、人物検出処理が行われる。具体的には、ステップＳ２０６からステップＳ２１０のループにおいて、探索窓ｗが一画素分ずつ（又は複数画素分）動かされながら探索窓ｗのサイズで画像がクロッピングされ、クロッピングされた画像に検出対象物が含まれているか否かの判定が行われる（Ｓ２０８）。 Next, in steps S206 to S210, a person detection process is performed while moving the search window w (see FIG. 7) within the range of the entire image. Specifically, in the loop from step S206 to step S210, an image is cropped at the size of the search window w while the search window w is moved one pixel at a time (or a plurality of pixels), and the detection target object is added to the cropped image. Whether or not is included is determined (S208).
図６は、本実施形態における人物検出処理（クロッピング画像）のフローチャートである。この人物検出処理は、クロッピングされた各画像について適用される。クロッピング画像から、背景領域階調値Ｔｂと人物領域階調値Ｔｆが取得される（Ｓ３０２）。人物検出処理における背景領域階調値Ｔｂと人物領域階調値Ｔｆの取得は、学習用画像における背景領域階調値Ｔｂと人物領域階調値Ｔｆと同様にして行うことができる。 FIG. 6 is a flowchart of person detection processing (cropping image) in the present embodiment. This person detection process is applied to each cropped image. From the cropped image, the background area gradation value Tb and the person area gradation value Tf are acquired (S302). The background area gradation value Tb and the person area gradation value Tf in the person detection process can be acquired in the same manner as the background area gradation value Tb and the person area gradation value Tf in the learning image.
次に、クロッピング画像の背景領域階調値Ｔｂを前述の関係式に代入して人物領域推定階調値Ｔｆ’を得る。そして、クロッピング画像から得られた人物領域階調値Ｔｆから人物領域推定階調値Ｔｆ’を差し引いた値の絶対値である特徴量ｖを求める（Ｓ３０４）。 Next, the person region estimated gradation value Tf ′ is obtained by substituting the background region gradation value Tb of the cropped image into the above-described relational expression. Then, a feature value v which is an absolute value of a value obtained by subtracting the person area estimated gradation value Tf ′ from the person area gradation value Tf obtained from the cropped image is obtained (S304).
次に、求められた特徴量ｖが所定範囲Ｖ以内の階調値であるか否かについて判定する（Ｓ３０６）。特徴量ｖが所定範囲Ｖ以内の階調値であれば（Ｓ３０６がＹＥＳ）、クロッピング画像に人物が含まれているものと判定して、処理を人物検出処理（全体画像）に返す。そして、そのクロッピング画像の位置が記憶部１２８に記憶される。一方、特徴量ｖが所定範囲Ｖを超える（所定範囲Ｖよりも大きい、または所定範囲Ｖよりも小さい）階調値であれば、すなわち特徴量ｖが所定範囲Ｖ以内でなければ（Ｓ３０６がＮＯ）、クロッピング画像には人物が含まれていないものと判定して、処理を人物検出処理（全体画像）に返す。 Next, it is determined whether or not the obtained feature value v is a gradation value within a predetermined range V (S306). If the feature value v is a gradation value within the predetermined range V (YES in S306), it is determined that a person is included in the cropped image, and the process is returned to the person detection process (entire image). Then, the position of the cropped image is stored in the storage unit 128. On the other hand, if the feature value v exceeds the predetermined range V (greater than the predetermined range V or smaller than the predetermined range V), that is, the feature value v is not within the predetermined range V (NO in S306). ), It is determined that no person is included in the cropped image, and the process is returned to the person detection process (entire image).
このような処理を、探索窓ｗを移動させながら、各クロッピング画像について行う。
図７は、探索窓ｗの移動の様子の説明図である。図７には、全体画像において探索窓ｗが移動させられている様子が示されている。探索窓ｗの移動のさせ方は、Ｓ２００からＳ２１０の説明で述べたとおりである。このようにして、各クロッピング画像について検出対象物が存在するか否かの判定を行い、人物が検出されたクロッピング画像の位置を記憶することによって、全体画像における人物（検出対象物）の全体画像における位置が特定できる。
Such processing is performed for each cropped image while moving the search window w.
FIG. 7 is an explanatory diagram of how the search window w moves. FIG. 7 shows a state where the search window w is moved in the entire image. The method of moving the search window w is as described in the description of S200 to S210. In this way, it is determined whether or not a detection target exists for each cropped image, and the position of the cropped image from which the person is detected is stored, whereby the entire image of the person (detection target) in the entire image The position in can be specified.
このようにして、全体画像における各クロッピング画像についての人物検出処理が完了すると、人物検出装置１２０に接続された表示装置１３０に検出結果が表示される（Ｓ２１２）。結果表示は、赤外線画像として得られている自車両前方映像に、歩行者として判定された箇所を、歩行者を含むようにして強調表示させたり、注意を喚起するために画面をフラッシュさせたりして行うことができる。さらに、場合によっては、運転支援として、ブレーキをかけることをアシストしたり、視覚補助としてフロントライトがダウンライトになっているのをアップライトにしてもよい。 Thus, when the person detection process for each cropped image in the entire image is completed, the detection result is displayed on the display device 130 connected to the person detection device 120 (S212). The result display is performed by highlighting a part determined as a pedestrian in the front image of the vehicle obtained as an infrared image so as to include the pedestrian or flashing the screen to call attention. be able to. Further, depending on the case, as driving assistance, it may be possible to assist braking, or as a visual assistance, the front light may be downlighted.
図８は、本実施形態における人物検出処理の検出精度の説明図である。図９は、比較例の人物検出処理の検出精度の説明図である。これらの図において、縦軸は人物領域階調値Ｔｆ、横軸は背景領域階調値Ｔｂである。三角形のプロットは、人物ではない画像（領域）の階調地（Ｔｂ，Ｔｆ）を表す。また、四角形のプロットは、人物の画像（領域）の階調地（Ｔｂ，Ｔｆ）を表す。図８と図９の両方に、本実施形態におけるＴｆ’を表す直線が実線で示されている。また、図８及び図９のそれぞれの手法において人と検出される階調値の範囲が破線で示されている。つまり、それぞれの手法において、クロッピング画像から取得された人物領域階調値Ｔｆが破線で示された範囲に入ったとき、その画像には人物が含まれていると判定される。 FIG. 8 is an explanatory diagram of the detection accuracy of the person detection process in the present embodiment. FIG. 9 is an explanatory diagram of the detection accuracy of the person detection process of the comparative example. In these figures, the vertical axis represents the person area tone value Tf, and the horizontal axis represents the background area tone value Tb. The triangular plot represents the gradation level (Tb, Tf) of an image (region) that is not a person. Further, the quadrangular plot represents the gradation place (Tb, Tf) of the person image (region). In both FIG. 8 and FIG. 9, a straight line representing Tf ′ in the present embodiment is shown by a solid line. In addition, the range of gradation values detected as a person in each of the methods in FIGS. 8 and 9 is indicated by a broken line. That is, in each method, when the person region tone value Tf acquired from the cropped image falls within the range indicated by the broken line, it is determined that the image includes a person.
図９の比較例の人物検出処理では、検出対象物（人物）の背景の温度を考慮せず、人物の温度に基づいて一律に人物検出処理を行っていた。具体的には、前述の背景領域温度Ｔｂを用いず、前述の人物領域階調値Ｔｆが所定範囲内に入っているか否かに基づいて人物検出処理を行っていた。背景温度が考慮されないので、この「所定範囲」は、背景領域階調値Ｔｂの値に関わらず一定であった。しかしながら、環境温度によって、実際の人物の表面温度（着衣の温度等）は変化する。例えば、環境温度が低い場合、人物の表面温度は下がり、環境温度が高い場合、人物の表面温度も高くなる傾向がある。 In the human detection process of the comparative example of FIG. 9, the human detection process is uniformly performed based on the temperature of the person without considering the background temperature of the detection target (person). Specifically, the person detection process is performed based on whether or not the person area gradation value Tf is within a predetermined range without using the background area temperature Tb. Since the background temperature is not taken into consideration, the “predetermined range” is constant regardless of the value of the background area gradation value Tb. However, the actual person's surface temperature (clothing temperature, etc.) varies depending on the environmental temperature. For example, when the environmental temperature is low, the person's surface temperature decreases, and when the environmental temperature is high, the person's surface temperature tends to increase.
そのため、「所定範囲」を一定とすると、様々な環境温度における人物の検出を行うためには、人物と判定する範囲、すなわち、図９に示された破線で示される範囲を広くせざるを得ない。例えば、この範囲を狭くしてしまうと人物の検出漏れが発生してしまう。しかしながら、この範囲を広くしてしまうと人物ではないものも人物として判定してしまうという問題がある。図９には、破線の範囲内に三角形のプロットが多く含まれていることが示されている。これは、範囲を広くした結果、人物を含まない画像についても人物を含むものと誤判定をしてしまうケースが多いことを示している。 Therefore, assuming that the “predetermined range” is constant, in order to detect a person at various environmental temperatures, the range determined as a person, that is, the range indicated by the broken line shown in FIG. Absent. For example, if this range is narrowed, a person detection failure occurs. However, there is a problem that if this range is widened, a non-person is also determined as a person. FIG. 9 shows that many triangular plots are included within the range of the broken line. This indicates that as a result of widening the range, there are many cases where an image that does not include a person is erroneously determined to include a person.
これに対して、図８の本実施形態における人物検出処理では、人物領域階調値Ｔｆと背景領域階調値Ｔｂに基づいて回帰式を求めている。回帰式においては、背景領域階調値Ｔｂに応じて人物領域推定階調値Ｔｆ’が変化する。すなわち、背景領域階調値Ｔｂが第１の階調値である場合には、人物領域推定階調値Ｔｆ’は第１の推定階調値であり、背景領域階調値Ｔｂが第２の階調値である場合には、人物領域推定階調値Ｔｆ’は第２の推定階調値である。そして、人物領域推定階調値Ｔｆ’を中心とした所定範囲に測定した人物領域階調値Ｔｆが入っている場合に人物を含む画像として判定しているので、背景領域階調値Ｔｂが第１の階調値である場合には、所定範囲の階調値は第１の所定範囲の階調値であり、背景領域階調値Ｔｂが第２の階調値である場合には、所定範囲の階調値は第２の所定範囲の階調値となる。このように、人物領域階調値Ｔｆと背景領域階調値Ｔｂとの関係を考慮して人物領域推定階調値Ｔｆ’を求めているので、人物であるか否かの基準となる「所定範囲」が、環境温度に応じて変化する。例えば、本実施形態においては、環境温度が低い場合にはそれに合わせて人物であるか否かを判定する「所定範囲」もこれにあわせて低くなることになる。また、環境温度が高い場合にはそれに合わせて人物であるか否かを判定する「所定範囲」もこれにあわせて高くなることになる。つまり、人物領域推定階調値Ｔｆ’（図における直線Ｔｆ’）の全体を含むように所定範囲Ｖを設定しなくても、人物領域推定階調値Ｔｆ’から一定値の範囲を所定範囲Ｖとすることで、人物（検出対象物）の検出精度を向上させることができる。 On the other hand, in the person detection process in the present embodiment in FIG. 8, a regression equation is obtained based on the person area gradation value Tf and the background area gradation value Tb. In the regression equation, the person area estimated gradation value Tf ′ changes according to the background area gradation value Tb. That is, when the background area gradation value Tb is the first gradation value, the person area estimated gradation value Tf ′ is the first estimated gradation value, and the background area gradation value Tb is the second gradation value. In the case of the gradation value, the person area estimated gradation value Tf ′ is the second estimated gradation value. When the person area tone value Tf measured in a predetermined range centered on the person area estimated tone value Tf ′ is determined as an image including a person, the background area tone value Tb is When the gradation value is 1, the gradation value within the predetermined range is the gradation value within the first predetermined range, and when the background region gradation value Tb is the second gradation value, the predetermined gradation value is determined. The gradation value in the range is the gradation value in the second predetermined range. In this way, since the person area estimated gradation value Tf ′ is obtained in consideration of the relationship between the person area gradation value Tf and the background area gradation value Tb, “predetermined as a reference for whether or not the person is a person”. The “range” varies depending on the environmental temperature. For example, in the present embodiment, when the environmental temperature is low, the “predetermined range” for determining whether or not the person is a person is also lowered accordingly. In addition, when the environmental temperature is high, the “predetermined range” for determining whether or not the person is a person is also increased accordingly. That is, even if the predetermined range V is not set so as to include the entire human region estimated gradation value Tf ′ (straight line Tf ′ in the drawing), the predetermined range V is set from the human region estimated gradation value Tf ′. By doing so, the detection accuracy of a person (detection target) can be improved.
なお、本実施形態では、検出対象物として人物を検出するものとしているが、検出対象物がこれに限られないことはいうまでもない。例えば、動物などを同様にして検出することも可能である。 In the present embodiment, a person is detected as the detection target, but it goes without saying that the detection target is not limited to this. For example, it is possible to detect animals and the like in the same manner.
１ 人物検出システム、
１１０ 赤外線カメラ、１２０ 人物検出装置、１３０ 表示装置、
１２２ 画像取得部、１２４ 画像メモリー、
１２６ 制御部、１２８ 記憶部、
Ｔｂ 背景領域階調値、Ｔｆ 人物領域階調値、Ｔｆ’ 人物領域推定階調値
1 person detection system,
110 infrared camera, 120 person detection device, 130 display device,
122 image acquisition unit, 124 image memory,
126 control unit, 128 storage unit,
Tb background area gradation value, Tf person area gradation value, Tf ′ person area estimated gradation value
Claims (7)
前記所定範囲の階調値は、前記検出対象画像における第２領域の階調値が第１の階調値である場合には第１の所定範囲の階調値であり、前記検出対象画像における第２領域の階調値が第２の階調値である場合には第２の所定範囲の階調値である、検出装置。 A detection unit that detects a detection target object based on whether or not the gradation value of the first region of the detection target image is a gradation value within a predetermined range from the detection target image including a gradation value corresponding to temperature. Including
The gradation value of the predetermined range is the gradation value of the first predetermined range when the gradation value of the second region in the detection target image is the first gradation value, and the gradation value of the detection target image The detection device, which is a second predetermined range of gradation values when the gradation value of the second region is the second gradation value.
前記一次式の係数は、前記検出対象物を含む複数の学習用画像における前記第１領域の階調値と前記第２領域の階調値を用いた最小二乗法により求められる、請求項１に記載の検出装置。 The predetermined range of gradation values is represented by an equation including a linear expression indicating a relationship between the gradation value of the first region and the gradation value of the second region,
The coefficient of the linear equation is obtained by a least square method using a gradation value of the first region and a gradation value of the second region in a plurality of learning images including the detection target. The detection device described.
前記画像生成部は、前記検出対象画像を含む全体画像から複数の画像をクロッピングすることにより前記検出対象画像を複数生成し、
前記複数の検出対象画像のそれぞれについて前記検出対象物の検出を行うことにより、前記全体画像における前記検出対象物の位置を特定する、請求項１〜５のいずれかに記載の検出装置。 An image generation unit that generates the detection target image;
The image generation unit generates a plurality of the detection target images by cropping a plurality of images from the entire image including the detection target images,
The detection device according to claim 1, wherein the detection target object is detected for each of the plurality of detection target images to identify a position of the detection target object in the entire image.
前記所定範囲の階調値は、前記検出対象画像における第２領域の階調値が第１の階調値である場合には第１の所定範囲の階調値であり、前記検出対象画像における第２領域の階調値が第２の階調値である場合には第２の所定範囲の階調値である、検出方法。 Detecting a detection target object from a detection target image including a gradation value corresponding to temperature based on whether or not the gradation value of the first region of the detection target image is a gradation value within a predetermined range. ,
The gradation value of the predetermined range is the gradation value of the first predetermined range when the gradation value of the second region in the detection target image is the first gradation value, and the gradation value of the detection target image The detection method, wherein the gradation value of the second region is the gradation value of the second predetermined range when the gradation value of the second area is the second gradation value.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011149340A JP5782870B2 (en) | 2011-07-05 | 2011-07-05 | Detection apparatus and detection method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011149340A JP5782870B2 (en) | 2011-07-05 | 2011-07-05 | Detection apparatus and detection method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2013016071A true JP2013016071A (en) | 2013-01-24 |
| JP5782870B2 JP5782870B2 (en) | 2015-09-24 |
Family
ID=47688695
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2011149340A Expired - Fee Related JP5782870B2 (en) | 2011-07-05 | 2011-07-05 | Detection apparatus and detection method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5782870B2 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109532742B (en) * | 2018-11-23 | 2020-10-13 | 中科传启（苏州）科技有限公司 | In-vehicle life body reminding method and device |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001000400A (en) * | 1999-06-18 | 2001-01-09 | Omron Corp | Radiation thermometer |
| JP2010102572A (en) * | 2008-10-24 | 2010-05-06 | Honda Motor Co Ltd | Periphery monitoring device for vehicle |
| WO2011027907A1 (en) * | 2009-09-03 | 2011-03-10 | Honda Motor Co., Ltd. | Vehicle vicinity monitoring apparatus |
-
2011
- 2011-07-05 JP JP2011149340A patent/JP5782870B2/en not_active Expired - Fee Related
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001000400A (en) * | 1999-06-18 | 2001-01-09 | Omron Corp | Radiation thermometer |
| JP2010102572A (en) * | 2008-10-24 | 2010-05-06 | Honda Motor Co Ltd | Periphery monitoring device for vehicle |
| WO2011027907A1 (en) * | 2009-09-03 | 2011-03-10 | Honda Motor Co., Ltd. | Vehicle vicinity monitoring apparatus |
Also Published As
| Publication number | Publication date |
|---|---|
| JP5782870B2 (en) | 2015-09-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4359710B2 (en) | Vehicle periphery monitoring device, vehicle, vehicle periphery monitoring program, and vehicle periphery monitoring method | |
| JP4482599B2 (en) | Vehicle periphery monitoring device | |
| KR101687530B1 (en) | Control method in image capture system, control apparatus and a computer-readable storage medium | |
| JP5809751B2 (en) | Object recognition device | |
| JP5760090B2 (en) | Biological recognition device | |
| WO2022088886A1 (en) | Systems and methods for temperature measurement | |
| KR101754152B1 (en) | Thermal Patient Monitering System by Using Multiple Band Camera and Method thereof | |
| JP5271227B2 (en) | Crowd monitoring device, method and program | |
| KR20140076415A (en) | Apparatus and method for providing information of blind spot | |
| JP2009025910A (en) | Obstacle detection device, obstacle detection system, and obstacle detection method | |
| US11605220B2 (en) | Systems and methods for video surveillance | |
| JP2007172378A (en) | Apparatus for specifying object to be gazed at | |
| KR101553012B1 (en) | Apparatus and method for extracting object | |
| US9064158B2 (en) | Vehicle surroundings monitoring device | |
| JP2022079798A (en) | Object recognition device and object recognition method | |
| JP5782870B2 (en) | Detection apparatus and detection method | |
| WO2016063595A1 (en) | Image processing device, image processing method and program | |
| JP4765113B2 (en) | Vehicle periphery monitoring device, vehicle, vehicle periphery monitoring program, and vehicle periphery monitoring method | |
| JP2013228915A (en) | Pedestrian detecting device and method for detecting pedestrian | |
| JP2012247225A (en) | Detection apparatus and detection method | |
| JP2013218393A (en) | Imaging device | |
| JP5862261B2 (en) | DETECTING DEVICE, DETECTING METHOD, AND VEHICLE | |
| JP2007174113A (en) | Obstacle detection system and obstacle detection method | |
| JP5802183B2 (en) | Vehicle periphery monitoring device | |
| JP2008040724A (en) | Image processing device and image processing method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140618 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150309 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150414 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150525 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150623 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150706 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5782870 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| LAPS | Cancellation because of no payment of annual fees |