JP2003141546A - Image processing method - Google Patents
Image processing methodInfo
- Publication number
- JP2003141546A JP2003141546A JP2001342167A JP2001342167A JP2003141546A JP 2003141546 A JP2003141546 A JP 2003141546A JP 2001342167 A JP2001342167 A JP 2001342167A JP 2001342167 A JP2001342167 A JP 2001342167A JP 2003141546 A JP2003141546 A JP 2003141546A
- Authority
- JP
- Japan
- Prior art keywords
- image
- processing method
- point
- image processing
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Abstract
Description
【０００１】[0001]
【発明の属する技術分野】本発明は、画像処理方法に係
り、詳しくは継続的に情景を撮影した画像時系列から信
頼性高くロバストに物体を検出し、背景から分離するた
めの画像パタン検出技術に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an image processing method, and more particularly, to an image pattern detection technique for reliably and robustly detecting an object from an image time series of continuously captured scenes and separating the object from the background. Regarding
【０００２】[0002]
【従来の技術】継続的に情景を撮影した画像時系列から
信頼性高くロバスト（頑強）に物体を検出し、背景から
分離するための画像パタン検出技術は、例えば、羽下哲
司、藤原秀人、鷲見和彦“首振り、ズームカメラを用い
たトラッキング型侵入監視システム”（信学技報、ＰＲ
ＭＵ９９−６７、１９９９）や、Ｐ．Ｌ．Ｒｏｓｉｎ
“Ｔｈｒｅｓｈｏｌｄｉｎｇ ｆｏｒ Ｃｈａｎｇｅ
Ｄｅｔｅｃｔｉｏｎ”（Ｐｒｏｃ．ＩＣＣＶ９８，ｐ
ｐ．２７４−２７９，１９９８）に記載されているよう
な環境監視の分野に利用される。2. Description of the Related Art Image pattern detection techniques for reliably and robustly detecting an object from a time series of images of continuously captured scenes and separating it from the background include, for example, Tetsuji Hashita and Hideto Fujiwara. Kazuhiko Sumi, "Tracking-type intrusion monitoring system using a swing camera and zoom camera" (Technical Report, PR)
MU99-67, 1999), P. L. Rosin
"Thresholding for Change
Detection ”(Proc. ICCV98, p
p. 274-279, 1998) and is used in the field of environmental monitoring.
【０００３】また、Ｄ．Ｋｏｌｌｅｒ，Ｊ．Ｗｅｂｅ
ｒ，Ｔ．Ｈｕａｎｇ，Ｊ．Ｍａｌｉｋ，Ｇ．Ｏｇａｓａ
ｗａｒａ，Ｂ．Ｒａｏ ａｎｄ Ｓ．Ｒｕｓｓｅｌ，”
Ｔｏｗａｒｄｓ ｒｏｂｕｓｔ ａｕｔｏｍａｔｉｃ
ｔｒａｆｆｉｃ ｓｃｅｎｅａｎａｌｙｓｉｓ ｉｎ
ｒｅａｌ−ｔｉｍｅ”（Ｐｒｏｃ．ＩＣＰＲ９４，ｐ
ｐ．１２６−１３１，１９９４）、金山憲司“道路交通
システムにおける画像認識の現状と技術課題”（信学技
報、ＰＲＭＵ９７−３２，１９９７．）に記載されてい
るようなＩＴＳの分野にも利用される。In addition, D. Koller, J .; Webe
r, T. Huang, J .; Malik, G .; Ogasa
wara, B.W. Rao and S. Russell, ”
Towards Robust automatic
traffic scene analysis in
real-time "(Proc. ICPR94, p.
p. 126-131, 1994), Kenji Kanayama, “Current situation and technical problems of image recognition in road traffic system” (Science Technical Report, PRMU 97-32, 1997.). .
【０００４】また、Ｃ．Ｗｒｅｎ，Ａ．Ａｚａｒｂａｙ
ｅｊａｎｉ，Ｔ．Ｄａｒｒｅ１１，Ａ．Ｐｅｎｔｌａｎ
ｄ“Ｐｆｉｎｄｅｒ：Ｒｅａｌ−Ｔｉｍｅ Ｔｒａｃｋ
ｉｎｇ ｏｆ ｔｈｅ Ｈｕｍａｎ Ｂｏｄｙ”（ＩＥ
ＥＥ Ｔｔａｎｓ．ＰＡＭＩ，Ｖｏｌ．１９，Ｎｏ．
７，ｐｐ．７８０−７８５，１９９７．）や、Ａ．Ｍｏ
ｈａｎ，Ｃ．Ｐａｐａｇｅｏｒｇｉｏｕ，ａｎｄ Ｔ．
Ｐｏｇｇｉｏ“Ｅｘａｍｐｌｅ−Ｂａｓｅｄ Ｏｂｊｅ
ｃｔ Ｄｅｔｅｃｔｉｏｎ ｉｎ Ｉｍａｇｅｓｂｙ
Ｃｏｍｐｏｎｅｎｔｓ”（ＩＥＥＥ Ｔｒａｎｓ．ＰＡ
ＭＩ，Ｖｏ１．２３，Ｎｏ．４，ｐｐ．３４９−３６
１，２００１．）や、棚橋英樹、島田大輔、山本和彦、
丹羽義典“全方向ステレオシステム（ＳＯＳ）を用いた
移動物体追跡”（信学技報、ＰＲＭＵ９９−６７，１９
９９．）に記載されているような人物検出およびトラッ
キングにも利用されるなど、様々な分野において重要と
なる基本技術である。C.I. Wren, A .; Azarbay
ejani, T .; Darre 11, A.M. Pentlan
d "Pfinder: Real-Time Track
ing of the Human Body "(IE
EE Ttans. PAMI, Vol. 19, No.
7, pp. 780-785, 1997. ), And A. Mo
han, C.I. Papageorgiou, and T.P.
Poggio "Example-Based Obje"
ct Detection in Imagesby
Components "(IEEE Trans. PA
MI, Vo1.23, No. 4, pp. 349-36
1, 2001. ), Hideki Tanahashi, Daisuke Shimada, Kazuhiko Yamamoto,
Yoshinori Niwa "Tracking Moving Objects Using Omnidirectional Stereo System (SOS)" (Technical Report, PRMU99-67, 19)
99. It is also an important basic technology in various fields such as being used for person detection and tracking as described in (1).
【０００５】特に、山本和彦、棚橋英樹、桑島茂純、丹
羽義典“実環境センシングのための全方向ステレオシス
テム（ＳＯＳ）”（電学論、Ｖｏｌ．１２１−Ｃ，Ｎ
ｏ．５，ｐｐ．８７６−８８１，２００１．）のような
実環境センシングにおいては、情景が複雑な背景を持つ
場合が多く、画像時系列中から出現物体（イベント）の
みを精度よく検出および分離することが、その後の認識
処理などの性能に大きな影響を与える。In particular, Kazuhiko Yamamoto, Hideki Tanahashi, Shigezumi Kuwashima, Yoshinori Niwa "Omnidirectional Stereo System (SOS) for Real Environment Sensing" (Electronics Theory, Vol. 121-C, N.
o. 5, pp. 876-881, 2001. In a real environment sensing such as), the scene often has a complicated background, and accurately detecting and separating only appearing objects (events) from the image time series will improve the performance of subsequent recognition processing. Have a big impact.
【０００６】そこで、山田浩正、伊藤渡、上田博唯“背
景差分法における波の誤検出抑制法の検討”（信学技
報、ＰＲＭＵ９８−１０９，１９９８．）に記載された
背景差分法や、影広達彦、太田友一“動画像からの背景
画像の自動生成と適応的更新”（画像の認識・理解シン
ポジウム（ＭＩＲＵ’９４）講演論文集ＩＩ−ｐｐ．２
６３−２７０，１９９４．）に記載されたフレーム間差
分法など画像の明度差に基づく手法が多く提案されてい
る。Therefore, the background subtraction method described in Hiromasa Yamada, Wataru Ito, Hiroyuki Ueda, "Study on False Detection Detection Method of Waves in Background Difference Method" (Shingaku Giho, PRMU98-109, 1998.), Tatsuhiko Kagehiro, Yuichi Ota "Automatic Generation and Adaptive Update of Background Images from Moving Images" (Image Recognition and Understanding Symposium (MIRU'94) Proceedings II-pp. 2
63-270, 1994. Many methods based on the difference in lightness of images, such as the inter-frame difference method described in (1), have been proposed.
【０００７】[0007]
【発明が解決しようとする課題】しかしながら、明度差
に基づく手法では、演算量が少ないというメリットを持
つ反面、照明条件の変化の影響を受けやすく、更に物体
表面の明度と背景の明度が近い部位は検出できず、検出
領域にいわゆる「虫食い」を生ずるなどの問題があり、
このため人物のトラッキングなどでは、実験条件として
単純背景と単純な服装が用いなければならないという問
題があった。However, the method based on the difference in lightness has the advantage that the amount of calculation is small, but on the other hand, it is easily affected by changes in lighting conditions, and the lightness of the object surface and the lightness of the background are close to each other. Can not be detected, there is a problem such as causing so-called "worm eating" in the detection area,
For this reason, there has been a problem that a simple background and simple clothes have to be used as experimental conditions in human tracking and the like.
【０００８】また、明度差分の問題点を補うため、差分
処理を空間微分と組み合わせることで明るさの変動や影
などの影響を低減した改良法として、嶺直道、八木康
史、谷内田正彦“空間微分画像と差分画像の結合による
変化領域検出法”（信学論（Ｄ−ＩＩ），Ｖｏｌ．Ｊ７
７−Ｄ−ＩＩ，Ｎｏ．３，ｐｐ．６３１−６３４，１９
９４．）や、高藤政雄、北村忠明、小林芳樹“空間微分
及び差分処理を用いた車両抽出法”（信学論（Ｄ−Ｉ
Ｉ），Ｖｏｌ．Ｊ８０−Ｄ−ＩＩ，Ｎｏ．１１，ｐｐ．
２９７６−２９８５，１９９７．）などが提案されてい
る。しかしながら、差分処理の段階である程度まとまっ
た領域が検出され、かつ安定にエッジが得られていると
いう条件が必要となるなどの問題点がある。[0008] Further, in order to make up for the problem of brightness difference, as an improved method that reduces the influence of fluctuations in brightness and shadows by combining difference processing with spatial differentiation, Naomine Remine, Yasushi Yagi, Masahiko Yachida "Spatial differentiation" Change Area Detection Method by Combining Image and Difference Image "(Shingaku Theory (D-II), Vol. J7
7-D-II, No. 3, pp. 631-634, 19
94. ), Masao Takafuji, Tadaaki Kitamura, Yoshiki Kobayashi “Vehicle Extraction Method Using Spatial Differentiation and Difference Processing” (Society theory (D-I
I), Vol. J80-D-II, No. 11, pp.
2976-2985, 1997. ) Etc. have been proposed. However, there is a problem such that a condition that a region that has been collected to some extent is detected in the stage of the difference processing and that edges are stably obtained is required.
【０００９】また、波部斉、和田俊和、松山隆司“照明
変化に対して頑健な背景差分法”（情処学会研究会資
料、ＣＶＩＭ１１５−３，ｐｐ．１７−２４，１９９
９．）や、藤原秀人、関真規人、鷲見和彦、波部斉“テ
クスチャ背景差分とシルエットモデルを用いた車両追跡
手法”（第６回画像センシングシンポジウム（ＳＳＩＩ
２０００）講演論文集、ｐｐ．１７−２２，２００
０．）等のテクスチャに注目した手法も提案されてい
る。これは、背景画像と対象情景をそれぞれＮ×Ｎ画素
のブロックに分割し、各ブロック間でテクスチャの相違
を評価するものであり、ブロックをベクトルと見立て、
ブロック間の正規化距離を評価するため、明度変動に対
してブロック単位で対応できるという特徴を持つ。しか
し、画像をブロック分割するため、得られる差分画像の
分解能が低下する問題がある。Also, Hitoshi Habe, Toshikazu Wada, Takashi Matsuyama "Background subtraction method robust against changes in illumination" (CVIM115-3, CVIM115-3, pp.17-24, 199)
9. ), Hideto Fujiwara, Makinori Seki, Kazuhiko Washimi, Hitoshi Habe “Vehicle Tracking Method Using Texture Background Difference and Silhouette Model” (6th Image Sensing Symposium (SSII
2000) Proceedings, pp. 17-22,200
0. ) And other methods that focus on textures have also been proposed. In this method, the background image and the target scene are each divided into blocks of N × N pixels, and texture differences between the blocks are evaluated. The blocks are regarded as vectors,
Since the normalized distance between blocks is evaluated, it has the feature that it can respond to brightness variations in block units. However, since the image is divided into blocks, there is a problem that the resolution of the obtained difference image decreases.
【００１０】また、Ｔ．Ｈｏｒｐｒａｓｅｅｒｔ，Ｄ．
Ｈａｒｗｏｏｄ，Ｌ．Ｓ．Ｄａｖｉｓ“Ａ Ｓｔａｔｉ
ｓｔｉｃａｌ Ａｐｐｒｏａｃｈ ｆｏｒ Ｒｅａｌ−
ｔｉｍｅ Ｒｏｂｕｓｔ Ｂａｃｋｇｒｏｕｎｄ Ｓｕ
ｂｔｒａｃｔｉｏｎ ａｎｄＳｈａｄｏｗ Ｄｅｔｅｃ
ｔｉｏｎ”（ｐｒｏｃ．ＩＣＣＶ９９，１９９９．）な
ど、カラー情報に基づいた手法の提案のように画像間の
差違を、明度と色度の要素に分解して扱うモデルを提案
し、明るさの変動や影、検出領域の「虫食い」の問題を
低減しているが、カラーカメラが必須となるほか、照明
色やカメラ特性の影響を受けやすいなどの問題もある。In addition, T. Horprasert, D.M.
Harwood, L .; S. Davis “A Stati
stial Approach for Real-
time Robust Background Su
btraction and Shadow Detect
"Tion" (proc. ICCV99, 1999.) such as a method based on color information, which proposes a model that handles differences between images by decomposing them into elements of brightness and chromaticity, and Although it reduces the problem of shadows and "worm-eating" in the detection area, it also requires a color camera and is susceptible to the effects of illumination color and camera characteristics.
【００１１】本発明は、継続的に情景を撮影した画像時
系列から信頼性高くロバストに物体を検出して背景から
分離することができる画像パタン検出技術に係る画像処
理方法を提供することを目的とする。An object of the present invention is to provide an image processing method according to an image pattern detection technique capable of reliably and robustly detecting an object from an image time series of continuously captured scenes and separating the object from the background. And
【００１２】[0012]
【課題を解決するための手段】上記課題を解決するた
め、請求項１に記載の画像処理方法では、コンピュータ
に、基準画像データの任意の画素である着目点から所定
方向に画素の明度を前記着目点の明度と比較しながら探
索する探索のステップと、前記探索のステップにより所
定の条件の画素であるペア点を決定するペア点決定のス
テップと、基準画像データにおいて前記ペア点決定のス
テップで決定されたペア点の明度を前記着目点の明度と
比較したときの大小関係を示す基準評価値を算出して記
憶する基準評価値記憶のステップと、比較画像データに
おいて前記基準画像データにおける着目点に対応する位
置の画素の明度及び前記ペア点に対応する位置の画素の
明度と比較したときの大小関係を示す比較評価値を算出
し、前記基準評価値と比較してその一致度を判定をする
判定のステップと、前記判定のステップでの判定結果に
基づいて、所定条件の着目点の画素を抽出する抽出画素
決定のステップとを実行させることを要旨とする。In order to solve the above-mentioned problems, in the image processing method according to claim 1, the brightness of a pixel is set in a predetermined direction in a computer from a point of interest, which is an arbitrary pixel of reference image data. In the search step of searching while comparing with the brightness of the point of interest, in the step of determining the pair point which is a pixel of a predetermined condition in the step of searching, and in the step of determining the pair point in the reference image data. A step of storing a reference evaluation value that calculates and stores a reference evaluation value indicating the magnitude relationship when comparing the brightness of the determined pair point with the brightness of the point of interest, and the point of interest in the reference image data in the comparison image data. A comparison evaluation value indicating a magnitude relation when compared with the brightness of the pixel at the position corresponding to and the brightness of the pixel at the position corresponding to the pair point, and the reference evaluation value The gist is to perform a step of determining the degree of coincidence by comparing and a step of determining an extracted pixel for extracting a pixel of a point of interest of a predetermined condition based on the determination result in the step of determining. To do.
【００１３】請求項１に記載の画像処理方法では、基準
画像データの着目点とペア点の明度の大小関係に基づく
基準評価値と、比較画像データの比較評価値とに基づい
て画像の一致を画素単位で判定するため、高い解像度で
画像を処理することができるという作用がある。また、
明度の大小関係に基づくため、明度の絶対値に左右され
にくく照明状態の変化や影になった部分の一致も正確に
判定できるという作用がある。According to the image processing method of the first aspect, the images are matched based on the reference evaluation value based on the magnitude relation between the brightness of the point of interest of the reference image data and the pair point and the comparison evaluation value of the comparison image data. Since the determination is performed on a pixel-by-pixel basis, there is an effect that an image can be processed with high resolution. Also,
Since it is based on the magnitude relation of the brightness, it is less affected by the absolute value of the brightness, and there is an effect that the change of the illumination state and the coincidence of the shaded portion can be accurately determined.
【００１４】請求項２に記載の画像処理方法では、請求
項１に記載の画像処理方法の構成に加え、前記ペア点
が、１つの着目点に対して複数の方向においてそれぞれ
決定されることを要旨とする。In the image processing method according to the second aspect, in addition to the configuration of the image processing method according to the first aspect, it is determined that the pair points are respectively determined for one target point in a plurality of directions. Use as a summary.
【００１５】請求項２に記載の画像処理方法では、請求
項１に記載の画像処理方法の作用に加え、複数のペア点
により、判定のための情報量が増加してノイズの影響を
受けにくくできるとともに、複数の方向でペア点をとる
ことで等方性が向上するという作用がある。According to the image processing method of the second aspect, in addition to the operation of the image processing method of the first aspect, a plurality of pair points increases the amount of information for determination and is less susceptible to noise. In addition to that, there is an effect that isotropy is improved by taking a pair of points in a plurality of directions.
【００１６】請求項３に記載の画像処理方法では、請求
項１又は請求項２に記載の画像処理方法の構成に加え、
前記ペア点は、少なくとも前記着目点からの１の方向に
おいて複数のペア点が決定されることを要旨とする。According to the image processing method of claim 3, in addition to the configuration of the image processing method of claim 1 or 2,
The gist of the pair points is that a plurality of pair points are determined in at least one direction from the point of interest.
【００１７】請求項３に記載の画像処理方法では、請求
項１又は請求項２に記載の画像処理方法の作用に加え、
ペア点の数を増やして情報量を増すことでノイズの影響
を受けにくくすることができるという作用がある。According to the image processing method of claim 3, in addition to the operation of the image processing method of claim 1 or 2,
By increasing the number of pair points and increasing the amount of information, it is possible to reduce the influence of noise.
【００１８】請求項４に記載の画像処理方法では、請求
項１乃至請求項３のいずれかに記載の画像処理方法の構
成に加え、前記ペア点決定のステップにおける所定の条
件が、前記着目点から所定方向に探索して、前記着目点
との明度差が所定値より最初に大きくなった画素をペア
点とすることを要旨とする。In the image processing method according to claim 4, in addition to the configuration of the image processing method according to any one of claims 1 to 3, the predetermined condition in the step of determining the pair point is The gist of the present invention is to search in a predetermined direction from, and to select a pixel whose brightness difference from the point of interest first becomes larger than a predetermined value as a pair point.
【００１９】請求項４に記載の画像処理方法では、請求
項１乃至請求項３のいずれかに記載の画像処理方法の作
用に加え、所定の明度差以上の画素をペア点とすること
で、ノイズの影響を小さくしたり、照明の影響を小さく
してよりロバストな判定をすることができるという作用
がある。In the image processing method according to the fourth aspect, in addition to the operation of the image processing method according to any of the first to third aspects, a pixel having a predetermined brightness difference or more is set as a pair point, There is an effect that the influence of noise can be reduced or the influence of lighting can be reduced to make more robust determination.
【００２０】請求項５に記載の画像処理方法では、請求
項１乃至請求項４のいずれかに記載の画像処理方法の構
成に加え、前記ペア点探索のステップは、前記着目点か
ら所定の距離内で探索されることを要旨とする。In the image processing method according to a fifth aspect, in addition to the configuration of the image processing method according to any one of the first to fourth aspects, the step of searching for the pair points includes a predetermined distance from the point of interest. The gist is to be searched within.
【００２１】請求項５に記載の画像処理方法では、請求
項１乃至請求項４のいずれかに記載の画像処理方法の作
用に加え、探索範囲を限定することで、処理を高速化す
ることができるという作用がある。According to the image processing method of the fifth aspect, in addition to the operation of the image processing method of the first aspect, the processing range can be increased by limiting the search range. There is an action that can be done.
【００２２】請求項６に記載の画像処理方法では、請求
項４又は請求項５に記載の画像処理方法の構成に加え、
前記ペア点決定のステップにおける所定の条件が、探索
範囲内で所定の明度差以上の画素がない場合は、探索範
囲内で最も明度差が大きな画素をペア点とすることを要
旨とする。In the image processing method according to claim 6, in addition to the configuration of the image processing method according to claim 4 or 5,
When the predetermined condition in the step of determining the pair point does not include a pixel having a brightness difference equal to or larger than a predetermined brightness difference in the search range, a pixel having the largest brightness difference in the search range is set as a pair point.
【００２３】請求項６に記載の画像処理方法では、請求
項４又は請求項５に記載の画像処理方法の作用に加え、
所定のしきい値以上の明度差がない場合でも最も特徴的
な情報に基づいて判定できるという作用がある。According to the image processing method of claim 6, in addition to the operation of the image processing method of claim 4 or 5,
Even if there is no lightness difference equal to or more than a predetermined threshold value, it is possible to make a determination based on the most characteristic information.
【００２４】請求項７に記載の画像処理方法では、請求
項１乃至請求項６のいずれかに記載の画像処理方法の構
成に加え、前記ペア点決定のステップにおける所定の条
件が、画像データの周端部に達した場合は、その探索範
囲内で最大の明度差の画素をペア点と決定することを要
旨とする。In the image processing method according to claim 7, in addition to the configuration of the image processing method according to any one of claims 1 to 6, the predetermined condition in the step of determining the pair points is When it reaches the peripheral edge, the gist is to determine the pixel having the maximum brightness difference within the search range as the pair point.
【００２５】請求項７に記載の画像処理方法では、請求
項１乃至請求項６のいずれかに記載の画像処理方法の作
用に加え、周端部においての精度を確保することができ
るという作用がある。According to the image processing method of the seventh aspect, in addition to the operation of the image processing method of any of the first to sixth aspects, it is possible to ensure the accuracy at the peripheral edge portion. is there.
【００２６】請求項８に記載の画像処理方法では、請求
項１乃至請求項７に記載の画像処理方法の構成に加え、
前記基準評価値及び比較評価値は、２値で表現されるこ
とを要旨とする。According to the image processing method of the eighth aspect, in addition to the configuration of the image processing method of the first to seventh aspects,
The gist is that the reference evaluation value and the comparative evaluation value are represented by two values.
【００２７】請求項８に記載の画像処理方法では、請求
項１乃至請求項７に記載の画像処理方法の作用に加え、
比較のための評価値を２値とすることで高速な処理を行
うことができるという作用がある。According to the image processing method of the eighth aspect, in addition to the operation of the image processing method of the first to seventh aspects,
By setting the evaluation value for comparison to be binary, there is an effect that high-speed processing can be performed.
【００２８】請求項９に記載の画像処理方法では、請求
項８に記載の画像処理方法の構成に加え、前記判定のス
テップは、１つの着目点における全てのペア点に対応す
る基準評価値及び比較評価値に基づいて判定することを
要旨とする。In the image processing method according to a ninth aspect, in addition to the configuration of the image processing method according to the eighth aspect, the step of the determination includes a reference evaluation value and a reference evaluation value corresponding to all the pair points at one point of interest. The gist is to make a determination based on the comparative evaluation value.
【００２９】請求項９に記載の画像処理方法では、請求
項８に記載の画像処理方法の作用に加え、複数の対応す
るペア点を比較することで、ノイズや照明の影響を小さ
くしてよりロバストな処理を行うことができるという作
用がある。According to the image processing method of the ninth aspect, in addition to the operation of the image processing method of the eighth aspect, by comparing a plurality of corresponding pair points, the influence of noise and illumination can be reduced. There is an effect that robust processing can be performed.
【００３０】請求項１０に記載の画像処理方法では、請
求項９に記載の画像処理方法の構成に加え、前記判定の
ステップは、基準評価値及び比較評価値が一致した数が
所定のしきい値より少ない着目点を抽出する画素と判定
することを要旨とする。In the image processing method according to a tenth aspect, in addition to the configuration of the image processing method according to the ninth aspect, in the determination step, the number of times the reference evaluation value and the comparison evaluation value match is a predetermined threshold. The gist is to determine a pixel of interest that is less than a value as a pixel to be extracted.
【００３１】請求項１０に記載の画像処理方法では、請
求項９に記載の画像処理方法の作用に加え、多数決的な
処理を行いノイズや照明の影響を小さくしてよりロバス
トな処理を行うことができるという作用がある。In the image processing method according to the tenth aspect, in addition to the operation of the image processing method according to the ninth aspect, majority processing is performed to reduce the influence of noise and illumination, and more robust processing is performed. There is an action that can.
【００３２】請求項１１に記載の画像処理方法では、請
求項１０に記載の画像処理方法の構成に加え、前記しき
い値は、撮像系のノイズ分布に基づいて決定されること
を要旨とする。According to the image processing method of the eleventh aspect, in addition to the configuration of the image processing method of the tenth aspect, the threshold value is determined based on the noise distribution of the image pickup system. .
【００３３】請求項１１に記載の画像処理方法では、請
求項１０に記載の画像処理方法の作用に加え、判定の誤
差の原因として影響が大きい撮像系のノイズに合わせた
しきい値とすることで、最も適切な処理が可能になると
いう作用がある。In the image processing method according to the eleventh aspect, in addition to the operation of the image processing method according to the tenth aspect, the threshold value is set in accordance with the noise of the image pickup system having a large influence as a cause of the determination error. This has the effect of enabling the most appropriate processing.
【００３４】請求項１２に記載の画像処理方法では、請
求項１乃至請求項１１に記載の画像処理方法の構成に加
え、前記判定のステップは、前記基準画像データにおけ
るペア点の明度と前記比較画像データにおける当該ペア
点の明度との差が所定のしきい値より小さい場合には、
このペア点に係る評価値を判定に用いないことを要旨と
する。In the image processing method according to the twelfth aspect, in addition to the configuration of the image processing method according to the first to eleventh aspects, the determining step includes the brightness of the pair point in the reference image data and the comparison. When the difference between the brightness of the pair point in the image data is smaller than a predetermined threshold value,
The gist is that the evaluation value related to this pair point is not used for the determination.
【００３５】請求項１２に記載の画像処理方法では、請
求項１乃至請求項１１に記載の画像処理方法の作用に加
え、ノイズや照明の影響を受けやすいしきい値以下の明
度差の情報を排除することで、ノイズや照明の影響を小
さくできるという作用がある。In the image processing method according to the twelfth aspect, in addition to the operation of the image processing method according to the first aspect to the eleventh aspect, information on a brightness difference below a threshold value which is easily influenced by noise or illumination is provided. By eliminating them, there is an effect that the influence of noise and lighting can be reduced.
【００３６】請求項１３に記載の画像処理方法では、請
求項１乃至請求項１２のいずれかに記載の画像処理方法
の構成に加え、前記抽出画素決定のステップにより抽出
された着目点の位置に基づいて２値画像を生成する２値
画像生成のステップをさらに備えたことを要旨とする。In the image processing method according to the thirteenth aspect, in addition to the configuration of the image processing method according to any one of the first to twelfth aspects, the position of the point of interest extracted in the step of determining the extracted pixels is set. The gist is that the method further includes a step of generating a binary image based on which a binary image is generated.
【００３７】請求項１３に記載の画像処理方法では、請
求項１乃至請求項１２のいずれかに記載の画像処理方法
の作用に加え、２値画像を生成することで判定後のあと
処理を容易にすることができるという作用がある。In the image processing method according to the thirteenth aspect, in addition to the operation of the image processing method according to any one of the first to twelfth aspects, a binary image is generated to facilitate post-processing after the determination. There is an effect that can be.
【００３８】請求項１４に記載の画像処理方法では、請
求項１３に記載の画像処理方法の構成に加え、前記２値
画像生成のステップにより生成された２値画像を平滑化
して補正画像を生成する補正画像生成のステップをさら
に備えたことを要旨とする。In the image processing method according to claim 14, in addition to the configuration of the image processing method according to claim 13, the binary image generated in the step of generating the binary image is smoothed to generate a corrected image. The gist is that the method further includes a step of generating a corrected image.
【００３９】請求項１４に記載の画像処理方法では、請
求項１３に記載の画像処理方法の作用に加え、平滑化の
処理により領域化をすることで、ノイズによるいわゆる
虫食いを補正することができるという作用がある。According to the image processing method of the fourteenth aspect, in addition to the function of the image processing method of the thirteenth aspect, so-called worm eating caused by noise can be corrected by regionalizing by smoothing processing. There is an action.
【００４０】請求項１５に記載の画像処理方法では、請
求項１３又は請求項１４に記載の画像処理方法の構成に
加え、前記２値画像若しくは前記補正画像に対応した位
置の画素を比較画像データから抽出して抽出画像を生成
する抽出画像生成のステップをさらに備えたことを要旨
とする。In the image processing method according to the fifteenth aspect, in addition to the configuration of the image processing method according to the thirteenth or fourteenth aspect, the pixel at the position corresponding to the binary image or the corrected image is compared image data. The gist is that the method further includes a step of generating an extracted image by extracting the extracted image from the extracted image.
【００４１】請求項１５に記載の画像処理方法では、請
求項１３又は請求項１４に記載の画像処理方法の作用に
加え、基準画像データに対して動きのあった画像の部分
のみを切り出すことができるという作用がある。In the image processing method according to the fifteenth aspect, in addition to the operation of the image processing method according to the thirteenth or the fourteenth aspect, it is possible to cut out only the portion of the image that has moved with respect to the reference image data. There is an action that can be done.
【００４２】請求項１６に記載の画像処理方法では、請
求項１５に記載の画像処理方法の構成に加え、前記基準
画像データを保存しつつ、前記比較画像データを更新し
て処理することを要旨とする。In the image processing method according to the sixteenth aspect, in addition to the configuration of the image processing method according to the fifteenth aspect, the comparison image data is updated and processed while the reference image data is stored. And
【００４３】請求項１６に記載の画像処理方法では、請
求項１５に記載の画像処理方法の作用に加え、比較的処
理時間がかかる基準画像データを保存しておくことで、
比較画像が更新された場合でも高速な処理を行うことが
できるという作用がある。According to the image processing method of the sixteenth aspect, in addition to the operation of the image processing method of the fifteenth aspect, the reference image data which requires a relatively long processing time is stored,
There is an effect that high-speed processing can be performed even when the comparison image is updated.
【００４４】請求項１７に記載の画像処理方法では、請
求項１乃至請求項１６のいずれかに記載の画像処理方法
の構成に加え、前記基準画像データ及び前記比較画像デ
ータがカラーデータであることを要旨とする。In the image processing method according to claim 17, in addition to the configuration of the image processing method according to any one of claims 1 to 16, the reference image data and the comparison image data are color data. Is the gist.
【００４５】請求項１７に記載の画像処理方法では、請
求項１乃至請求項１６のいずれかに記載の画像処理方法
の作用に加え、データがカラー画像であっても明度差を
用いることで照明状態に起因する色相の変化に影響され
ず、ロバストな処理ができるという作用がある。また、
各色要素を利用した場合には、情報量を増加させること
ができる。In the image processing method according to the seventeenth aspect, in addition to the operation of the image processing method according to any one of the first to sixteenth aspects, even if the data is a color image, the brightness difference is used for illumination. There is an effect that robust processing can be performed without being affected by the change in hue due to the state. Also,
When each color element is used, the amount of information can be increased.
【００４６】請求項１８に記載の画像処理方法では、請
求項１乃至請求項１６のいずれかに記載の画像処理方法
の構成に加え、前記基準画像データ及び前記比較画像デ
ータがグレースケールのデータであることを要旨とす
る。In the image processing method according to claim 18, in addition to the configuration of the image processing method according to any one of claims 1 to 16, the reference image data and the comparison image data are grayscale data. The point is that there is.
【００４７】請求項１８に記載の画像処理方法では、請
求項１乃至請求項１６のいずれかに記載の画像処理方法
の作用に加え、明度差に基づいてロバストな処理ができ
るという作用がある。In the image processing method according to the eighteenth aspect, in addition to the operation of the image processing method according to any one of the first to sixteenth aspects, there is an effect that robust processing can be performed based on the difference in lightness.
【００４８】[0048]
【発明の実施の形態】以下、本発明を具体化したＲａｄ
ｉａｌ Ｒｅａｃｈ Ｆｉｌｔｅｒ（ＲＲＦ）を用いた
画像処理方法の一実施形態を図１〜図１０に従って説明
する。BEST MODE FOR CARRYING OUT THE INVENTION Rad embodying the present invention
An embodiment of an image processing method using the ial Reach Filter (RRF) will be described with reference to FIGS.
【００４９】まず、本発明の画像処理方法の概要を説明
する。ＲＲＦは、明度変動の影響を抑えながら、ピクセ
ル単位の分解能で局所的なテクスチャを評価するため
に、次の２つの特徴的な要素で構成されている。First, the outline of the image processing method of the present invention will be described. The RRF is composed of the following two characteristic elements in order to evaluate the local texture with a pixel-by-pixel resolution while suppressing the influence of brightness variation.
【００５０】まず、（１）着目点から水平、垂直を含む
４５度間隔で放射状（８方向）に基準（判定しきい値Ｔ
B）以上の明度差を持つ点を探索し、ペア（８組）を組
む。First, (1) a reference (determination threshold T
B ) Search for points with the above brightness difference and form pairs (8 pairs).
【００５１】次に、（２）各ペアにおける明度の大小関
係（差分の正負）を２値符号（８組分＝計８ｉｔ）と
し、着目画素の評価値とする。Next, (2) the magnitude relation of brightness (positive / negative of difference) in each pair is set to a binary code (eight sets = 8 it in total), and the evaluation value of the pixel of interest is set.
【００５２】（１）は主にノイズに対するロバスト性
（頑強性）を得るためである。撮像系のノイズ特性を予
め測定しておくことで、（２）における符号（明度の大
小関係）が反転してしまう確率を得ることができ、それ
に基づき判定しきい値ＴBを合理的に決定することがで
きる。判定しきい値ＴB以上の明度差を持つ点をペア対
象としていることで、ノイズ成分の大部分に影響されな
い（ノイズによって符号が反転しない）、頑健なペアを
得ることができる。さらに、特性に等方性を持たせる目
的のほか、多数決的処理を導入することで評価の安定性
を向上させるために、８方向について８組のペアを形成
する設計とした。(1) is mainly for obtaining robustness (robustness) to noise. By measuring the noise characteristic of the imaging system in advance, it is possible to obtain the probability that the sign (magnitude relation of brightness) in (2) will be inverted, and the determination threshold T B is rationally determined based on the probability. can do. By making the points having the brightness difference equal to or larger than the determination threshold T B as the pair target, it is possible to obtain a robust pair that is not affected by most of the noise components (the sign is not inverted by noise). Furthermore, in addition to the purpose of making the characteristics isotropic, in order to improve the stability of evaluation by introducing majority processing, it was designed to form 8 pairs in 8 directions.
【００５３】（２）は、主に明度変動に対するロバスト
性を得るためのものである。明度そのものではなく、ペ
ア間の明度の大小関係のみに着目することで、ペアを含
む領域の明度オフセットを感知しない特性を得ている。
従来、村瀬一郎、金子俊一、五十嵐悟“増分符号相関法
による画像照合−光沢物体及び不良照明条件に対するロ
バスト画像処理−”（精密工学会誌、Ｖｏ１．６６，Ｎ
ｏ．２，ｐｐ．２６１−２６５，１９９９．）や、村瀬
一郎、金子俊一、五十嵐悟“増分符号相関法によるロバ
スト画像照合”（信学論（Ｄ−ＩＩ），Ｖｏｌ．Ｊ８３
−Ｄ−ＩＩ，Ｎｏ．５，ｐｐ．１３２３−１３３１，２
０００．）では、固定の隣接画素について明度の大小関
係を評価する増分符号相関法が提案されており、照明変
動に対するロバストな特性が実証されているが、ＲＲＦ
も基本的にその統計モデルに従う。(2) is mainly for obtaining robustness against lightness fluctuation. By paying attention not only to the brightness itself but to the magnitude relationship of the brightness between pairs, we have obtained the characteristic that the brightness offset of the region including the pair is not sensed.
Previously, Ichiro Murase, Shunichi Kaneko, Satoru Igarashi "Image Matching by Incremental Code Correlation Method-Robust Image Processing for Glossy Objects and Poor Lighting Conditions-" (Journal of Precision Engineering, Vo1.66, N
o. 2, pp. 261-265, 1999. ), Ichiro Murase, Shunichi Kaneko, Satoru Igarashi "Robust Image Matching by Incremental Code Correlation Method" (Shingaku Theory (D-II), Vol. J83).
-D-II, No. 5, pp. 1323-1331,2
000. ) Proposed an incremental sign correlation method for evaluating the magnitude relation of brightness for fixed adjacent pixels, and demonstrated robust characteristics against illumination fluctuation.
Also basically follows that statistical model.
【００５４】図１は、実画像によるＲＲＦ画像と、単純
背景差分の生成例を示す図である。上段（ａ）は、基準
画像データである背景画像（ｂａｃｋ ｇｒｏｕｎｄ）
を示し、（ｂ）は、比較画像データである出現物体を含
む対象シーン（ｓｃｅｎｅ）を示す。下段は単純背景差
分の例で、２値化のしきい値（ｔｈ）を、５５（ｄ）〜
９５（ｆ）まで変化させた例である。出現物体表面の明
度分布と背景の明度が近い部位において「虫食い」を生
じている。検出領域の拡大のためにしきい値を設定する
と、出現物体の影による明度変化が強く検出される
（ｄ）。影の検出を抑制するために、しきい値を設定す
ると、検出領域が更に縮小する（ｆ）。これらに対し、
（ｃ）にＲＲＦ画像の生成例を示した。それぞれ明度分
布の大きく異なる袖の部分、手の部分、紙の部分、のい
ずれも良好に検出できていることがわかる、また、
（ｄ）で見られるような影の影響も受けていないことが
わかる。FIG. 1 is a diagram showing an example of generation of an RRF image based on an actual image and a simple background difference. The upper part (a) shows a background image (back ground) which is the reference image data.
And (b) shows a target scene (scene) including an appearing object which is comparative image data. The lower part is an example of the simple background difference, and the binarization threshold value (th) is 55 (d) to
In this example, the value is changed up to 95 (f). "Insect worming" occurs in the part where the brightness distribution on the surface of the appearing object is close to the brightness distribution on the background. When the threshold value is set for expanding the detection area, the change in brightness due to the shadow of the appearing object is strongly detected (d). If a threshold value is set in order to suppress the shadow detection, the detection area is further reduced (f). For these,
An example of generating an RRF image is shown in (c). It can be seen that the sleeve part, the hand part, and the paper part, which have greatly different lightness distributions, can be detected well.
It can be seen that it is not affected by the shadow as seen in (d).
【００５５】次に、ＲＲＦの説明のための定義を示す。
まず、リーチ点の決定のために、画像内の任意の位置を
ベクトルＰ＝（ｘ，ｙ）Tで表すものとする。また、放
射状の延長腕（リーチ）を延長する方向を表す方向ベク
トルｄk（ｋ＝０，１，…，７）を定義する。それぞ
れ、ｄ0＝（１，０）T、ｄ1＝（１，１）T、ｄ2＝
（０、１）T、ｄ3＝（−１、１）T、ｄ4＝（−１，０）
T、ｄ5＝（−１，−１）T、ｄ6＝（０，−１）T、ｄ7＝
（１，−１）Tとする。つまり、方向ベクトルｄk（ｋ＝
０，１，…，７）は、画面上で右水平方向から反時計回
りに４５度ずつ回転させた方向となる。これらに基づい
て、Next, a definition for explaining the RRF will be shown.
First, it is assumed that an arbitrary position in the image is represented by the vector P = (x, y) T for determining the reach point. Further, a direction vector d k (k = 0, 1, ..., 7) that represents the direction in which the radial extension arms (reach) are extended is defined. D 0 = (1,0) T , d 1 = (1,1) T , d 2 =
(0,1) T, d 3 = (- 1,1) T, d 4 = (- 1,0)
T, d 5 = (- 1 , -1) T, d 6 = (0, -1) T, d 7 =
Let (1, -1) T. That is, the direction vector d k (k =
0, 1, ..., 7) is the direction rotated by 45 degrees counterclockwise from the right horizontal direction on the screen. Based on these,
【００５６】[0056]
【数１】 [Equation 1]
【００５７】を満たす最小のリーチ長ｒk（＝１、２、
３、…、Ｌ）を求める。なお、この手順が本発明の探索
のステップ及びペア点決定のステップの一例に相当す
る。ここで、ｆは背景画像、ＴPは明度差のしきい値、
Ｌはリーチの最大長を表す。なお、明度差のしきい値Ｔ
Pの設定については後述する。The minimum reach length r k (= 1, 2,
3, ..., L). This procedure corresponds to an example of the search step and the pair point determination step of the present invention. Where f is the background image, T P is the threshold value of the brightness difference,
L represents the maximum length of reach. The threshold value T of the brightness difference
The setting of P will be described later.
【００５８】図２は、実画像を用いたリーチの生成例を
示す図である。＋印が着目画素を示し、その周囲の点が
ペア点を表す。比較的細かなテクスチャを持つ（ｅ）の
領域では、リーチ長ｒkは非常に小さいことがわかる。
また図では判別しづらいが、（ｄ）もカーペットの細か
なテクスチャを含んでおり、リーチ長ｒkが小さくなっ
ていることがわかる。これに対し、証明によるハイライ
トによって明度が飽和している壁面（ｂ）や、もともと
テクスチャの弱い机上（ｆ）の領域では、リーチ長ｒk
が大きなものとなっていることがわかる。FIG. 2 is a diagram showing an example of reach generation using an actual image. The + symbol indicates the pixel of interest, and the points around it indicate the paired points. It can be seen that the reach length r k is very small in the area (e) having a relatively fine texture.
Further, although it is difficult to discriminate in the figure, it can be seen that (d) also includes the fine texture of the carpet, and the reach length r k is small. On the other hand, in the area of the wall surface (b) where the brightness is saturated by the proof highlighting or the desk surface (f) where the texture is originally weak, the reach length r k
It can be seen that is large.
【００５９】なお、この図からもわかるとおり、テクス
チャの「細かさ」とは相対的なものである（例えば画像
を縮小すれば（ｂ）の領域も細かなテクスチャの一部と
なる）。ＲＲＦでは、明度差のしきい値ＴPに基づいて
リーチ長ｒkを伸ばすことにより、上記のような意味合
いにおいて、テクスチャの「大きさ」に適応してスケー
リングを行っていると考えることができる。As can be seen from this figure, the "fineness" of the texture is relative (for example, if the image is reduced, the area (b) becomes a part of the fine texture). In the RRF, by extending the reach length r k based on the threshold value T P of the brightness difference, it can be considered that the scaling is performed in accordance with the “size” of the texture in the above meaning. .
【００６０】図３は、各画素におけるペアとして選ばれ
た回数（被ペア度数）を示す図である。照明により明度
が飽和している部分では、その周囲が被ペア点となって
いることがわかる。また、机上などテクスチャの弱い面
においても、周囲のエッジ部分に被ペア点が集中してい
ることがわかる。しかしながら、図２（ｅ）周辺に対応
する部分のように密なテクスチャを持つ部分では、比較
的均一に被ペア点が分布しており、図３は単なる微分画
像とは性質を異にしていることがわかる。FIG. 3 is a diagram showing the number of times (paired frequency) selected as a pair in each pixel. It can be seen that in the area where the brightness is saturated by the illumination, the surrounding area is the paired point. Also, it can be seen that the point to be paired is concentrated on the peripheral edge portion even on a surface having a weak texture such as a desk. However, in a portion having a dense texture, such as a portion corresponding to the periphery of FIG. 2E, the paired points are relatively uniformly distributed, and FIG. 3 is different from the mere differential image in nature. I understand.
【００６１】次に、ＲＲＦ画像について説明する。ここ
では、決定されたリーチ点を用いて、着目画素のＲＲＦ
評価値の算出を行い、これを記憶する。この手順が本発
明の基準評価値記憶のステップの一例に相当する。Next, the RRF image will be described. Here, using the determined reach point, the RRF of the pixel of interest is
The evaluation value is calculated and stored. This procedure corresponds to an example of the step of storing the reference evaluation value of the present invention.
【００６２】[0062]
【数２】 [Equation 2]
【００６３】ここで得られたｂ0(p)〜ｂ7(p)の値（計８
ｂｉｔ）を、背景画像の着目点の評価値とする。次に、
対象シーンｇ（ｐ）についても、同様にＲＲＦ評価値の
算出を行う。The values of b 0 (p) to b 7 (p) obtained here (8 in total )
bit) is the evaluation value of the point of interest of the background image. next,
The RRF evaluation value is similarly calculated for the target scene g (p).
【００６４】[0064]
【数３】 [Equation 3]
【００６５】背景画像と対象シーン間のＲＲＦ評価値の
類似性を評価するために、両者間の符号の一致数Ｂを得
る。In order to evaluate the similarity of the RRF evaluation value between the background image and the target scene, the number of coincidences B of the codes between them is obtained.
【００６６】[0066]
【数４】 [Equation 4]
【００６７】次に、各画素における一致数Ｂの値を、あ
る判定しきい値ＴBと比較することにより、類似する、
あるいは類似しない画素を判定する。この手順が本発明
の判定のステップの一例に相当する。この判定に基づい
て２値画像Ｒ(P)を次式で定義し、これをＲＲＦ画像と
呼ぶ。この手順が本発明の抽出画素決定のステップ及び
２値画像生成のステップの一例に相当する。Next, by comparing the value of the number of coincidences B in each pixel with a certain judgment threshold value T B , it is possible to obtain a similarity.
Alternatively, pixels that are not similar are determined. This procedure corresponds to an example of the determination step of the present invention. Based on this determination, the binary image R (P) is defined by the following equation, which is called an RRF image. This procedure corresponds to an example of the extraction pixel determination step and the binary image generation step of the present invention.
【００６８】[0068]
【数５】 [Equation 5]
【００６９】判定しきい値ＴBの設定については、後述
する。The setting of the judgment threshold value T B will be described later.
【００７０】次に、しきい値の設定について説明する。
ＲＲＦにおいて設定すべきしきい値は、明度差のしきい
値ＴPおよび判定しきい値ＴBの２つである。これらはい
ずれも、撮像系のノイズ特性を考慮することで、合理的
な設定が可能である。Next, the setting of the threshold will be described.
There are two thresholds to be set in the RRF, the threshold value T P for the brightness difference and the determination threshold value T B. All of these can be rationalized by considering the noise characteristics of the imaging system.
【００７１】まず、明度差のしきい値ＴPについて説明
する。明度差のしきい値ＴP（（１）式）の目的は、ペ
アを結ぶ条件として一定以上の明度差を持つことを規定
することで、ノイズに対する耐性を高めることである。
一方で、必要以上に大きな明度差のしきい値ＴPは、リ
ーチ長ｒkの大きなリーチを生み出す可能性があり、ペ
アの一方のみが影の影響などで明度変化した場合に、空
間解像度の低下が起きる可能性がある。明度差のしきい
値ＴPは、撮像系のノイズ特性を測定しておくことで、
予め合理的に決定することができる。通常は、測定され
たノイズ分布の標準備差２σ程度に明度差のしきい値Ｔ
Pを設定することで、ノイズ成分の大部分に影響されな
い最小の明度差のしきい値ＴPを決定することができ
る。First, the threshold value T P of the brightness difference will be described. The purpose of the lightness difference threshold T P (equation (1)) is to increase the resistance to noise by defining that the lightness difference is a certain value or more as a condition for connecting the pair.
On the other hand, the threshold value T P of the brightness difference larger than necessary may generate a large reach of the reach length r k , and when only one of the pair changes in brightness due to the influence of the shadow, the spatial resolution of Degradation may occur. The threshold value T P of the brightness difference is obtained by measuring the noise characteristic of the imaging system,
It can be reasonably determined in advance. Normally, the threshold difference T of the brightness difference is equal to the standard deviation 2σ of the measured noise distribution.
By setting P , it is possible to determine the minimum brightness difference threshold T P that is not affected by most of the noise components.
【００７２】図４は、図１で用いた実画像に対し、実際
に明度差のしきい値ＴPの値を変化させた図である。明
度差のしきい値ＴP＝０の場合（ａ）は、明度差によら
ずペアが生成される（常にｒk＝１になる）。このた
め、テクスチャの弱い壁面などでは、明度差をほとんど
持たないペアが生成され、ノイズの影響を強く受けて誤
検出が発生していることがわかる。一方、複雑なテクス
チャを持つ、本の並びの部分については誤検出が少ない
こともわかる。FIG. 4 is a diagram in which the value of the threshold value T P of the brightness difference is actually changed with respect to the actual image used in FIG. In the case of the brightness difference threshold value T P = 0 (a), a pair is generated regardless of the brightness difference (always r k = 1). For this reason, it can be seen that a pair with little brightness difference is generated on a wall surface having a weak texture, which is strongly affected by noise, resulting in erroneous detection. On the other hand, it can be seen that there are few false detections in the part of the line of the book having the complicated texture.
【００７３】これに対し、（ｂ）〜（ｄ）では、テクス
チャの状況によって適切なリーチ長が設定されること
で、頑健なペアが形成され、テクスチャの弱い面におい
てもノイズの影響を受けにくくなっていることがわか
る。On the other hand, in (b) to (d), by setting an appropriate reach length depending on the texture condition, a robust pair is formed, and even a weak texture surface is less susceptible to noise. You can see that it has become.
【００７４】背景画像と、物体を出現させずに撮像した
対象シーンの差を取るという簡易的な方法で、撮像系の
ノイズ分布の標準備差σ＝３．６４を得た。約２σなる
（ｄ）の例では、ノイズの大部分の影響を受けない出現
物体の検出ができていることがわかる。A standard difference σ = 3.64 of the noise distribution of the image pickup system was obtained by a simple method of taking the difference between the background image and the target scene imaged without causing the object to appear. In the example of (d) of about 2σ, it can be seen that the appearance object that is not affected by most of the noise can be detected.
【００７５】図５は、図２の例における明度差のしきい
値ＴPと、リーチ長ｒkの平均および標準備差の関係を示
したグラフである。縦軸にリーチ長ｒk（ピクセル）、
横軸に明度差のしきい値ＴPをとったものである。明度
差のしきい値ＴPを増やすことで、○で示すリーチ長ｒk
の平均および△で示す標準偏差が大きくなることがわか
る。FIG. 5 is a graph showing the relationship between the threshold value T P of the lightness difference and the average of the reach length r k and the standard reserve difference in the example of FIG. Reach length r k (pixel) on the vertical axis,
The horizontal axis represents the threshold value T P of the brightness difference. By increasing the threshold value T P of the brightness difference, the reach length r k shown by ◯
It can be seen that the average of and the standard deviation indicated by Δ are large.
【００７６】次に、判定しきい値ＴBについて説明す
る。判定しきい値ＴBは、画像間の類似している／類似
していないを決定するためのしきい値である。（５）式
は、それぞれのリーチの符号ｂk(p)とｂ’k(p)の一致を
判定するものであり、全て一致しなければ０、全て一致
すれば８の値を取る。ここで、村瀬一郎、金子俊一、五
十嵐悟“増分符号相関法による画像照合−光沢物体及び
不良照明条件に対するロバスト画像処理−”（精密工学
会誌、Ｖｏｌ．６６，Ｎｏ．２，ｐｐ．２６１−２６
５，１９９９．）に記載されているように、１つのリー
チが一致する（１をとる）頻度の期待値として、一定値
ｑを用いることが可能であり、前書及び、村瀬一郎、金
子俊一、五十嵐悟“増分符号相関法によるロバスト画像
照合”（信学論（Ｄ−ＩＩ），Ｖｏｌ．Ｊ８３−Ｄ−Ｉ
Ｉ，Ｎｏ．５，ｐｐ．１３２３−１３３１，２００
０．）に記載されているように、ｋ＝０〜７の８通り中
１が含まれる一致数Ｂの総数は、符号の一致と非一致を
独立事象とみなすと、８回のベルヌーイ試行と考えら
れ、その確率分布は２項分布でモデル化できることが知
られている。よって、一致数Ｂの確率密度関数も２項分
布となり、Next, the judgment threshold value T B will be described. The determination threshold value T B is a threshold value for determining similarity / dissimilarity between images. The expression (5) is for determining whether the reach codes b k (p) and b ′ k (p) match, and takes 0 if all do not match and 8 if all match. Here, Ichiro Murase, Shunichi Kaneko, Satoru Igarashi "Image Matching by Incremental Code Correlation Method-Robust Image Processing for Glossy Objects and Poor Illumination Conditions-"
5, 1999. ), It is possible to use a constant value q as an expected value of the frequency with which one reach matches (takes 1). In the preamble and Ichiro Murase, Shunichi Kaneko, Satoru Igarashi “ Robust Image Matching by Incremental Sign Correlation Method "(Theoretical Theory (D-II), Vol. J83-DI)
I, No. 5, pp. 1323-1331, 200
0. ), The total number of matching numbers B including 1 out of 8 patterns of k = 0 to 7 is considered to be 8 Bernoulli trials when the sign matching and non-matching are regarded as independent events. It is known that the probability distribution can be modeled as a binomial distribution. Therefore, the probability density function of the number of matches B also has a binomial distribution,
【００７７】[0077]
【数６】 [Equation 6]
【００７８】[0078]
【数７】 [Equation 7]
【００７９】と表現できる。δ（）はクロネッカーのデ
ルタである。類似する背景部分においては、ノイズを含
まないと仮定すれば一致数Ｂ＝８となる。しかし、図６
に示す、一致数Ｂの確率分布を示すグラフのように、実
際にはノイズを含むため、ｐ1のような確率密度を持つ
と考えられる（実際には一致数Ｂは離散値であるが、こ
こでは便宜上連続値として扱っている。）。一方、対象
画像に出現物体が含まれているとき、それによって隠さ
れる背景画像の部分に対して一般に無相関であると考え
られる。無相関画像間におけるリーチの符号ｂk(p)と
ｂ’k(p)の一致確率の期待値はランダムなビット列の一
致確率と同等と考えることができ、一定値ｑ＝０．５と
なり、ノイズも考慮すると図６のｐ2のような確率密度
を持つと考えられる。It can be expressed as δ () is the Kronecker delta. In a similar background portion, the number of matches B = 8 assuming that no noise is included. However, FIG.
As shown in the graph showing the probability distribution of the number B of coincidences, since it actually contains noise, it is considered that it has a probability density like p 1 (in practice, the number B of coincidences is a discrete value, Here, it is treated as a continuous value for convenience.). On the other hand, when the target image contains an appearing object, it is generally considered to be uncorrelated with the portion of the background image hidden by it. The expected value of the matching probability of reach codes b k (p) and b ′ k (p) between uncorrelated images can be considered to be equivalent to the matching probability of random bit strings, and a constant value q = 0.5, Considering noise, it is considered to have a probability density like p 2 in FIG.
【００８０】ここで図６のように判定しきい値ＴBを設
定したとすると、背景部分に物体が存在すると誤認識す
る過誤確率Ｐ1は、If the decision threshold value T B is set as shown in FIG. 6, the error probability P 1 for erroneously recognizing that an object exists in the background portion is
【００８１】[0081]
【数８】 [Equation 8]
【００８２】と表され、同様に、物体の存在を認識でき
ない過誤確率Ｐ2は、Similarly, the error probability P 2 at which the existence of an object cannot be recognized is
【００８３】[0083]
【数９】 [Equation 9]
【００８４】となる。ここで背景部分に物体が存在する
と誤認識する場合のコスト係数をｃ 1、物体の存在を認
識できない場合のコスト係数をｃ2とすると、判定しき
い値Ｔ Bを最適に決定するためには過誤確率ｃ1Ｐ1＋ｃ2
Ｐ2を最小化すればよいことになる。∂（ｃ1Ｐ1＋ｃ2Ｐ
2）／∂ＴB＝０を解くことにより、判定しきい値ＴBは
次の明快な方程式の解として求めればよい。It becomes Here there is an object in the background
The cost coefficient for erroneously recognizing 1Confirm the existence of the object
The cost coefficient when you cannot recognize2Then, the decision
Value T BError probability c1P1+ C2
P2Should be minimized. ∂ (c1P1+ C2P
2) / ∂TBBy solving = 0, the decision threshold TBIs
It can be obtained as the solution of the following clear equation.
【００８５】[0085]
【数１０】 [Equation 10]
【００８６】コスト係数に偏りを設定しないときには、
単純にｐ1（ＴB）＝ｐ2（ＴB）という条件となる。図７
は、図１に示した実画像を用いて実測した確率分布ｐ1
とｐ2に相当するヒストグラムの例を示す（前節までの
設定法に従い明度差のしきいＴ P＝７、リーチの最大長
Ｌ＝∞としている。）。これから２項分布による確率モ
デルが妥当であることがわかる。When no bias is set in the cost coefficient,
Simply p1(TB) = P2(TB) Will be the condition. Figure 7
Is the probability distribution p actually measured using the actual image shown in FIG.1
And p2Here is an example of a histogram corresponding to
Threshold T of brightness difference according to the setting method P= 7, maximum reach
L = ∞. ). From now on, the probability model due to the binomial distribution
It turns out that Dell is valid.
【００８７】図８に、実際に判定しきい値ＴBを変化さ
せて得たＲＲＦ画像を示す。図７で示したとおり、背景
部分と出現物体部分の分布は重視しており、判定しきい
値Ｔ Bを変化させることで、それぞれの密度が変動する
のがわかる。この例では、判定しきい値ＴB＝６程度が
適当であることがわかる。FIG. 8 shows an actual judgment threshold value TBChanged
The RRF image obtained is shown. As shown in Figure 7, the background
The distribution of parts and appearing objects is important, and the decision threshold
Value T BChanges the density of each
I understand. In this example, the determination threshold TB= About 6
It turns out to be suitable.
【００８８】なお、この例からもわかるように、ＲＲＦ
画像は、密度差を持つ２値画像として得られる。このた
め、例えば領域分割などに用いるためには、何らかの画
素併合処理を後処理として加えることが必要になること
が予想される。As can be seen from this example, the RRF
The image is obtained as a binary image having a density difference. Therefore, it is expected that some kind of pixel merging process needs to be added as post-processing in order to use it for area division, for example.
【００８９】続いて、ＲＲＦの特性について説明する。
まず、ＲＲＦの適用可能範囲について考察する。ＲＲＦ
はテクスチャに基づいた手法であるため、適用対象に制
約を持つ。まず、背景画像として人工画像や、画像全体
が０あるいは２５５に明度飽和を起こしている画像のよ
うに、テクスチャが全く存在しない画像は、原理的に対
応できないため想定外としている。次に、背景画像のテ
クスチャが弱い場合、あるいは照明条件による明度飽和
によって部分的にテクスチャが欠落している場合につい
ては、テクスチャが弱い領域についてはリーチ長ｒKが
大きくなるため、例えば影を検出しやすくなるなど部分
的に性能が低下することが予想されるが、撮像系のノイ
ズ特性などを考慮し適切な明度差のしきい値ＴPを設定
することで、性能を保持した運用が可能である。Next, the characteristics of RRF will be described.
First, the applicable range of RRF will be considered. RRF
Is a texture-based method, so it has restrictions on its application. First, an artificial image as a background image or an image having no texture, such as an image in which the brightness of the entire image is saturated at 0 or 255, is not considered because it cannot be supported in principle. Next, when the texture of the background image is weak, or when the texture is partially missing due to saturation of the brightness under the lighting conditions, the reach length r K becomes large in the area where the texture is weak, and therefore shadows are detected, for example. Although it is expected that the performance will be partially degraded due to easier operation, it is possible to maintain the performance by setting the appropriate threshold value T P of the brightness difference in consideration of the noise characteristics of the imaging system. Is.
【００９０】なお、本手法で想定している画像は、本稿
で用いている画像群のように、カメラを用いて実環境を
撮像した画像時系列（あるいはその一部）である。この
ような画像においては、実際に本手法でテクスチャの弱
さが問題となることは少ない。The image assumed by this method is a time series (or part thereof) of an image of a real environment captured by a camera, like the image group used in this paper. In such an image, the weakness of the texture does not actually cause a problem in this method.
【００９１】以下、本画像処理方法の実験について説明
する。図９に、環境内に出現する物体の検出例の画像を
示す。このようにＲＲＦ画像から、環境内に出現する物
体の画像を検出する手順が本発明の抽出画像生成のステ
ップの一例に相当する。前出書“全方向ステレオシステ
ム（ＳＯＳ）を用いた移動物体追跡”記載の全方位カメ
ラシステム（ＳＯＳ）を用いて撮像した。ＳＯＳは２０
ユニットのカメラにより全方位の映像を同時取得可能な
システムであるが、今回はそのうちの１ユニットから得
られる画像のグレースケール情報（２４０×３２０、８
ｂｉｔ）のみを用いた。なお、元画像は、カラーデータ
でもよいことはいうまでもない。The experiment of this image processing method will be described below. FIG. 9 shows an image of a detection example of an object appearing in the environment. In this way, the procedure of detecting the image of the object appearing in the environment from the RRF image corresponds to an example of the step of generating the extracted image of the present invention. An image was taken using an omnidirectional camera system (SOS) described in the above-mentioned "moving object tracking using an omnidirectional stereo system (SOS)". SOS is 20
This is a system that can simultaneously acquire omnidirectional video images with the unit's camera. This time, the grayscale information (240 × 320, 8) of the image obtained from one unit
only) was used. Needless to say, the original image may be color data.
【００９２】背景画像と、（１）〜（３）までの対象シ
ーンに対し、明度差のしきい値ＴP＝５、判定しきい値
ＴB＝６、リーチ最大長Ｌ＝∞としてＲＲＦ画像（中央
列）を得た。ＲＲＦ画像を見ると、出現物体が、その明
度分布によらず良好に検出できていることがわかる。With respect to the background image and the target scenes (1) to (3), the brightness difference threshold T P = 5, the determination threshold T B = 6, and the reach maximum length L = ∞ are set to the RRF image. (Center row) was obtained. From the RRF image, it can be seen that the appearing object can be well detected regardless of the brightness distribution.
【００９３】図１０は、図９（３）の例について単純背
景差分をとった画像である。図１０（ａ）では、出現し
た人物のズボンが背景のカーペットと近い明度を持つた
め、検出が困難であることがわかる。また、この領域を
検出するため２値化のしきい値（ｔｈ）を調整すると、
人物の影が強く検出され、さらにズボンの領域は依然と
して不十分であることがわかる（ｂ）。左下に足の一部
が現れた人物の影による明度変動で、変化の起きていな
いコピー機（左下隅）の領域も検出されてしまっている
こともわかる。FIG. 10 is an image obtained by taking the simple background difference for the example of FIG. 9 (3). In FIG. 10A, it can be seen that the appearance of the pants of the person has a brightness close to that of the background carpet, so that the detection is difficult. Further, if the threshold value (th) for binarization is adjusted to detect this region,
It can be seen that the shadow of the person is strongly detected and the area of the pants is still insufficient (b). It can also be seen that the area of the copier (bottom left corner) where no change has occurred is also detected due to the lightness fluctuation due to the shadow of the person whose part of the foot appears at the bottom left.
【００９４】図９右列は、密度差を持った画像として得
られるＲＲＦ画像を領域化するために、２値画像である
ＲＲＦ画像を濃淡画像として扱い、
（１）３×３ボックス平均による平滑化×８回
（２）しきい値１８０により２値化
という手順による後処理を加え、得られた領域に対応す
る対象シーンの部分を示したものである。簡易的な後処
理であるが、比較的良好に領域化され、出現物体領域が
抽出されていることがわかる。この手順が本発明の補正
画像生成のステップの一例に相当する。今回背景画像は
常に固定で実験を行ったため、人物によって動かされた
椅子の領域が（３）で検出され続けていることがわか
る。In the right column of FIG. 9, in order to localize the RRF image obtained as an image having a density difference, the RRF image which is a binary image is treated as a grayscale image, and (1) smoothing by 3 × 3 box averaging is performed. This shows the part of the target scene corresponding to the obtained region after post-processing according to the procedure of binarization by thresholding 180 times (2) threshold value 180. Although it is a simple post-process, it can be seen that the region is extracted relatively well and the appearing object region is extracted. This procedure corresponds to an example of the step of generating the corrected image of the present invention. Since the background image was always fixed in the experiment this time, it can be seen that the area of the chair moved by the person is continuously detected in (3).
【００９５】処理時間は、例えば、ＡＭＤ社製のＣＰ
Ｕ、Ａｔｈｌｏｎ（登録商標）ｌ．４ＧＨｚを搭載した
ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）上で画像
１枚当たり、リーチ長の生成に約１１０ｍｓを要した。
これに対し、ＲＲＦ画像の生成は主にビット演算による
実装が可能であるので１ｍｓ以下であった。処理コスト
を要するリーチ長の生成は、背景画像１枚に対して１回
行えばよく、背景画像更新までは再計算する必要はな
い。このことから、実時間処理への応用も検討できるこ
とがわかる。The processing time is, for example, CP manufactured by AMD.
U, Athlon® l. It took about 110 ms to generate the reach length per image on a PC (Personal Computer) equipped with 4 GHz.
On the other hand, the generation of the RRF image was 1 ms or less because it can be mounted mainly by bit operation. The reach length that requires a processing cost may be generated once for each background image, and it is not necessary to recalculate until the background image is updated. From this, it can be seen that application to real-time processing can be considered.
【００９６】上記実施形態のＲＲＦによる画像処理方法
によれば、物体表面の明度分布、あるいは影などの対象
シーンの明度変化に鈍感でありながらも出現物体をロバ
ストに抽出することができた。According to the image processing method by RRF of the above embodiment, the appearing object can be robustly extracted while being insensitive to the brightness distribution of the object surface or the brightness change of the target scene such as a shadow.
【００９７】以下に、その効果を列挙する。
○（１）特に、明度変動の影響を抑えながら、ピクセル
単位の分解能で局所的なテクスチャを評価することがで
きるという効果がある。
○（２）輝度差のしきい値および判定しきい値は、撮像
系のノイズ分布に基づいて最適な値に決定可能であると
いう効果がある。
○（３）実画像を用いた実験によって、従来の単純明度
差分を用いた方法と比較して物体表面の明度分布や、影
などの対象シーンの明度変化に対してロバストであると
いう効果がある。
○（４）比較的単純な後処理をＲＲＦ画像に加えること
により、良好な輪郭および連続性を保った領域の抽出が
可能であるという効果がある。
○（５）計算時間は、リーチ長算出に時間を要するもの
の、ＲＲＦ画像の算出自体のコストは小さく、実時間処
理への応用が可能であるという効果がある。The effects are listed below. (1) In particular, there is an effect that a local texture can be evaluated with a resolution on a pixel-by-pixel basis while suppressing the influence of brightness variation. (2) There is an effect that the threshold value of the brightness difference and the determination threshold value can be determined to be optimum values based on the noise distribution of the image pickup system. ○ (3) Experiments using real images have the effect of being more robust against lightness distributions on the object surface and changes in lightness of the target scene such as shadows, as compared to the conventional method using simple lightness difference . (4) By adding a relatively simple post-processing to the RRF image, it is possible to extract a region with good contour and continuity. (5) Although it takes a long time to calculate the reach length, the calculation time of the RRF image is small, and the calculation time can be applied to real-time processing.
【００９８】なお、上記実施形態は以下のように変更し
てもよい。
○ 本実施の形態では、最大リーチ長ＬはＬ＝∞（探索
打ち切り無し）として制限されていないが、（１）式の
条件を満たすリーチ長ｒkを探索する際、探索を打ち切
るしきい値Ｌを有限の値に設定することもできる。Ｌを
有限に設定することで、処理の高速化が図れるという効
果がある。なお、打ち切った場合に（１）打ち切った点
をペア点とする（２）打ち切った場合そのペアは用いな
い、などの条件を適宜設定する。The above embodiment may be modified as follows. In the present embodiment, the maximum reach length L is not limited as L = ∞ (no search termination), but when searching for the reach length r k that satisfies the condition of Expression (1), the threshold value at which the search is terminated. It is also possible to set L to a finite value. Setting L to a finite value has the effect of speeding up the process. It should be noted that conditions such as (1) when the censoring is terminated are paired points when (2) terminating is not used and the pair is not used when terminating.
【００９９】○ 本実施の形態では、リーチが画像端に
達した場合、その画像端の画素をペア点としている。こ
のため、画像端に近接する部位では、性能がやや低下す
ることが予想される。この場合、画像端をペア点とする
ような構成とすることができる。In the present embodiment, when the reach reaches the image edge, the pixel at the image edge is set as the pair point. Therefore, it is expected that the performance will be slightly deteriorated in the region close to the image edge. In this case, the image edge can be set as a pair point.
【０１００】○ あるいは、画像端に達するまでの区間
で明度差が最大になる点をペア点とするように設定する
こともできる。Alternatively, it is possible to set a point having the maximum brightness difference in the section until reaching the image end as a pair point.
【０１０１】○ また、本実施の形態では、ペア点は８
方向にリーチを伸ばして探索しているが、ペア点は、１
方向で１点のみ、若しくは９方向以上で９点以上のペア
点を設定することもできる。ペア点が少ない場合は、ノ
イズの影響を受けたり、等方性が悪化するなどの影響が
あるが、処理速度量を小さくできるとともに、処理速度
を高めることができる。一方、ペア点を多く採れば、処
理量は増加するが、ノイズの影響を小さくし、且つ評価
が安定する。さらに、等法性を更に向上させることがで
きるという効果がある。Further, in the present embodiment, the number of pair points is 8
I'm searching for a reach in the direction, but the pair point is 1
It is also possible to set only one point in the direction, or set 9 or more pair points in the nine or more directions. When the number of pair points is small, there are influences such as influence of noise and deterioration of isotropy, but the processing speed amount can be reduced and the processing speed can be increased. On the other hand, if a large number of pair points are taken, the processing amount increases, but the influence of noise is reduced and the evaluation becomes stable. Further, there is an effect that the iso-law property can be further improved.
【０１０２】○ また、本実施の形態では、ペア点は、
それぞれの探索方向において最初に検出された条件に適
合する１点のみをペア点として決定しているが、１の探
索方向において、複数のペア点を決定するようにしても
よい。この場合は、着目点から近い順に、条件に適合す
る点を２点以上所定数のペア点として決定する。なお、
この場合は、最初のペア点が明度差が正のしきい値を超
えたような場合は、２点目のペア点は、明度差が負のし
きい値を超えた点を選択するようにしてもよい。また、
所定の点数までペア点を決定できなかったような場合に
は、その着目点のデータは、評価に用いないようにして
もよいし、決定できたペア点のみを比較するようにして
もよい。Further, in the present embodiment, the pair points are
Only one point that meets the condition detected first in each search direction is determined as a pair point, but a plurality of pair points may be determined in one search direction. In this case, two or more points, which meet the conditions, are determined as a predetermined number of paired points in order from the point of interest. In addition,
In this case, if the brightness difference of the first pair point exceeds the positive threshold value, select the point of the second pair point whose brightness difference exceeds the negative threshold value. May be. Also,
If a pair of points cannot be determined up to a predetermined number of points, the data of the point of interest may not be used for evaluation, or only the determined pair of points may be compared.
【０１０３】○ さらに、ペア点は、複数の方向におい
て、それぞれ複数のペア点を決定することができる。Further, the paired points can determine a plurality of paired points in a plurality of directions, respectively.
【０１０４】○ なお、カラーデータを用いる場合、Ｒ
ＧＢの各要素をグレースケールとして取り扱って、それ
ぞれのカラーについて本実施の形態のようにペア点を決
定するようにしてもよい。このようにすることで３つの
ペア点が決定でき、情報量が３倍になることで、精度の
向上が期待できる。○ When using color data, R
Each element of GB may be treated as a gray scale, and a pair point may be determined for each color as in this embodiment. By doing so, three pair points can be determined, and the amount of information is tripled, so that improvement in accuracy can be expected.
【０１０５】○ また、本実施の形態では、静止画及び
その連続画のみを説明したが、検出された物体の画像を
動画として生成することもできる。このように動画を生
成すれば、環境内に出現した物体のみを動画として得る
ことができる。Further, in the present embodiment, only the still image and its continuous image have been described, but the image of the detected object can be generated as a moving image. If the moving image is generated in this way, only the object that appears in the environment can be obtained as the moving image.
【０１０６】○ さらに、背景画像は、適宜、例えば一
定時間ごとに更新するようにしてもよい。このように構
成することで、一定時間動きがないものに関しては、そ
の画像を排除することができるという効果がある。Further, the background image may be updated appropriately, for example, at regular time intervals. With this configuration, it is possible to eliminate the image of the object that has not moved for a certain period of time.
【０１０７】次に上記実施形態及び別例から把握できる
技術的思想について以下に追記する。
○ （追記１）コンピュータに、基準画像データの任意
の画素である着目点から所定方向に画素の明度を前記着
目点の明度と比較しながら探索する探索のステップと、
前記探索のステップにより所定の条件の画素であるペア
点を決定するペア点決定のステップと、基準画像データ
において前記ペア点決定のステップで決定されたペア点
の明度を前記着目点の明度と比較したときの大小関係を
示す基準評価値を算出して記憶する基準評価値記憶のス
テップと、比較画像データにおいて前記基準画像データ
における着目点に対応する位置の画素の明度及び前記ペ
ア点に対応する位置の画素の明度と比較したときの大小
関係を示す比較評価値を算出し、前記基準評価値と比較
してその一致度の判定をする判定のステップと、前記判
定のステップでの判定結果に基づいて、所定条件の着目
点の画素を抽出する抽出画素決定のステップとを実行さ
せることを特徴とする画像処理プログラム。Next, the technical ideas that can be understood from the above-described embodiment and other examples will be added below. (Additional note 1) A search step of searching a computer while comparing the brightness of a pixel in a predetermined direction from a target point that is an arbitrary pixel of the reference image data with the brightness of the target point,
The step of determining a pair point that is a pixel of a predetermined condition by the step of searching, and the brightness of the pair point determined in the step of determining the pair point in the reference image data are compared with the brightness of the point of interest. And a step of reference evaluation value storage for calculating and storing a reference evaluation value indicating a magnitude relationship, and corresponding to the brightness of a pixel at a position corresponding to a point of interest in the reference image data in the comparison image data and the pair point. A comparison evaluation value indicating the magnitude relation when compared with the brightness of the pixel at the position is calculated, and a determination step of determining the degree of coincidence by comparing the reference evaluation value with the determination result in the determination step is performed. And a step of determining an extracted pixel for extracting a pixel at a point of interest under a predetermined condition, based on the image processing program.
【０１０８】○ （追記２）コンピュータに、基準画像
データの任意の画素である着目点から所定方向に画素の
明度を前記着目点の明度と比較しながら探索する探索の
ステップと、前記探索のステップにより所定の条件の画
素であるペア点を決定するペア点決定のステップと、基
準画像データにおいて前記ペア点決定のステップで決定
されたペア点の明度を前記着目点の明度と比較したとき
の大小関係を示す基準評価値を算出して記憶する基準評
価値記憶のステップと、比較画像データにおいて前記基
準画像データにおける着目点に対応する位置の画素の明
度及び前記ペア点に対応する位置の画素の明度と比較し
たときの大小関係を示す比較評価値を算出し、前記基準
評価値と比較してその一致度の判定をする判定のステッ
プと、前記判定のステップでの判定結果に基づいて、所
定条件の着目点の画素を抽出する抽出画素決定のステッ
プとを実行させることを特徴とする画像処理プログラム
を記録したコンピュータ読み取り可能な記録媒体。(Additional note 2) A search step of searching a computer while comparing the brightness of a pixel in a predetermined direction from a target point, which is an arbitrary pixel of the reference image data, with the brightness of the target point; and the search step. According to the step of determining a pair point which is a pixel of a predetermined condition, the brightness of the pair point determined in the step of determining the pair point in the reference image data is compared with the brightness of the point of interest. A step of storing a reference evaluation value for calculating and storing a reference evaluation value indicating a relationship, and the brightness of a pixel at a position corresponding to a point of interest in the reference image data in the comparison image data and the pixel at a position corresponding to the pair point. A comparison evaluation value indicating a magnitude relationship when compared with the brightness is calculated, and a determination step of determining the degree of coincidence by comparing with the reference evaluation value, and the determination step. A computer-readable recording medium having an image processing program recorded thereon, which executes a step of determining an extracted pixel for extracting a pixel of a point of interest under a predetermined condition based on a determination result at a step.
【０１０９】○ （追記３）コンピュータを備えた画像
処理システムであって、前記コンピュータを、基準画像
データの任意の画素である着目点から所定方向に画素の
明度を前記着目点の明度と比較しながら探索する探索手
段と、前記探索のステップにより所定の条件の画素であ
るペア点を決定するペア点決定手段と、基準画像データ
において前記ペア点決定のステップで決定されたペア点
の明度を前記着目点の明度と比較したときの大小関係を
示す基準評価値を算出して記憶する基準評価値記憶手段
と、比較画像データにおいて前記基準画像データにおけ
る着目点に対応する位置の画素の明度及び前記ペア点に
対応する位置の画素の明度と比較したときの大小関係を
示す比較評価値を算出し、前記基準評価値と比較してそ
の一致度を判定をする判定手段と、前記判定のステップ
での判定結果に基づいて、所定条件の着目点の画素を抽
出する抽出画素決定手段として機能させることを特徴と
する画像処理システム。(Additional Note 3) An image processing system including a computer, wherein the computer compares the brightness of a pixel in a predetermined direction from a target point which is an arbitrary pixel of the reference image data with the brightness of the target point. While searching means for searching, pair point deciding means for deciding a pair point which is a pixel of a predetermined condition by the step of searching, and brightness of the pair point decided in the step of deciding the pair point in the reference image data, Reference evaluation value storage means for calculating and storing a reference evaluation value indicating a magnitude relation when compared with the brightness of the point of interest, and the brightness of the pixel at the position corresponding to the point of interest in the reference image data in the comparison image data and the A comparison evaluation value indicating the magnitude relationship when compared with the brightness of the pixel at the position corresponding to the pair point is calculated, and the degree of coincidence is determined by comparing with the reference evaluation value. An image processing system that functions as an extraction pixel determining unit that extracts a pixel of a point of interest under a predetermined condition based on the determination unit and the determination result of the determination step.
【０１１０】[0110]
【発明の効果】以上、詳述したように、本発明の画像処
理方法は、継続的に情景を撮影した画像時系列から信頼
性高くロバストに物体を検出して背景から分離すること
ができるという効果がある。As described above in detail, according to the image processing method of the present invention, it is possible to reliably and robustly detect an object from an image time series of continuously captured scenes and separate it from the background. effective.
【図１】実画像によるＲＲＦ画像と、単純背景差分の生
成例を示す図。FIG. 1 is a diagram showing an example of generation of an RRF image based on an actual image and a simple background difference.
【図２】実画像を用いたリーチの生成例を示す図。FIG. 2 is a diagram showing an example of reach generation using an actual image.
【図３】各画素におけるペアとして選ばれた回数（被ペ
ア度数）を示す図。FIG. 3 is a view showing the number of times (paired frequency) selected as a pair in each pixel.
【図４】図１で用いた実画像に対し、実際に明度差のし
きい値ＴPの値を変化させた図。FIG. 4 is a diagram in which the value of the threshold value T P of the brightness difference is actually changed with respect to the actual image used in FIG.
【図５】図２の例における明度差のしきい値ＴPと、リ
ーチ長ｒkの平均および標準備差の関係を示したグラ
フ。5 is a graph showing the relationship between the threshold value T P of the brightness difference and the average of reach length r k and the standard reserve difference in the example of FIG. 2.
【図６】一致数Ｂの確率分布を示すグラフ。FIG. 6 is a graph showing a probability distribution of the number of matches B.
【図７】図１に示した実画像を用いて実測した確率分布
ｐ1とｐ2に相当するヒストグラムの例7 is an example of a histogram corresponding to probability distributions p 1 and p 2 actually measured using the actual image shown in FIG.
【図８】実際に判定しきい値ＴBを変化させて得たＲＲ
Ｆ画像。FIG. 8: RR obtained by actually changing the judgment threshold value T B
F image.
【図９】環境内に出現する物体の検出例の画像。FIG. 9 is an image of an example of detecting an object appearing in the environment.
【図１０】図９（３）の例について単純背景差分をとっ
た画像。FIG. 10 is an image obtained by taking a simple background difference with respect to the example of FIG. 9 (3).
ｂａｃｋｇｒｏｕｎｄ…背景画像 ｓｃｅｎｅ…対象シーン ＲＲＦ…Ｒａｄｉａｌ Ｒｅａｃｈ Ｆｉｌｔｅｒ ｔｈ…ｔｈｒｅｓｈｏｌｄ background ... background image scene ... Target scene RRF ... Radial Reach Filter th ... threshold
フロントページの続き (72)発明者 佐藤 雄隆 岐阜県大垣市世安町３−３ ゴールドハウ ス302号 (72)発明者 金子 俊一 札幌市北区北13条西８ 北海道大学大学院 工学研究科 内 (72)発明者 五十嵐 悟 札幌市北区北13条西８ 北海道大学大学院 工学研究科 内 (72)発明者 丹羽 義典 岐阜県大垣市加賀野４丁目１番地の７ 財 団法人 ソフトピアジャパン 内 (72)発明者 山本 和彦 岐阜県柳戸１番１ 岐阜大学工学部 内 Ｆターム(参考） 5L096 AA02 AA06 CA04 DA01 FA67 FA69 GA13 GA51 HA03 JA03 JA18 Continued front page (72) Inventor Yutaka Sato 3-3 Seyasu-cho, Ogaki-shi, Gifu Gold Howe Su 302 (72) Inventor Shunichi Kaneko Sapporo City Kita-ku Kita-kujo 13 Nishi 8 Hokkaido University Graduate School Graduate School of Engineering (72) Inventor Satoru Igarashi Sapporo City Kita-ku Kita-kujo 13 Nishi 8 Hokkaido University Graduate School Graduate School of Engineering (72) Inventor Yoshinori Niwa 7 goods at 4-1, Kagano, Ogaki City, Gifu Prefecture Within Softopia Japan (72) Inventor Kazuhiko Yamamoto Gifu Prefecture Yanagido 1-1 Gifu University Faculty of Engineering F-term (reference) 5L096 AA02 AA06 CA04 DA01 FA67 FA69 GA13 GA51 HA03 JA03 JA18
Claims (18)
に画素の明度を前記着目点の明度と比較しながら探索す
る探索のステップと、 前記探索のステップにより所定の条件の画素であるペア
点を決定するペア点決定のステップと、 基準画像データにおいて前記ペア点決定のステップで決
定されたペア点の明度を前記着目点の明度と比較したと
きの大小関係を示す基準評価値を算出して記憶する基準
評価値記憶のステップと、 比較画像データにおいて前記基準画像データにおける着
目点に対応する位置の画素の明度及び前記ペア点に対応
する位置の画素の明度と比較したときの大小関係を示す
比較評価値を算出し、前記基準評価値と比較してその一
致度を判定をする判定のステップと、 前記判定のステップでの判定結果に基づいて、所定条件
の着目点の画素を抽出する抽出画素決定のステップとを
実行させることを特徴とする画像処理方法。1. A search step of causing a computer to perform a search while comparing the brightness of a pixel in a predetermined direction from a point of interest, which is an arbitrary pixel of the reference image data, with the brightness of the point of interest, and a predetermined step by the step of searching. A pair point determination step of determining a pair point which is a condition pixel, and a magnitude relation when the brightness of the pair point determined in the step of determining the pair point in the reference image data is compared with the brightness of the point of interest are shown. A step of storing a reference evaluation value for calculating and storing a reference evaluation value, and comparing the brightness of a pixel at a position corresponding to a point of interest in the reference image data in the comparison image data and the brightness of a pixel at a position corresponding to the pair point Comparing the comparison evaluation value showing the magnitude relationship when, and the determination step of comparing the reference evaluation value to determine the degree of coincidence, in the determination step Based on the determination result, the image processing method characterized in that to execute the steps of extracting a pixel decision to extract the pixel of interest points of a predetermined condition.
数の方向においてそれぞれ決定されることを特徴とする
請求項１に記載の画像処理方法。2. The image processing method according to claim 1, wherein the paired points are respectively determined for one target point in a plurality of directions.
らの１の方向において複数のペア点が決定されることを
特徴とする請求項１又は請求項２に記載の画像処理方
法。3. The image processing method according to claim 1, wherein a plurality of pair points are determined in at least one direction from the point of interest.
の条件が、前記着目点から所定方向に探索して、前記着
目点との明度差が所定値より最初に大きくなった画素を
ペア点とすることを特徴とする請求項１乃至請求項３の
いずれかに記載の画像処理方法。4. The predetermined condition in the step of determining the pair point is that the pixel whose brightness difference from the point of interest first becomes larger than a predetermined value is searched as the pair point in the predetermined direction from the point of interest. The image processing method according to any one of claims 1 to 3, wherein:
点から所定の距離内で探索されることを特徴とする請求
項１乃至請求項４のいずれかに記載の画像処理方法。5. The image processing method according to claim 1, wherein in the step of searching for the paired points, a search is performed within a predetermined distance from the point of interest.
の条件が、探索範囲内で所定の明度差以上の画素がない
場合は、探索範囲内で最も明度差が大きい画素をペア点
とすることを特徴とする請求項４又は請求項５に記載の
画像処理方法。6. If the predetermined condition in the step of determining the pair points is that there is no pixel having a brightness difference equal to or larger than a predetermined brightness difference in the search range, the pixel having the largest brightness difference in the search range is set as the pair point. The image processing method according to claim 4, which is characterized in that.
の条件が、画像データの周端部に達した場合は、その探
索範囲内で最大の明度差の画素をペア点と決定すること
を特徴とする請求項１乃至請求項６のいずれかに記載の
画像処理方法。7. The pixel having the maximum brightness difference within the search range is determined as the pair point when the predetermined condition in the step of determining the pair point reaches the peripheral edge of the image data. The image processing method according to any one of claims 1 to 6.
で表現されることを特徴とする請求項１乃至請求項７に
記載の画像処理方法。8. The image processing method according to claim 1, wherein the reference evaluation value and the comparison evaluation value are represented by two values.
おける全てのペア点に対応する基準評価値及び比較評価
値に基づいて判定することを特徴とする請求項８に記載
の画像処理方法。9. The image processing method according to claim 8, wherein the determination step is performed based on a reference evaluation value and a comparison evaluation value corresponding to all pair points in one point of interest.
び比較評価値が一致した数が所定のしきい値より少ない
着目点を抽出する画素と判定することを特徴とする請求
項９に記載の画像処理方法。10. The method according to claim 9, wherein the determination step determines a pixel from which a point of interest having a number of matching reference evaluation values and comparative evaluation values less than a predetermined threshold value is extracted. Image processing method.
に基づいて決定されることを特徴とする請求項１０に記
載の画像処理方法。11. The image processing method according to claim 10, wherein the threshold value is determined based on a noise distribution of an image pickup system.
データにおけるペア点の明度と前記比較画像データにお
ける当該ペア点の明度との差が所定のしきい値より小さ
い場合には、このペア点に係る評価値を判定に用いない
ことを特徴とする請求項１乃至請求項１１に記載の画像
処理方法。12. The determination step, if the difference between the lightness of the pair point in the reference image data and the lightness of the pair point in the comparison image data is smaller than a predetermined threshold, The image processing method according to claim 1, wherein the evaluation value is not used for the determination.
出された着目点の位置に基づいて２値画像を生成する２
値画像生成のステップをさらに備えたことを特徴とする
請求項１乃至請求項１２のいずれかに記載の画像処理方
法。13. A binary image is generated based on the position of the point of interest extracted in the step of determining the extracted pixel.
The image processing method according to any one of claims 1 to 12, further comprising a step of generating a value image.
成された２値画像を平滑化して補正画像を生成する補正
画像生成のステップをさらに備えたことを特徴とする請
求項１３に記載の画像処理方法。14. The image processing according to claim 13, further comprising a step of generating a corrected image for smoothing the binary image generated in the step of generating the binary image to generate a corrected image. Method.
対応した位置の画素を比較画像データから抽出して抽出
画像を生成する抽出画像生成のステップをさらに備えた
ことを特徴とする請求項１３又は請求項１４に記載の画
像処理方法。15. The method according to claim 13, further comprising a step of generating an extracted image for extracting a pixel at a position corresponding to the binary image or the corrected image from the comparison image data to generate an extracted image. The image processing method according to claim 14.
記比較画像データを更新して処理することを特徴とする
請求項１５に記載の画像処理方法。16. The image processing method according to claim 15, wherein the comparison image data is updated and processed while the reference image data is stored.
データがカラーデータであることを特徴とする請求項１
乃至請求項１６のいずれかに記載の画像処理方法。17. The reference image data and the comparison image data are color data.
The image processing method according to claim 16.
データがグレースケールのデータであることを特徴とす
る請求項１乃至請求項１６のいずれかに記載の画像処理
方法。18. The image processing method according to claim 1, wherein the reference image data and the comparison image data are grayscale data.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001342167A JP3831232B2 (en) | 2001-11-07 | 2001-11-07 | Image processing method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001342167A JP3831232B2 (en) | 2001-11-07 | 2001-11-07 | Image processing method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003141546A true JP2003141546A (en) | 2003-05-16 |
| JP3831232B2 JP3831232B2 (en) | 2006-10-11 |
Family
ID=19156070
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001342167A Expired - Fee Related JP3831232B2 (en) | 2001-11-07 | 2001-11-07 | Image processing method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3831232B2 (en) |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1319015C (en) * | 2004-02-27 | 2007-05-30 | 致伸科技股份有限公司 | Method for separating images from texts carried out by using path frequency of pixel brightness |
| JP2008006519A (en) * | 2006-06-27 | 2008-01-17 | Toyota Motor Corp | Robot device and method for controlling robot device |
| JP2008130086A (en) * | 2006-11-17 | 2008-06-05 | Alpine Electronics Inc | Method and apparatus for determining classification boundary |
| JP2008250476A (en) * | 2007-03-29 | 2008-10-16 | Kddi Corp | Extraction system for object image |
| JP2009211453A (en) * | 2008-03-05 | 2009-09-17 | National Institute Of Advanced Industrial & Technology | Varying zone detection device and varying zone detection method |
| JP2009301088A (en) * | 2008-06-10 | 2009-12-24 | Toshiba Corp | Image processing device, method thereof, and image processing program |
| US7668345B2 (en) | 2005-03-31 | 2010-02-23 | Hitachi, Ltd. | Image processing apparatus, image processing system and recording medium for programs therefor |
| WO2010116885A1 (en) * | 2009-04-06 | 2010-10-14 | 日本電気株式会社 | Data processing device, image matching method, program, and image matching system |
| JP2013120451A (en) * | 2011-12-06 | 2013-06-17 | Canon Inc | Information processor and information processing method |
| JP2016192133A (en) * | 2015-03-31 | 2016-11-10 | Kddi株式会社 | Animal body detection device and method for constructing background model thereof |
| JP2017027344A (en) * | 2015-07-22 | 2017-02-02 | Kddi株式会社 | Moving object detection device and background model construction method therefor |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5047005B2 (en) | 2008-02-29 | 2012-10-10 | キヤノン株式会社 | Image processing method, pattern detection method, pattern recognition method, and image processing apparatus |
| JP2011128990A (en) | 2009-12-18 | 2011-06-30 | Canon Inc | Image processor and image processing method |
| JP5997545B2 (en) | 2012-08-22 | 2016-09-28 | キヤノン株式会社 | Signal processing method and signal processing apparatus |
| CN103810689A (en) * | 2012-11-06 | 2014-05-21 | 西安元朔科技有限公司 | Novel image fusion effect evaluation algorithm |
-
2001
- 2001-11-07 JP JP2001342167A patent/JP3831232B2/en not_active Expired - Fee Related
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1319015C (en) * | 2004-02-27 | 2007-05-30 | 致伸科技股份有限公司 | Method for separating images from texts carried out by using path frequency of pixel brightness |
| US7668345B2 (en) | 2005-03-31 | 2010-02-23 | Hitachi, Ltd. | Image processing apparatus, image processing system and recording medium for programs therefor |
| JP2008006519A (en) * | 2006-06-27 | 2008-01-17 | Toyota Motor Corp | Robot device and method for controlling robot device |
| JP2008130086A (en) * | 2006-11-17 | 2008-06-05 | Alpine Electronics Inc | Method and apparatus for determining classification boundary |
| JP2008250476A (en) * | 2007-03-29 | 2008-10-16 | Kddi Corp | Extraction system for object image |
| JP2009211453A (en) * | 2008-03-05 | 2009-09-17 | National Institute Of Advanced Industrial & Technology | Varying zone detection device and varying zone detection method |
| JP2009301088A (en) * | 2008-06-10 | 2009-12-24 | Toshiba Corp | Image processing device, method thereof, and image processing program |
| WO2010116885A1 (en) * | 2009-04-06 | 2010-10-14 | 日本電気株式会社 | Data processing device, image matching method, program, and image matching system |
| JP5505410B2 (en) * | 2009-04-06 | 2014-05-28 | 日本電気株式会社 | Data processing apparatus, image collation method, program, and image collation system |
| US8749658B2 (en) | 2009-04-06 | 2014-06-10 | Nec Corporation | Data processing device, image matching method, program, and image matching system |
| JP2013120451A (en) * | 2011-12-06 | 2013-06-17 | Canon Inc | Information processor and information processing method |
| JP2016192133A (en) * | 2015-03-31 | 2016-11-10 | Kddi株式会社 | Animal body detection device and method for constructing background model thereof |
| JP2017027344A (en) * | 2015-07-22 | 2017-02-02 | Kddi株式会社 | Moving object detection device and background model construction method therefor |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3831232B2 (en) | 2006-10-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Wei et al. | Toward automatic building footprint delineation from aerial images using CNN and regularization | |
| CN107346409B (en) | pedestrian re-identification method and device | |
| WO2012127618A1 (en) | Moving-body detection device, moving-body detection method, moving-body detection program, moving-body tracking device, moving-body tracking method, and moving-body tracking program | |
| CN109271937B (en) | Sports ground marker identification method and system based on image processing | |
| CN110097093A (en) | A kind of heterologous accurate matching of image method | |
| JP2003141546A (en) | Image processing method | |
| CN111062273B (en) | Method for tracing, detecting and alarming remaining articles | |
| JP2008192131A (en) | System and method for performing feature level segmentation | |
| CN107862708A (en) | A kind of SAR and visible light image registration method | |
| Shen et al. | Adaptive pedestrian tracking via patch-based features and spatial–temporal similarity measurement | |
| Denman et al. | Multi-spectral fusion for surveillance systems | |
| Xu et al. | Salient object detection from distinctive features in low contrast images | |
| KR101753360B1 (en) | A feature matching method which is robust to the viewpoint change | |
| JP2009163682A (en) | Image discrimination device and program | |
| KR101769741B1 (en) | Method and apparatus for recognizing iris through pupil detection | |
| Saxena et al. | Video inpainting detection and localization using inconsistencies in optical flow | |
| CN113657264A (en) | Forest fire smoke root node detection method based on fusion of dark channel and KNN algorithm | |
| Faraji et al. | EREL: extremal regions of extremum levels | |
| CN111104857A (en) | Identity recognition method and system based on gait energy diagram | |
| Feng et al. | Image shadow detection and removal based on region matching of intelligent computing | |
| CN115661660A (en) | SAR image bridge rapid detection method and equipment | |
| CN108241837B (en) | Method and device for detecting remnants | |
| Xie et al. | Moving shadow detection algorithm using multiple features | |
| Mohanty et al. | On the Development of Foreground Detection under Complex Background | |
| Jiang et al. | Background subtraction algorithm based on combination of grabcut and improved ViBe |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20031031 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20040129 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040716 |
|
| A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20051212 |
|
| A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20060117 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060328 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060529 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060620 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060713 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090721 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120721 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120721 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130721 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150721 Year of fee payment: 9 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |