JP2004213127A

JP2004213127A - Device and method for recognizing object

Info

Publication number: JP2004213127A
Application number: JP2002379054A
Authority: JP
Inventors: Mamoru Furuta; 守古田
Original assignee: Toyota Motor Corp
Current assignee: Toyota Motor Corp
Priority date: 2002-12-27
Filing date: 2002-12-27
Publication date: 2004-07-29
Anticipated expiration: 2022-12-27
Also published as: JP3960223B2

Abstract

<P>PROBLEM TO BE SOLVED: To improve recognition performance when an object of recognition is recognized. <P>SOLUTION: An HSI conversion part 12 converts a color image acquired by an image pickup part 11 into a color image having respective component information of hue/chroma/brightness. A hue image generation part 13 generates a hue image having hue component information of red/blue/yellow from the color image based on hue component information/chroma component information. A hue value shift part 14 shifts a hue value of the hue image by -120 degrees. A black/white region extraction part 15 changes the hue value of a pixel corresponding to white or black based on chroma component information/brightness component information. A hue value normalization part 17 normalizes the respective hue values of the hue image having hue component information of red, blue, yellow, white and black, and generates a hue image for mark recognition. A mark recognition part 18 performs a recognition processing for recognizing a road mark based on the hue image for mark recognition. An output part 19 displays a content of a mark corresponding to the recognized road mark on a display. <P>COPYRIGHT: (C)2004,JPO&NCIPI

Description

【０００１】
【発明の属する技術分野】
本発明は、認識対象物を画像により認識する物体認識装置および物体認識方法に関する。
【０００２】
【従来の技術】
従来、道路標識等の認識対象物が写し出されたカラー画像から当該対象物を認識する場合には、赤、青、緑による明度情報に基づいて認識するか、当該明度情報から導出される色相情報に基づいて認識している。このように、カラー画像の明度情報や色相情報に基づいて認識対象物である標識をカラー画像から認識する技術は、例えば、特許文献１に開示されている。
【０００３】
【特許文献１】
特開平９−１８５７０３号公報
【０００４】
【発明が解決しようとする課題】
ところが、従来の技術により色相情報に基づいて認識対象物を認識する場合には、色相環における赤の位置が０度を中心にして配置されているため、例えば、色相環の０度と３５９度の位置に対応する赤は、同程度の色相に対応する赤であるにもかかわらず、正規化後の色相値では０と２５５とに分断されてしまう。したがって、このような色相値に基づいて認識処理を行うと認識処理の計算過程における各色相値間の相関度が低くなり、認識性能が低下してしまう。
【０００５】
また、従来の技術により明度情報に基づいて認識対象物を認識する場合には、原カラー画像に写し出された対象物に日向部分と日陰部分とが存在する場合に、本来は同じ色であっても日向部分と日陰部分とでは異なる色に認識されてしまう。すなわち、対象物に日向部分と日陰部分とが存在するカラー画像から認識対象物を認識する場合には、認識性能が低下してしまう。
【０００６】
そこで、本発明は、上述した課題を解決するために、認識対象物を認識する際の認識性能を向上せることができる物体認識装置および物体認識方法を提供することを目的とする。
【０００７】
【課題を解決するための手段】
本発明の物体認識装置は、使用される色が予め設定されている認識対象物を認識する物体認識装置であって、認識対象物に使用される色の色相情報を、撮像手段により撮像された画像から抽出する抽出手段と、認識対象物に使用される色以外の色に対応する色相値が色相の基準値となるように、抽出手段により抽出された色相情報に含まれる色相値をシフトするシフト手段と、シフト手段によりシフトされた色相値を正規化する正規化手段と、正規化手段により正規化された値に基づいて認識対象物を認識する認識手段とを備えることを特徴とする。
【０００８】
また、本発明の物体認識方法は、使用される色が予め設定されている認識対象物を認識する物体認識方法であって、認識対象物に使用される色の色相情報を、撮像手段により撮像された画像から抽出し、認識対象物に使用される色以外の色に対応する色相値が色相の基準値となるように、抽出された色相情報に含まれる色相値をシフトし、シフトされた色相値を正規化し、正規化された値に基づいて認識対象物を認識することを特徴とする。
【０００９】
これらの発明によれば、色相の基準値を認識対象物に使用される色以外の色に対応する色相の位置にシフトし、シフト後の色相値を正規化したうえで認識対象物の認識を行うことができるため、認識対象物に使用される色が、色相値の正規化後に分断されてしまう事態を防止することができる。したがって、各色相値間の相関度を低下させることなく認識を行うことができるため、認識性能を向上させることができる。また、明度情報を用いずに色相情報に基づいて認識対象物を認識しているため、撮像された画像に写し出された認識対象物に日向部分と日陰部分とが存在していても認識性能を低下させずに、撮像された画像から認識対象物を認識することができる。
【００１０】
本発明の物体認識装置において、撮像された画像の彩度情報および明度情報に基づいて、白または黒に対応する領域を、当該撮像された画像から抽出する白黒抽出手段と、白黒抽出手段により抽出された領域に対応する色相値を、白黒抽出手段により抽出された領域に対応する色相値を、白または黒に対応する色相値に変更する色相値変更手段とをさらに備え、正規化手段は、変更手段により変更された色相値を正規化することが好ましい。
【００１１】
また、本発明の物体認識方法において、撮像された画像の色の彩度情報および明度情報に基づいて、当該撮像された画像から白または黒に対応する領域を抽出し、抽出された領域に対応する色相値を、白または黒に対応する色相値に変更し、正規化の際に、変更された色相値を正規化することが好ましい。
【００１２】
このようにすれば、認識対象物に含まれる白または黒に対応する領域に、特定の色相値を割り当てることができるとともに、この色相値を正規化したうえで認識対象物の認識を行うことができるため、認識性能をさらに向上させることができる。
【００１３】
本発明の物体認識装置において、認識手段は、パターン認識に基づいて認識を行うことが好ましい。
【００１４】
このように、パターン認識を用いることにより認識対象物の認識をより効果的に行うことができる。
【００１５】
【発明の実施の形態】
以下、本発明に係る標識認識装置の実施形態を図面に基づき説明する。まず、図１を参照して、本実施形態における標識認識装置１の機能構成を説明する。図１に示すように、標識認識装置１は、撮像部（撮像手段）１１、ＨＳＩ変換部１２、色相画像生成部（抽出手段）１３、色相値シフト部（シフト手段）１４、白黒領域抽出部（白黒抽出手段）１５、白黒・色相値変更部（色相値変更手段）１６、色相値正規化部（正規化手段）１７、標識認識部（認識手段）１８および出力部１９を有する。なお、本実施形態における標識認識装置１は、例えば、自動車などに搭載される装置である。また、標識認識装置１は、道路の傍ら等に設置されている道路標識を認識した場合に、その道路標識の内容をディスプレイ上に文字表示する等して交通に関する注意を運転者に促す装置である。以下において、各構成要素について説明する。
【００１６】
撮像部１１は、例えば、ＣＣＤカメラ等の撮像装置を内蔵した装置であり、標識認識装置１が取り付けられた自動車の前方付近に展開する風景を撮像し、カラー画像（例えば、ＲＧＢによる画像）を取得する。
【００１７】
ＨＳＩ変換部１２は、ＲＧＢによるカラー画像を、ＨＳＩ（Hue Saturation Intensity）変換を用いて、色相・彩度・明度の各成分情報を有するカラー画像に変換する。なお、カラー画像を色相・彩度・明度の各成分情報を有するカラー画像に変換する方法は、上述したＨＳＩ変換に限られず、例えば、ＨＳＶ（Hue Saturation intensity Value）変換であってもよい。
【００１８】
色相画像生成部１３は、カラー画像に含まれる色相成分情報（色相情報）および彩度成分情報（彩度情報）に基づいて、当該カラー画像から赤・青・黄に対応する画素（領域）を抽出し、赤・青・黄の色相成分情報を有する色相画像を生成する。
【００１９】
色相値シフト部１４は、色相画像に含まれる各画素に対応する色相値を、−１２０度ずつシフトする。図２を参照して、色相値のシフトについて説明する。図２（ａ）は、一般的な色相環を表した図である。図２（ａ）に示す色相環の基準値（０度の位置）には、赤が配置されている。また、色相環の１２０度の位置には、緑が配置されている。図２（ｂ）は、図２（ａ）に示す色相環の各色相値を、−１２０度ずつシフトした後の色相環を表した図である。図２（ｂ）に示す色相環の基準値は、図２（ａ）に示す色相環の緑の位置にシフトされている。これにより、色相環に表される色のうち道路標識に原則として使用されていない緑に対応する色相値（１２０度）が、色相環の０度の位置（基準値）にシフトされることとなる。したがって、認識対象物である道路標識に使用されている色（赤・青・黄）に対応する色相値が、０度と３５９度とに分断されることがなくなる。それゆえ、色相値を正規化した後に行われる認識処理での相関度の低下を防止することができ、ひいては認識性能を向上させることができる。なお、色相値のシフトは、上述した−１２０度のシフトに限られず、認識対象物である道路標識に使用されている色（赤・青・黄）に対応する色相値が、０度と３５９度とに分断されることがないようにシフトすればよい。すなわち、認識対象物である道路標識に原則として使用されていない色（緑）に対応する色相値が、０度の位置に配置されるようにシフトすればよい。また、道路標識に使用される色に、ほとんど緑が使用されていないのは、道路標識は街路樹が植えられている道路の傍らに設置される場合が多く、道路標識を街路樹の葉の緑と区別しやすくするために原則として緑を使用していないものと考えられる。
【００２０】
白黒領域抽出部１５は、カラー画像に含まれる彩度成分情報に基づいて、当該カラー画像から、彩度値が所定の閾値（例えば、９０）よりも小さい画素（領域）を、白または黒に対応する画素として抽出する。このようにして白または黒に対応する画素を抽出するのは、白または黒の彩度値は、他の色の彩度値よりも小さい値になるからである。ここで、所定の閾値は、白または黒であると想定され得る彩度値の上限付近に設定すればよい。また、白黒領域抽出部１５は、カラー画像に含まれる明度成分情報（明度情報）に基づいて、上記抽出した白または黒に対応する各画素から、明度値が所定の閾値（例えば、１２８）よりも小さい画素を、黒に対応する画素として抽出し、黒の色相成分情報を有する色相画像を生成する。このようにして黒に対応する画素を抽出するのは、黒の明度値は、白の明度値よりも小さい値になるからである。また、白黒領域抽出部１５は、カラー画像に含まれる明度成分情報に基づいて、上記抽出した白または黒に対応する各画素から、明度値が所定の閾値（例えば、１２８）以上である画素を、白に対応する画素として抽出し、白の色相成分情報を有する色相画像を生成する。ここで、所定の閾値は、黒であると想定され得る明度値の上限付近または白であると想定され得る明度値の下限付近に設定すればよい。
【００２１】
白黒・色相値変更部１６は、白黒領域抽出部１５により抽出された白に対応する画素の色相値を、例えば３５９度に変更するとともに、白黒領域抽出部１５により抽出された黒に対応する画素の色相値を、例えば２度に変更する（図２（ｂ）参照）。これにより、白・黒の色相成分情報が生成される。なお、白および黒に対応する画素の色相値は、必ずしも上述した３５９度や２度に変更する必要はない。道路標識として使用されている色（赤、青、黄）と明確に区別することができる色相値に変更すればよい。
【００２２】
ここで、色相には一般に白と黒とが含まれないため、白や黒が存在する対象物を色相画像に表すと、対象物の白い部分や黒い部分は、その色に近似する有彩色の色相として表される。それゆえに、従来は、対象物の白い部分や黒い部分と、その他の色で表される部分とを色相により明確に識別することは極めて困難であり、白や黒が存在する対象物を色相画像に基づいて認識することは不可能であった。そこで、本実施形態における標識認識装置１では、白黒領域抽出部１５が、彩度成分情報および明度成分情報に基づいて白または黒に対応する可能性の高い画素を抽出し、白黒・色相値変更部１６が、抽出された画素に特定の色相値を割り当てることにより、対象物の白い部分や黒い部分と、その他の色で表される部分とを色相により明確に識別できるようにした。
【００２３】
色相値正規化部１７は、赤・青・黄・白・黒の色相成分情報を有する色相画像の各色相値（０度〜３５９度）を、０〜２５５に変換（正規化）する。これにより、例えば、白に対応する色相値（３５９度）の正規化後の値は２５５となり、黒に対応する色相値（２度）の正規化後の値は１となる。なお、本実施形態においては、色相値正規化部１７により正規化された後の色相画像を標識認識用色相画像（ＨＩＴＳ：Hue Image for Traffic Sign）とする。
【００２４】
標識認識部１８は、例えば、正規化相関によるパターン認識手法に基づいて、標識認識用色相画像から認識対象物である道路標識を認識するための認識処理を行う。この認識処理について具体的に説明すると、標識認識部１８は、道路標識の色相画像と標識認識用色相画像とを、画素単位で比較して一致度を算出し、この一致度に基づいて標識認識用色相画像に道路標識が含まれているか否かを認識する。なお、パターン認識手法としては、正規化相関に限られず、例えば、差分総和を用いたテンプレートマッチングまたはニューラルネットワークであってもよい。
【００２５】
出力部１９は、標識認識部１８により認識された道路標識に対応する標識の内容をディスプレイ上に表示させる。なお、出力部１９による出力は、標識の内容をディスプレイ上に表示させることには限定されず、例えば、標識の内容をスピーカーから音声出力することとしてもよい。
【００２６】
次に、図３を参照して本実施形態における標識認識装置１の動作を説明する。
【００２７】
図３に示すように、まず、標識認識装置１の撮像部１１は、ＣＣＤカメラにより撮像された風景のカラー画像を取得する（ステップＳ１）。
【００２８】
次に、ＨＳＩ変換部１２は、ＨＳＩ変換に基づいて、撮像部１１により取得されたカラー画像を、色相・彩度・明度の各成分情報を有するカラー画像に変換する（ステップＳ２）。
【００２９】
次に、色相画像生成部１３は、ＨＳＩ変換部１２により変換されたカラー画像に含まれる色相成分情報および彩度成分情報に基づいて、当該カラー画像から赤・青・黄に対応する画素を抽出し、赤・青・黄の色相成分情報を有する色相画像を生成する（ステップＳ３）。
【００３０】
次に、色相値シフト部１４は、色相画像生成部１３により生成された色相画像に含まれる各画素に対応する色相値を、−１２０度ずつシフトする（ステップＳ４）。
【００３１】
次に、白黒領域抽出部１５は、ＨＳＩ変換部１２により変換されたカラー画像に含まれる彩度成分情報に基づいて、当該カラー画像に含まれる画素のうち色相画像生成部１３により抽出された画素以外の各画素から、彩度値が所定の閾値（例えば、９０）よりも小さい画素を、白または黒に対応する画素として抽出する（ステップＳ５）。
【００３２】
次に、白黒領域抽出部１５は、ＨＳＩ変換部１２により変換されたカラー画像に含まれる明度成分情報に基づいて、ステップＳ５において抽出した白または黒に対応する画素の明度値が、所定の閾値（例えば、１２８）よりも小さいか否かを判定する（ステップＳ６）。この判定がＮＯである場合（ステップＳ６；ＮＯ）に、白黒・色相値変更部１６は、当該判定された画素の色相値を、例えば３５９度に変更するとともに、変更後の色相値を、ステップＳ４において色相値がシフトされた後の色相画像に反映する（ステップＳ７）。これにより、白に対応する画素の色相値が３５９度に変更されるとともに、この色相値が色相画像に反映される。
【００３３】
一方、ステップＳ６における判定で、ステップＳ５において抽出した白または黒に対応する画素の明度値が、所定の閾値（例えば、１２８）よりも小さいと判定された場合（ステップＳ６；ＹＥＳ）に、白黒・色相値変更部１６は、当該判定された画素の色相値を、例えば２度に変更するとともに、変更後の色相値を、ステップＳ４において色相値がシフトされた後の色相画像に反映する（ステップＳ８）。これにより、黒に対応する画素の色相値が２度に変更されるとともに、この色相値が色相画像に反映される。このように、変更後の白または黒に対応する色相値を色相画像に反映することによって、赤・青・黄の色相成分情報を有する色相画像は、赤・青・黄・白・黒の色相成分情報を有する色相画像に変換されることになる。
【００３４】
次に、色相値正規化部１７は、赤・青・黄・白・黒の色相成分情報を有する色相画像の各色相値（０度〜３５９度）を、０〜２５５に正規化して、標識認識用色相画像を生成する（ステップＳ９）。
【００３５】
次に、標識認識部１８は、色相値正規化部１７により生成された標識認識用色相画像に基づいて、道路標識を認識するための認識処理を行う（ステップＳ１０）。
【００３６】
そして、出力部１９は、標識認識部１８により標識認識用色相画像に道路標識が含まれていることが認識された場合に、認識された道路標識に対応する標識の内容をディスプレイ上に表示させる（ステップＳ１１）。
【００３７】
なお、上述した標識認識装置１の動作では、図３に示すステップＳ３において、色相画像生成部１３が、赤・青・黄の色相成分情報を有する色相画像を生成した後に、ステップＳ５において、白黒領域抽出部１５が、白または黒に対応する画素を抽出しているが、処理をする順番は、これに限られず、処理の順番を逆にしてもよいし、両方の処理を同時に行うこととしてもよい。
【００３８】
以上のように、本実施形態における標識認識装置１では、従来のように明度成分情報に基づいて認識処理を行うのではなく、道路標識に使用される色に対応する赤・青・黄・白・黒の色相成分情報を有する色相画像に基づいて、認識処理を行っているため、原カラー画像に写し出された認識対象物である道路標識に日向部分と日陰部分とが存在していても認識性能を低下させずに、原カラー画像から道路標識を認識することができる。したがって、従来技術に比して認識性能を向上させることができる。
【００３９】
また、本実施形態における標識認識装置１では、道路標識に原則として使用されない色（緑）に対応する色相値を、色相環の基準値（０度の位置）にシフトしているため、道路標識に使用される色（赤・青・黄）が、色相値の正規化後に分断されてしまう事態を防止することができる。したがって、各色相値間の相関度を低下させることなく認識処理を行うことができ、ひいては認識性能を向上させることができる。
【００４０】
さらに、本実施形態における標識認識装置１では、白または黒に対応する可能性の高い画素に特定の色相値を割り当てて、白および黒に対応する色相値を、その他の色に対応する色相値と明確に区別させているため、白や黒が存在する対象物を色相画像に基づいて認識することができる。これにより、従来技術に比して、さらに認識性能を向上させることができる。
【００４１】
また、本実施形態における標識認識装置１では、道路標識に使用される色に対応する色相のみが認識の対象とされるため、色相環上の色相のうち、道路標識に使用される色以外の色に対応する色相部分は、空き状態となる。したがって、本来であれば、色相環上に表すことができない白または黒に対応する色相値を、その空き状態となった位置を利用することにより色相環上に表すことができる。これにより、白や黒が存在する対象物を色相画像に基づいて認識することができる。
【００４２】
なお、本実施形態における標識認識装置１では、認識対象物が道路標識である場合を例示して説明しているが、認識対象物は道路標識に限られない。例えば、道路標識には、赤・青・黄のほかに白・黒も使用されているが、使用されている色に白・黒が含まれない認識対象物を認識する場合にも適用可能である。この場合には、上述した白黒領域抽出部１５および白黒・色相値変更部１６は、省略することができる。すなわち、上述した実施形態における色相値正規化部１７は、色相値シフト部１４によりシフトされた後の色相値、および白黒・色相値変更部１６により変更された色相値を正規化しているが、本例の場合における色相値正規化部１７は、色相値シフト部１４によりシフトされた後の色相値を正規化すればよい。
【００４３】
【発明の効果】
本発明に係る物体認識装置および物体認識方法によれば、認識対象物を認識する際の認識性能を向上させることができる。
【図面の簡単な説明】
【図１】本発明の実施形態における標識認識装置の機能構成図である。
【図２】（ａ）は一般的な色相環を示し、（ｂ）は色相値をシフトした後の色相環を示す図である。
【図３】標識認識処理を示すフローチャートである。
【符号の説明】
１・・・標識認識装置、１１・・・撮像部、１２・・・ＨＳＩ変換部、１３・・・色相画像生成部、１４・・・色相値シフト部、１５・・・白黒領域抽出部、１６・・・白黒・色相値変更部、１７・・・色相値正規化部、１８・・・標識認識部、１９・・・出力部。[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to an object recognition device and an object recognition method for recognizing a recognition target with an image.
[0002]
[Prior art]
Conventionally, when a target object such as a road sign is recognized from a color image projected thereon, the target object is recognized based on brightness information of red, blue, and green, or hue information derived from the brightness information. Recognition based on A technique for recognizing a marker as a recognition target from a color image based on the brightness information and the hue information of the color image is disclosed in, for example, Patent Document 1.
[0003]
[Patent Document 1]
JP-A-9-185703
[Problems to be solved by the invention]
However, in the case of recognizing a recognition target based on hue information by a conventional technique, since the red position in the hue circle is arranged around 0 degree, for example, 0 degree and 359 degrees in the hue circle are used. Is red corresponding to the same hue, but is divided into 0 and 255 in the normalized hue value. Therefore, if the recognition processing is performed based on such hue values, the degree of correlation between the hue values in the calculation process of the recognition processing is reduced, and the recognition performance is reduced.
[0005]
Also, in the case of recognizing a recognition target based on brightness information by a conventional technique, when the target object projected on the original color image has a sunlit portion and a shaded portion, the target color is originally the same color. However, different colors are recognized between the sunlit portion and the shaded portion. That is, in the case of recognizing a recognition target from a color image in which the target has a sunlit portion and a shaded portion, the recognition performance is reduced.
[0006]
Therefore, an object of the present invention is to provide an object recognition device and an object recognition method that can improve recognition performance when recognizing a recognition target object in order to solve the above-described problem.
[0007]
[Means for Solving the Problems]
The object recognition device of the present invention is an object recognition device that recognizes a recognition target object whose color to be used is set in advance, wherein hue information of a color used for the recognition target object is captured by an imaging unit. The extracting means for extracting from the image and the hue value included in the hue information extracted by the extracting means are shifted so that the hue value corresponding to a color other than the color used for the recognition target becomes the hue reference value. It is characterized by comprising shift means, normalizing means for normalizing the hue value shifted by the shift means, and recognition means for recognizing the recognition target based on the value normalized by the normalizing means.
[0008]
Further, the object recognition method of the present invention is an object recognition method for recognizing a recognition target whose color to be used is set in advance, wherein hue information of a color used for the recognition target is captured by an imaging unit. The hue value included in the extracted hue information is shifted so that the hue value corresponding to a color other than the color used for the recognition target becomes the hue reference value extracted from the extracted image. The invention is characterized in that the hue value is normalized, and the recognition target is recognized based on the normalized value.
[0009]
According to these inventions, the hue reference value is shifted to a hue position corresponding to a color other than the color used for the recognition target, and the hue value after the shift is normalized to recognize the recognition target. Since it can be performed, it is possible to prevent a situation in which the color used for the recognition target is divided after the hue value is normalized. Therefore, recognition can be performed without reducing the degree of correlation between hue values, and thus recognition performance can be improved. In addition, since the recognition target is recognized based on the hue information without using the brightness information, the recognition performance can be improved even if the recognition target projected on the captured image includes a sunlit portion and a shaded portion. The recognition target can be recognized from the captured image without lowering.
[0010]
In the object recognition device of the present invention, a region corresponding to white or black is extracted from the captured image based on the saturation information and the brightness information of the captured image by a black-and-white extraction unit and a black-and-white extraction unit. The hue value corresponding to the region, the hue value corresponding to the region extracted by the black and white extraction means, hue value changing means for changing to a hue value corresponding to white or black, further comprising a normalization means, It is preferable to normalize the hue value changed by the changing means.
[0011]
Further, in the object recognition method of the present invention, a region corresponding to white or black is extracted from the captured image based on the saturation information and the brightness information of the color of the captured image, and the region corresponding to the extracted region is extracted. It is preferable to change the hue value to be performed to a hue value corresponding to white or black, and to normalize the changed hue value at the time of normalization.
[0012]
In this way, a specific hue value can be assigned to an area corresponding to white or black included in the recognition target, and the recognition target can be recognized after normalizing the hue value. Therefore, the recognition performance can be further improved.
[0013]
In the object recognition device of the present invention, it is preferable that the recognition unit performs recognition based on pattern recognition.
[0014]
As described above, the recognition of the recognition target can be performed more effectively by using the pattern recognition.
[0015]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, embodiments of the sign recognition device according to the present invention will be described with reference to the drawings. First, a functional configuration of the sign recognition device 1 according to the present embodiment will be described with reference to FIG. As shown in FIG. 1, the sign recognition device 1 includes an imaging unit (imaging unit) 11, an HSI conversion unit 12, a hue image generation unit (extraction unit) 13, a hue value shift unit (shift unit) 14, a black and white area extraction unit. (Black and white extracting means) 15, a black and white / hue value changing unit (hue value changing means) 16, a hue value normalizing unit (normalizing means) 17, a sign recognition unit (recognizing means) 18, and an output unit 19. Note that the sign recognition device 1 in the present embodiment is a device mounted on, for example, an automobile. The sign recognition device 1 is a device that, when recognizing a road sign installed beside a road or the like, displays the contents of the road sign on a display or the like to prompt the driver to pay attention to traffic. is there. Hereinafter, each component will be described.
[0016]
The imaging unit 11 is, for example, a device having a built-in imaging device such as a CCD camera. The imaging unit 11 captures an image of a landscape that develops near the front of a car to which the sign recognition device 1 is attached, and converts a color image (for example, an image in RGB). get.
[0017]
The HSI conversion unit 12 converts an RGB color image into a color image having hue, saturation, and brightness component information using HSI (Hue Saturation Intensity) conversion. The method of converting a color image into a color image having hue, saturation, and brightness component information is not limited to the above-described HSI conversion, and may be, for example, HSV (Hue Saturation intensity Value) conversion.
[0018]
Based on the hue component information (hue information) and the saturation component information (saturation information) included in the color image, the hue image generation unit 13 determines pixels (regions) corresponding to red, blue, and yellow from the color image. It extracts and generates a hue image having red / blue / yellow hue component information.
[0019]
The hue value shift unit 14 shifts the hue value corresponding to each pixel included in the hue image by -120 degrees. The shift of the hue value will be described with reference to FIG. FIG. 2A is a diagram showing a general hue circle. Red is arranged at the reference value (position of 0 degree) of the hue circle shown in FIG. Green is arranged at a position of 120 degrees on the hue circle. FIG. 2B is a diagram showing a hue circle after shifting each hue value of the hue circle shown in FIG. 2A by -120 degrees. The reference value of the hue circle shown in FIG. 2B has been shifted to the green position of the hue circle shown in FIG. As a result, the hue value (120 degrees) corresponding to green, which is not used in principle for the road sign among the colors represented on the hue circle, is shifted to the 0-degree position (reference value) on the hue circle. Become. Therefore, the hue value corresponding to the color (red / blue / yellow) used for the road sign as the recognition target is not divided into 0 degree and 359 degrees. Therefore, it is possible to prevent a decrease in the degree of correlation in the recognition processing performed after normalizing the hue value, and to improve recognition performance. Note that the hue value shift is not limited to the above-described shift of -120 degrees, and the hue values corresponding to the colors (red, blue, and yellow) used for the road sign as the recognition target are 0 degree and 359 degrees. What is necessary is just to shift so that it may not be divided too much. That is, the hue value corresponding to the color (green) not used in principle for the road sign as the recognition target may be shifted so as to be arranged at the position of 0 degrees. Also, the reason that almost no green is used as the color used for road signs is that road signs are often installed alongside roads where street trees are planted. It is considered that green is not used in principle to make it easier to distinguish from green.
[0020]
Based on the saturation component information included in the color image, the black-and-white region extraction unit 15 converts a pixel (region) having a saturation value smaller than a predetermined threshold (for example, 90) from the color image into white or black. Extract as corresponding pixels. The reason why the pixels corresponding to white or black are extracted in this way is that the saturation value of white or black becomes smaller than the saturation values of other colors. Here, the predetermined threshold may be set near the upper limit of the saturation value that can be assumed to be white or black. Further, based on the brightness component information (brightness information) included in the color image, the black-and-white region extraction unit 15 determines the brightness value of each pixel corresponding to the extracted white or black from a predetermined threshold value (for example, 128). A pixel having a smaller size is extracted as a pixel corresponding to black, and a hue image having hue component information of black is generated. The reason why the pixel corresponding to black is extracted in this way is that the brightness value of black is smaller than the brightness value of white. Further, based on the brightness component information included in the color image, the black-and-white area extraction unit 15 determines, from each pixel corresponding to the extracted white or black, a pixel whose brightness value is equal to or greater than a predetermined threshold (for example, 128). , A pixel corresponding to white, and a hue image having white hue component information is generated. Here, the predetermined threshold may be set near the upper limit of the brightness value that can be assumed to be black or near the lower limit of the brightness value that can be assumed to be white.
[0021]
The black-and-white / hue value changing unit 16 changes the hue value of the pixel corresponding to white extracted by the black-and-white region extracting unit 15 to, for example, 359 degrees, and changes the pixel corresponding to black extracted by the black-and-white region extracting unit 15. Is changed to, for example, twice (see FIG. 2B). Thereby, white / black hue component information is generated. Note that the hue values of the pixels corresponding to white and black need not necessarily be changed to 359 degrees or 2 degrees as described above. What is necessary is just to change to a hue value that can be clearly distinguished from the colors (red, blue, yellow) used as road signs.
[0022]
Here, since hue generally does not include white and black, when an object having white or black is represented in a hue image, the white portion or black portion of the object is a chromatic color approximating that color. Expressed as hue. Therefore, conventionally, it is extremely difficult to clearly distinguish a white portion or a black portion of an object from a portion represented by another color by a hue, and an object having white or black is identified by a hue image. It was not possible to recognize based on. Therefore, in the sign recognition device 1 according to the present embodiment, the black and white area extracting unit 15 extracts a pixel having a high possibility of corresponding to white or black based on the chroma component information and the lightness component information, and changes the black and white / hue value. By assigning a specific hue value to the extracted pixels, the unit 16 can clearly distinguish a white portion or a black portion of the object from a portion represented by another color by a hue.
[0023]
The hue value normalizing unit 17 converts (normalizes) each hue value (0 to 359 degrees) of a hue image having hue component information of red, blue, yellow, white, and black into 0 to 255. Thus, for example, the normalized hue value (359 degrees) corresponding to white is 255, and the normalized hue value (2 degrees) corresponding to black is 1. In the present embodiment, the hue image normalized by the hue value normalization unit 17 is referred to as a hue image for traffic sign recognition (HITS: Hue Image for Traffic Sign).
[0024]
The sign recognition unit 18 performs recognition processing for recognizing a road sign as a recognition target from the hue image for sign recognition based on, for example, a pattern recognition method based on normalized correlation. More specifically, the sign recognition unit 18 compares the hue image of the road sign with the hue image for sign recognition on a pixel-by-pixel basis to calculate the degree of coincidence, and based on the degree of coincidence, recognizes the sign. It is recognized whether or not the road hue image includes a road sign. The pattern recognition method is not limited to the normalized correlation, and may be, for example, template matching using a sum of differences or a neural network.
[0025]
The output unit 19 displays the contents of the sign corresponding to the road sign recognized by the sign recognition unit 18 on a display. Note that the output by the output unit 19 is not limited to displaying the contents of the sign on the display. For example, the contents of the sign may be output as sound from a speaker.
[0026]
Next, the operation of the sign recognition device 1 in the present embodiment will be described with reference to FIG.
[0027]
As shown in FIG. 3, first, the imaging unit 11 of the sign recognition device 1 acquires a color image of a scene captured by a CCD camera (step S1).
[0028]
Next, the HSI conversion unit 12 converts the color image acquired by the imaging unit 11 into a color image having hue, saturation, and brightness component information based on the HSI conversion (Step S2).
[0029]
Next, based on the hue component information and the saturation component information included in the color image converted by the HSI conversion unit 12, the hue image generation unit 13 extracts pixels corresponding to red, blue, and yellow from the color image. Then, a hue image having red / blue / yellow hue component information is generated (step S3).
[0030]
Next, the hue value shift unit 14 shifts the hue value corresponding to each pixel included in the hue image generated by the hue image generation unit 13 by -120 degrees (Step S4).
[0031]
Next, based on the saturation component information included in the color image converted by the HSI conversion unit 12, the black-and-white region extraction unit 15 extracts the pixels extracted by the hue image generation unit 13 from the pixels included in the color image. A pixel having a saturation value smaller than a predetermined threshold value (for example, 90) is extracted as a pixel corresponding to white or black from each of the other pixels (step S5).
[0032]
Next, based on the lightness component information included in the color image converted by the HSI conversion unit 12, the black-and-white region extraction unit 15 sets the lightness value of the pixel corresponding to white or black extracted in step S5 to a predetermined threshold value. It is determined whether it is smaller than (for example, 128) (step S6). When this determination is NO (step S6; NO), the black and white / hue value changing unit 16 changes the hue value of the determined pixel to, for example, 359 degrees, and sets the changed hue value in step S6. The hue value is reflected on the hue image after the hue value is shifted in S4 (step S7). As a result, the hue value of the pixel corresponding to white is changed to 359 degrees, and this hue value is reflected on the hue image.
[0033]
On the other hand, if it is determined in step S6 that the brightness value of the pixel corresponding to white or black extracted in step S5 is smaller than a predetermined threshold (for example, 128) (step S6; YES), The hue value changing unit 16 changes the hue value of the determined pixel to, for example, twice, and reflects the changed hue value on the hue image after the hue value is shifted in step S4 ( Step S8). As a result, the hue value of the pixel corresponding to black is changed twice, and this hue value is reflected on the hue image. As described above, by reflecting the hue value corresponding to the changed white or black on the hue image, the hue image having the red / blue / yellow hue component information becomes the red / blue / yellow / white / black hue. It is converted into a hue image having component information.
[0034]
Next, the hue value normalizing unit 17 normalizes each hue value (0 to 359 degrees) of the hue image having hue component information of red, blue, yellow, white, and black to 0 to 255, and A hue image for recognition is generated (step S9).
[0035]
Next, the sign recognition unit 18 performs a recognition process for recognizing a road sign based on the sign recognition hue image generated by the hue value normalization unit 17 (step S10).
[0036]
When the sign recognition unit 18 recognizes that the hue image for sign recognition includes a road sign, the output unit 19 displays the contents of the sign corresponding to the recognized road sign on the display. (Step S11).
[0037]
In the operation of the above-described sign recognition device 1, after the hue image generating unit 13 generates the hue image having the hue component information of red, blue, and yellow in step S3 shown in FIG. Although the region extraction unit 15 extracts pixels corresponding to white or black, the order of processing is not limited to this, and the order of processing may be reversed, or both processes may be performed simultaneously. Is also good.
[0038]
As described above, the sign recognition device 1 according to the present embodiment does not perform recognition processing based on lightness component information as in the related art, but uses red, blue, yellow, and white corresponding to the colors used for road signs.・ Since recognition processing is performed based on a hue image having black hue component information, it is recognized even if there is a sunlit portion and a shaded portion in the road sign, which is the recognition target projected on the original color image. Road signs can be recognized from the original color image without degrading performance. Therefore, the recognition performance can be improved as compared with the related art.
[0039]
In the sign recognition device 1 according to the present embodiment, the hue value corresponding to the color (green) not used in principle for the road sign is shifted to the reference value (0-degree position) of the hue circle. (Red / blue / yellow) used after the normalization of the hue value can be prevented from being divided. Therefore, the recognition process can be performed without reducing the degree of correlation between the hue values, and the recognition performance can be improved.
[0040]
Further, in the sign recognition device 1 according to the present embodiment, a specific hue value is assigned to a pixel likely to correspond to white or black, and a hue value corresponding to white and black is changed to a hue value corresponding to another color. Therefore, an object having white or black can be recognized based on the hue image. Thereby, the recognition performance can be further improved as compared with the related art.
[0041]
In addition, in the sign recognition device 1 according to the present embodiment, since only the hue corresponding to the color used for the road sign is to be recognized, of the hues on the hue circle other than the color used for the road sign. The hue portion corresponding to the color is empty. Therefore, a hue value corresponding to white or black, which cannot be represented on the hue circle, can be represented on the hue circle by using the empty position. This makes it possible to recognize an object in which white or black exists based on the hue image.
[0042]
In the sign recognition device 1 according to the present embodiment, the case where the recognition target is a road sign is described as an example, but the recognition target is not limited to the road sign. For example, road signs use white / black in addition to red / blue / yellow, but can also be used to recognize recognition objects that do not include white / black in the colors used. is there. In this case, the above-described black-and-white region extracting unit 15 and black-and-white / hue value changing unit 16 can be omitted. That is, the hue value normalizing unit 17 in the above-described embodiment normalizes the hue value after being shifted by the hue value shifting unit 14 and the hue value changed by the black and white / hue value changing unit 16. The hue value normalizing unit 17 in the case of this example may normalize the hue value after being shifted by the hue value shifting unit 14.
[0043]
【The invention's effect】
ADVANTAGE OF THE INVENTION According to the object recognition apparatus and the object recognition method which concern on this invention, the recognition performance at the time of recognizing a recognition target object can be improved.
[Brief description of the drawings]
FIG. 1 is a functional configuration diagram of a sign recognition device according to an embodiment of the present invention.
FIG. 2A is a diagram illustrating a general hue circle, and FIG. 2B is a diagram illustrating a hue circle after a hue value is shifted.
FIG. 3 is a flowchart illustrating a sign recognition process.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 1 ... Sign recognition apparatus, 11 ... Imaging part, 12 ... HSI conversion part, 13 ... Hue image generation part, 14 ... Hue value shift part, 15 ... Monochrome area extraction part, 16: black-and-white / hue value changing unit, 17: hue value normalizing unit, 18: sign recognition unit, 19: output unit.

Claims

An object recognition device that recognizes a recognition target object in which a color to be used is set in advance,
Extracting means for extracting hue information of a color used for the recognition target from an image captured by an imaging means,
A shift unit that shifts a hue value included in hue information extracted by the extraction unit, so that a hue value corresponding to a color other than the color used for the recognition target becomes a hue reference value,
Normalizing means for normalizing the hue value shifted by the shifting means,
An object recognizing device comprising: a recognizing unit that recognizes a recognition target based on a value normalized by the normalizing unit.

Black-and-white extracting means for extracting a region corresponding to white or black from the captured image based on the saturation information and the brightness information of the captured image,
Hue value changing means for changing a hue value corresponding to the region extracted by the black and white extraction means to a hue value corresponding to white or black,
2. The object recognition apparatus according to claim 1, wherein the normalization unit normalizes the hue value changed by the hue value changing unit.

The apparatus according to claim 1, wherein the recognition unit performs the recognition based on pattern recognition.

An object recognition method for recognizing a recognition target in which a color to be used is set in advance,
The hue information of the color used for the recognition target is extracted from the image captured by the imaging unit,
Shifting the hue value included in the extracted hue information so that a hue value corresponding to a color other than the color used for the recognition target becomes a hue reference value,
Normalizing the shifted hue values,
An object recognition method, wherein a recognition target is recognized based on the normalized value.

Based on the saturation information and brightness information of the color of the captured image, extract a region corresponding to white or black from the captured image,
Change the hue value corresponding to the extracted area to a hue value corresponding to white or black,
5. The object recognition method according to claim 4, wherein the normalized hue value is normalized during the normalization.