JP2004213127A - 物体認識装置および物体認識方法 - Google Patents

Abstract

【課題】認識対象物を認識する際の認識性能を向上させる。
【解決手段】ＨＳＩ変換部１２は撮像部１１により取得されたカラー画像を色相・彩度・明度の各成分情報を有するカラー画像に変換する。色相画像生成部１３は色相成分情報・彩度成分情報に基づいてカラー画像から赤・青・黄の色相成分情報を有する色相画像を生成する。色相値シフト部１４は色相画像の色相値を−１２０度ずつシフトする。白黒領域抽出部１５は彩度成分情報・明度成分情報に基づいて白または黒に対応する画素の色相値を変更する。色相値正規化部１７は赤・青・黄・白・黒の色相成分情報を有する色相画像の各色相値を正規化して標識認識用色相画像を生成する。標識認識部１８は標識認識用色相画像に基づいて道路標識を認識するための認識処理を行う。出力部１９は認識された道路標識に対応する標識の内容をディスプレイ上に表示させる。
【選択図】 図１

Description

【０００１】
【発明の属する技術分野】
本発明は、認識対象物を画像により認識する物体認識装置および物体認識方法に関する。
【０００２】
【従来の技術】
従来、道路標識等の認識対象物が写し出されたカラー画像から当該対象物を認識する場合には、赤、青、緑による明度情報に基づいて認識するか、当該明度情報から導出される色相情報に基づいて認識している。このように、カラー画像の明度情報や色相情報に基づいて認識対象物である標識をカラー画像から認識する技術は、例えば、特許文献１に開示されている。
【０００３】
【特許文献１】
特開平９−１８５７０３号公報
【０００４】
【発明が解決しようとする課題】
ところが、従来の技術により色相情報に基づいて認識対象物を認識する場合には、色相環における赤の位置が０度を中心にして配置されているため、例えば、色相環の０度と３５９度の位置に対応する赤は、同程度の色相に対応する赤であるにもかかわらず、正規化後の色相値では０と２５５とに分断されてしまう。したがって、このような色相値に基づいて認識処理を行うと認識処理の計算過程における各色相値間の相関度が低くなり、認識性能が低下してしまう。
【０００５】
また、従来の技術により明度情報に基づいて認識対象物を認識する場合には、原カラー画像に写し出された対象物に日向部分と日陰部分とが存在する場合に、本来は同じ色であっても日向部分と日陰部分とでは異なる色に認識されてしまう。すなわち、対象物に日向部分と日陰部分とが存在するカラー画像から認識対象物を認識する場合には、認識性能が低下してしまう。
【０００６】
そこで、本発明は、上述した課題を解決するために、認識対象物を認識する際の認識性能を向上せることができる物体認識装置および物体認識方法を提供することを目的とする。
【０００７】
【課題を解決するための手段】
本発明の物体認識装置は、使用される色が予め設定されている認識対象物を認識する物体認識装置であって、認識対象物に使用される色の色相情報を、撮像手段により撮像された画像から抽出する抽出手段と、認識対象物に使用される色以外の色に対応する色相値が色相の基準値となるように、抽出手段により抽出された色相情報に含まれる色相値をシフトするシフト手段と、シフト手段によりシフトされた色相値を正規化する正規化手段と、正規化手段により正規化された値に基づいて認識対象物を認識する認識手段とを備えることを特徴とする。
【０００８】
また、本発明の物体認識方法は、使用される色が予め設定されている認識対象物を認識する物体認識方法であって、認識対象物に使用される色の色相情報を、撮像手段により撮像された画像から抽出し、認識対象物に使用される色以外の色に対応する色相値が色相の基準値となるように、抽出された色相情報に含まれる色相値をシフトし、シフトされた色相値を正規化し、正規化された値に基づいて認識対象物を認識することを特徴とする。
【０００９】
これらの発明によれば、色相の基準値を認識対象物に使用される色以外の色に対応する色相の位置にシフトし、シフト後の色相値を正規化したうえで認識対象物の認識を行うことができるため、認識対象物に使用される色が、色相値の正規化後に分断されてしまう事態を防止することができる。したがって、各色相値間の相関度を低下させることなく認識を行うことができるため、認識性能を向上させることができる。また、明度情報を用いずに色相情報に基づいて認識対象物を認識しているため、撮像された画像に写し出された認識対象物に日向部分と日陰部分とが存在していても認識性能を低下させずに、撮像された画像から認識対象物を認識することができる。
【００１０】
本発明の物体認識装置において、撮像された画像の彩度情報および明度情報に基づいて、白または黒に対応する領域を、当該撮像された画像から抽出する白黒抽出手段と、白黒抽出手段により抽出された領域に対応する色相値を、白黒抽出手段により抽出された領域に対応する色相値を、白または黒に対応する色相値に変更する色相値変更手段とをさらに備え、正規化手段は、変更手段により変更された色相値を正規化することが好ましい。
【００１１】
また、本発明の物体認識方法において、撮像された画像の色の彩度情報および明度情報に基づいて、当該撮像された画像から白または黒に対応する領域を抽出し、抽出された領域に対応する色相値を、白または黒に対応する色相値に変更し、正規化の際に、変更された色相値を正規化することが好ましい。
【００１２】
このようにすれば、認識対象物に含まれる白または黒に対応する領域に、特定の色相値を割り当てることができるとともに、この色相値を正規化したうえで認識対象物の認識を行うことができるため、認識性能をさらに向上させることができる。
【００１３】
本発明の物体認識装置において、認識手段は、パターン認識に基づいて認識を行うことが好ましい。
【００１４】
このように、パターン認識を用いることにより認識対象物の認識をより効果的に行うことができる。
【００１５】
【発明の実施の形態】
以下、本発明に係る標識認識装置の実施形態を図面に基づき説明する。まず、図１を参照して、本実施形態における標識認識装置１の機能構成を説明する。図１に示すように、標識認識装置１は、撮像部（撮像手段）１１、ＨＳＩ変換部１２、色相画像生成部（抽出手段）１３、色相値シフト部（シフト手段）１４、白黒領域抽出部（白黒抽出手段）１５、白黒・色相値変更部（色相値変更手段）１６、色相値正規化部（正規化手段）１７、標識認識部（認識手段）１８および出力部１９を有する。なお、本実施形態における標識認識装置１は、例えば、自動車などに搭載される装置である。また、標識認識装置１は、道路の傍ら等に設置されている道路標識を認識した場合に、その道路標識の内容をディスプレイ上に文字表示する等して交通に関する注意を運転者に促す装置である。以下において、各構成要素について説明する。
【００１６】
撮像部１１は、例えば、ＣＣＤカメラ等の撮像装置を内蔵した装置であり、標識認識装置１が取り付けられた自動車の前方付近に展開する風景を撮像し、カラー画像（例えば、ＲＧＢによる画像）を取得する。
【００１７】
ＨＳＩ変換部１２は、ＲＧＢによるカラー画像を、ＨＳＩ（Hue Saturation Intensity）変換を用いて、色相・彩度・明度の各成分情報を有するカラー画像に変換する。なお、カラー画像を色相・彩度・明度の各成分情報を有するカラー画像に変換する方法は、上述したＨＳＩ変換に限られず、例えば、ＨＳＶ（Hue Saturation intensity Value）変換であってもよい。
【００１８】
色相画像生成部１３は、カラー画像に含まれる色相成分情報（色相情報）および彩度成分情報（彩度情報）に基づいて、当該カラー画像から赤・青・黄に対応する画素（領域）を抽出し、赤・青・黄の色相成分情報を有する色相画像を生成する。
【００１９】
色相値シフト部１４は、色相画像に含まれる各画素に対応する色相値を、−１２０度ずつシフトする。図２を参照して、色相値のシフトについて説明する。図２（ａ）は、一般的な色相環を表した図である。図２（ａ）に示す色相環の基準値（０度の位置）には、赤が配置されている。また、色相環の１２０度の位置には、緑が配置されている。図２（ｂ）は、図２（ａ）に示す色相環の各色相値を、−１２０度ずつシフトした後の色相環を表した図である。図２（ｂ）に示す色相環の基準値は、図２（ａ）に示す色相環の緑の位置にシフトされている。これにより、色相環に表される色のうち道路標識に原則として使用されていない緑に対応する色相値（１２０度）が、色相環の０度の位置（基準値）にシフトされることとなる。したがって、認識対象物である道路標識に使用されている色（赤・青・黄）に対応する色相値が、０度と３５９度とに分断されることがなくなる。それゆえ、色相値を正規化した後に行われる認識処理での相関度の低下を防止することができ、ひいては認識性能を向上させることができる。なお、色相値のシフトは、上述した−１２０度のシフトに限られず、認識対象物である道路標識に使用されている色（赤・青・黄）に対応する色相値が、０度と３５９度とに分断されることがないようにシフトすればよい。すなわち、認識対象物である道路標識に原則として使用されていない色（緑）に対応する色相値が、０度の位置に配置されるようにシフトすればよい。また、道路標識に使用される色に、ほとんど緑が使用されていないのは、道路標識は街路樹が植えられている道路の傍らに設置される場合が多く、道路標識を街路樹の葉の緑と区別しやすくするために原則として緑を使用していないものと考えられる。
【００２０】
白黒領域抽出部１５は、カラー画像に含まれる彩度成分情報に基づいて、当該カラー画像から、彩度値が所定の閾値（例えば、９０）よりも小さい画素（領域）を、白または黒に対応する画素として抽出する。このようにして白または黒に対応する画素を抽出するのは、白または黒の彩度値は、他の色の彩度値よりも小さい値になるからである。ここで、所定の閾値は、白または黒であると想定され得る彩度値の上限付近に設定すればよい。また、白黒領域抽出部１５は、カラー画像に含まれる明度成分情報（明度情報）に基づいて、上記抽出した白または黒に対応する各画素から、明度値が所定の閾値（例えば、１２８）よりも小さい画素を、黒に対応する画素として抽出し、黒の色相成分情報を有する色相画像を生成する。このようにして黒に対応する画素を抽出するのは、黒の明度値は、白の明度値よりも小さい値になるからである。また、白黒領域抽出部１５は、カラー画像に含まれる明度成分情報に基づいて、上記抽出した白または黒に対応する各画素から、明度値が所定の閾値（例えば、１２８）以上である画素を、白に対応する画素として抽出し、白の色相成分情報を有する色相画像を生成する。ここで、所定の閾値は、黒であると想定され得る明度値の上限付近または白であると想定され得る明度値の下限付近に設定すればよい。
【００２１】
白黒・色相値変更部１６は、白黒領域抽出部１５により抽出された白に対応する画素の色相値を、例えば３５９度に変更するとともに、白黒領域抽出部１５により抽出された黒に対応する画素の色相値を、例えば２度に変更する（図２（ｂ）参照）。これにより、白・黒の色相成分情報が生成される。なお、白および黒に対応する画素の色相値は、必ずしも上述した３５９度や２度に変更する必要はない。道路標識として使用されている色（赤、青、黄）と明確に区別することができる色相値に変更すればよい。
【００２２】
ここで、色相には一般に白と黒とが含まれないため、白や黒が存在する対象物を色相画像に表すと、対象物の白い部分や黒い部分は、その色に近似する有彩色の色相として表される。それゆえに、従来は、対象物の白い部分や黒い部分と、その他の色で表される部分とを色相により明確に識別することは極めて困難であり、白や黒が存在する対象物を色相画像に基づいて認識することは不可能であった。そこで、本実施形態における標識認識装置１では、白黒領域抽出部１５が、彩度成分情報および明度成分情報に基づいて白または黒に対応する可能性の高い画素を抽出し、白黒・色相値変更部１６が、抽出された画素に特定の色相値を割り当てることにより、対象物の白い部分や黒い部分と、その他の色で表される部分とを色相により明確に識別できるようにした。
【００２３】
色相値正規化部１７は、赤・青・黄・白・黒の色相成分情報を有する色相画像の各色相値（０度〜３５９度）を、０〜２５５に変換（正規化）する。これにより、例えば、白に対応する色相値（３５９度）の正規化後の値は２５５となり、黒に対応する色相値（２度）の正規化後の値は１となる。なお、本実施形態においては、色相値正規化部１７により正規化された後の色相画像を標識認識用色相画像（ＨＩＴＳ：Hue Image for Traffic Sign）とする。
【００２４】
標識認識部１８は、例えば、正規化相関によるパターン認識手法に基づいて、標識認識用色相画像から認識対象物である道路標識を認識するための認識処理を行う。この認識処理について具体的に説明すると、標識認識部１８は、道路標識の色相画像と標識認識用色相画像とを、画素単位で比較して一致度を算出し、この一致度に基づいて標識認識用色相画像に道路標識が含まれているか否かを認識する。なお、パターン認識手法としては、正規化相関に限られず、例えば、差分総和を用いたテンプレートマッチングまたはニューラルネットワークであってもよい。
【００２５】
出力部１９は、標識認識部１８により認識された道路標識に対応する標識の内容をディスプレイ上に表示させる。なお、出力部１９による出力は、標識の内容をディスプレイ上に表示させることには限定されず、例えば、標識の内容をスピーカーから音声出力することとしてもよい。
【００２６】
次に、図３を参照して本実施形態における標識認識装置１の動作を説明する。
【００２７】
図３に示すように、まず、標識認識装置１の撮像部１１は、ＣＣＤカメラにより撮像された風景のカラー画像を取得する（ステップＳ１）。
【００２８】
次に、ＨＳＩ変換部１２は、ＨＳＩ変換に基づいて、撮像部１１により取得されたカラー画像を、色相・彩度・明度の各成分情報を有するカラー画像に変換する（ステップＳ２）。
【００２９】
次に、色相画像生成部１３は、ＨＳＩ変換部１２により変換されたカラー画像に含まれる色相成分情報および彩度成分情報に基づいて、当該カラー画像から赤・青・黄に対応する画素を抽出し、赤・青・黄の色相成分情報を有する色相画像を生成する（ステップＳ３）。
【００３０】
次に、色相値シフト部１４は、色相画像生成部１３により生成された色相画像に含まれる各画素に対応する色相値を、−１２０度ずつシフトする（ステップＳ４）。
【００３１】
次に、白黒領域抽出部１５は、ＨＳＩ変換部１２により変換されたカラー画像に含まれる彩度成分情報に基づいて、当該カラー画像に含まれる画素のうち色相画像生成部１３により抽出された画素以外の各画素から、彩度値が所定の閾値（例えば、９０）よりも小さい画素を、白または黒に対応する画素として抽出する（ステップＳ５）。
【００３２】
次に、白黒領域抽出部１５は、ＨＳＩ変換部１２により変換されたカラー画像に含まれる明度成分情報に基づいて、ステップＳ５において抽出した白または黒に対応する画素の明度値が、所定の閾値（例えば、１２８）よりも小さいか否かを判定する（ステップＳ６）。この判定がＮＯである場合（ステップＳ６；ＮＯ）に、白黒・色相値変更部１６は、当該判定された画素の色相値を、例えば３５９度に変更するとともに、変更後の色相値を、ステップＳ４において色相値がシフトされた後の色相画像に反映する（ステップＳ７）。これにより、白に対応する画素の色相値が３５９度に変更されるとともに、この色相値が色相画像に反映される。
【００３３】
一方、ステップＳ６における判定で、ステップＳ５において抽出した白または黒に対応する画素の明度値が、所定の閾値（例えば、１２８）よりも小さいと判定された場合（ステップＳ６；ＹＥＳ）に、白黒・色相値変更部１６は、当該判定された画素の色相値を、例えば２度に変更するとともに、変更後の色相値を、ステップＳ４において色相値がシフトされた後の色相画像に反映する（ステップＳ８）。これにより、黒に対応する画素の色相値が２度に変更されるとともに、この色相値が色相画像に反映される。このように、変更後の白または黒に対応する色相値を色相画像に反映することによって、赤・青・黄の色相成分情報を有する色相画像は、赤・青・黄・白・黒の色相成分情報を有する色相画像に変換されることになる。
【００３４】
次に、色相値正規化部１７は、赤・青・黄・白・黒の色相成分情報を有する色相画像の各色相値（０度〜３５９度）を、０〜２５５に正規化して、標識認識用色相画像を生成する（ステップＳ９）。
【００３５】
次に、標識認識部１８は、色相値正規化部１７により生成された標識認識用色相画像に基づいて、道路標識を認識するための認識処理を行う（ステップＳ１０）。
【００３６】
そして、出力部１９は、標識認識部１８により標識認識用色相画像に道路標識が含まれていることが認識された場合に、認識された道路標識に対応する標識の内容をディスプレイ上に表示させる（ステップＳ１１）。
【００３７】
なお、上述した標識認識装置１の動作では、図３に示すステップＳ３において、色相画像生成部１３が、赤・青・黄の色相成分情報を有する色相画像を生成した後に、ステップＳ５において、白黒領域抽出部１５が、白または黒に対応する画素を抽出しているが、処理をする順番は、これに限られず、処理の順番を逆にしてもよいし、両方の処理を同時に行うこととしてもよい。
【００３８】
以上のように、本実施形態における標識認識装置１では、従来のように明度成分情報に基づいて認識処理を行うのではなく、道路標識に使用される色に対応する赤・青・黄・白・黒の色相成分情報を有する色相画像に基づいて、認識処理を行っているため、原カラー画像に写し出された認識対象物である道路標識に日向部分と日陰部分とが存在していても認識性能を低下させずに、原カラー画像から道路標識を認識することができる。したがって、従来技術に比して認識性能を向上させることができる。
【００３９】
また、本実施形態における標識認識装置１では、道路標識に原則として使用されない色（緑）に対応する色相値を、色相環の基準値（０度の位置）にシフトしているため、道路標識に使用される色（赤・青・黄）が、色相値の正規化後に分断されてしまう事態を防止することができる。したがって、各色相値間の相関度を低下させることなく認識処理を行うことができ、ひいては認識性能を向上させることができる。
【００４０】
さらに、本実施形態における標識認識装置１では、白または黒に対応する可能性の高い画素に特定の色相値を割り当てて、白および黒に対応する色相値を、その他の色に対応する色相値と明確に区別させているため、白や黒が存在する対象物を色相画像に基づいて認識することができる。これにより、従来技術に比して、さらに認識性能を向上させることができる。
【００４１】
また、本実施形態における標識認識装置１では、道路標識に使用される色に対応する色相のみが認識の対象とされるため、色相環上の色相のうち、道路標識に使用される色以外の色に対応する色相部分は、空き状態となる。したがって、本来であれば、色相環上に表すことができない白または黒に対応する色相値を、その空き状態となった位置を利用することにより色相環上に表すことができる。これにより、白や黒が存在する対象物を色相画像に基づいて認識することができる。
【００４２】
なお、本実施形態における標識認識装置１では、認識対象物が道路標識である場合を例示して説明しているが、認識対象物は道路標識に限られない。例えば、道路標識には、赤・青・黄のほかに白・黒も使用されているが、使用されている色に白・黒が含まれない認識対象物を認識する場合にも適用可能である。この場合には、上述した白黒領域抽出部１５および白黒・色相値変更部１６は、省略することができる。すなわち、上述した実施形態における色相値正規化部１７は、色相値シフト部１４によりシフトされた後の色相値、および白黒・色相値変更部１６により変更された色相値を正規化しているが、本例の場合における色相値正規化部１７は、色相値シフト部１４によりシフトされた後の色相値を正規化すればよい。
【００４３】
【発明の効果】
本発明に係る物体認識装置および物体認識方法によれば、認識対象物を認識する際の認識性能を向上させることができる。
【図面の簡単な説明】
【図１】本発明の実施形態における標識認識装置の機能構成図である。
【図２】（ａ）は一般的な色相環を示し、（ｂ）は色相値をシフトした後の色相環を示す図である。
【図３】標識認識処理を示すフローチャートである。
【符号の説明】
１・・・標識認識装置、１１・・・撮像部、１２・・・ＨＳＩ変換部、１３・・・色相画像生成部、１４・・・色相値シフト部、１５・・・白黒領域抽出部、１６・・・白黒・色相値変更部、１７・・・色相値正規化部、１８・・・標識認識部、１９・・・出力部。

Claims (5)

1. 使用される色が予め設定されている認識対象物を認識する物体認識装置であって、
   前記認識対象物に使用される色の色相情報を、撮像手段により撮像された画像から抽出する抽出手段と、
   前記認識対象物に使用される色以外の色に対応する色相値が色相の基準値となるように、前記抽出手段により抽出された色相情報に含まれる色相値をシフトするシフト手段と、
   前記シフト手段によりシフトされた色相値を正規化する正規化手段と、
   前記正規化手段により正規化された値に基づいて認識対象物を認識する認識手段と
   を備えることを特徴とする物体認識装置。
2. 前記撮像された画像の彩度情報および明度情報に基づいて、白または黒に対応する領域を、当該撮像された画像から抽出する白黒抽出手段と、
   前記白黒抽出手段により抽出された領域に対応する色相値を、白または黒に対応する色相値に変更する色相値変更手段とをさらに備え、
   前記正規化手段は、前記色相値変更手段により変更された色相値を正規化することを特徴とする請求項１記載の物体認識装置。
3. 前記認識手段は、パターン認識に基づいて前記認識を行うことを特徴とする請求項１または２に記載の物体認識装置。
4. 使用される色が予め設定されている認識対象物を認識する物体認識方法であって、
   前記認識対象物に使用される色の色相情報を、撮像手段により撮像された画像から抽出し、
   前記認識対象物に使用される色以外の色に対応する色相値が色相の基準値となるように、前記抽出された色相情報に含まれる色相値をシフトし、
   前記シフトされた色相値を正規化し、
   前記正規化された値に基づいて認識対象物を認識することを特徴とする物体認識方法。
5. 前記撮像された画像の色の彩度情報および明度情報に基づいて、当該撮像された画像から白または黒に対応する領域を抽出し、
   前記抽出された領域に対応する色相値を、白または黒に対応する色相値に変更し、
   前記正規化の際に、前記変更された色相値を正規化することを特徴とする請求項４記載の物体認識方法。

Images