JP2013232738A

JP2013232738A - 画像処理装置、画像処理方法、および、画像処理用プログラム

Info

Publication number: JP2013232738A
Application number: JP2012102923A
Authority: JP
Inventors: Masakazu Nitta; 雅和新田
Original assignee: Dai Nippon Printing Co Ltd
Current assignee: Dai Nippon Printing Co Ltd
Priority date: 2012-04-27
Filing date: 2012-04-27
Publication date: 2013-11-14

Abstract

【課題】広角レンズまたは全方位ミラーからの歪曲画像を特定するための値を自動的に求める画像処理装置等を提供する。
【解決手段】広角レンズまたは全方位ミラーからの歪曲画像の画像データ２０を所定形状の撮像領域を有する撮像手段から取得し（Ｓ１）、取得した画像データを所定の方向で走査し（Ｓ２）、走査の位置における画素の画素値が所定の閾値を超えたか否かを判定し（Ｓ３）、歪曲画像を特定するための歪曲画像特定画素として、閾値を超えたと判定された閾値画素のうち、走査の方向における極値に関連した極値関連画素を取得し（Ｓ４からＳ１０）、歪曲画像特定画素の位置に基づき、歪曲画像２１を特定する値を算出する（Ｓ１１）。
【選択図】図３

Description

本発明は、カメラ等により撮像された画像を画像処理する画像処理装置、画像処理方法、および、画像処理用プログラムに関する。

カメラ等により撮像された画像の歪みを補正する際、画像の中心を求める処理が行われている。例えば、特許文献１では、直交する２直線を被写体として撮影し、２直線が直線のままの状態で交差して写る位置を探ることによって光学的画像中心を算出したり、輝度の変化に基づいて画像中の極点を求めることによって光学的画像中心を算出したりする画像歪み補正装置が開示されている。

特開２００３−１８４４７号公報

しかしながら、特許文献１の技術では、直交する２直線の被写体を用いる第１の方法は、このような被写体を予め準備する必要があり、しかも、画像中心を探るように被写体を動かす必要があった。また、輝度の変化に基づいて画像中の極点を求める第２の方法は、局所的に輝度が高い被写体を撮影した場合には、中心を求めることができなかった。

そこで、本発明は上記の問題点等に鑑みて為されたもので、その課題の一例は、広角レンズまたは全方位ミラーからの歪曲画像を特定するための値を自動的に求める画像処理装置等を提供することを目的とする。

上記の課題を解決するために、請求項１に記載の発明は、広角レンズまたは全方位ミラーからの歪曲画像の画像データを、所定形状の撮像領域を有する撮像手段から取得する画像データ取得手段と、前記取得した画像データを前記撮像領域内で所定の方向で走査する走査手段と、前記走査の位置における画素の画素値が所定の閾値を超えたか否かを判定する閾値判定手段と、前記歪曲画像を特定するための歪曲画像特定画素として、前記閾値判定手段により閾値を超えたと判定された閾値画素のうち、前記走査の方向における極値に関連した極値関連画素を取得する歪曲画像特定画素取得手段と、前記歪曲画像特定画素の位置に基づき、前記歪曲画像を特定する値を算出する歪曲画像特定値算出手段と、を備えることを特徴とする。

また、請求項２に記載の発明は、請求項１に記載の画像処理装置において、前記走査の位置における画素の画素値が所定の閾値を超えたことが初回か否かを判定する初回閾値判定手段を更に備え、前記歪曲画像特定画素取得手段が、前記歪曲画像特定画素として、前記初回閾値判定手段により初回と判定された画素も取得することを特徴とする。

また、請求項３に記載の発明は、請求項１または請求項２に記載の画像処理装置において、前記走査の方向が、前記走査の主走査方向および副走査方向であることを特徴とする。

また、請求項４に記載の発明は、請求項１から３のいずれか１項に画像処理装置において、前記撮像領域の外縁と前記歪曲画像の外縁との交点が存在するか否かを判定する交点判定手段を更に備え、前記歪曲画像特定画素取得手段が、前記歪曲画像特定画素として、前記交点が存在した場合の交点の位置の画素を取得することを特徴とする。

また、請求項５に記載の発明は、画像を処理する画像処理装置の画像処理方法において、広角レンズまたは全方位ミラーからの歪曲画像を、所定形状の撮像領域を有する撮像手段が撮像した画像データを取得する画像データ取得ステップと、前記取得した画像データを前記撮像領域内で所定の方向で走査する走査ステップと、前記走査の位置における画素の画素値が所定の閾値を超えたか否かを判定する閾値判定ステップと、前記歪曲画像を特定するための歪曲画像特定画素として、前記閾値を超えたと判定された閾値画素のうち、前記走査の方向における極値に関連した極値関連画素を取得する歪曲画像特定画素取得ステップと、前記歪曲画像特定画素の位置に基づき、前記歪曲画像を特定する値を算出する歪曲画像特定値算出ステップと、を含むことを特徴とする。

また、請求項６に記載の発明は、コンピュータを、広角レンズまたは全方位ミラーからの歪曲画像の画像データを、所定形状の撮像領域を有する撮像手段から取得する画像データ取得手段、前記取得した画像データを前記撮像領域内で所定の方向で走査する走査手段、前記走査の位置における画素の画素値が所定の閾値を超えたか否かを判定する閾値判定手段、前記歪曲画像を特定するための歪曲画像特定画素として、前記閾値判定手段により閾値を超えたと判定された閾値画素のうち、前記走査の方向における極値に関連した極値関連画素を取得する歪曲画像特定画素取得手段、および、前記歪曲画像特定画素の位置に基づき、前記歪曲画像を特定する値を算出する歪曲画像特定値算出手段として機能させることを特徴とする。

本発明によれば、広角レンズまたは全方位ミラーからの歪曲画像を特定するための値を自動的に求めることができる。

本発明の実施形態に係る画像処理システムの概要構成例を示すブロック図である。図１の撮像部のイメージセンサに撮像される歪曲画像の一例を示す模式図である。図１の撮像部のイメージセンサに撮像される歪曲画像の一例を示す模式図である。図１の画像処理装置の動作例を示すフローチャートである。図１の撮像部から取得された画像において、歪曲画像を特定する画素の一例を示す模式図である。図１の撮像部から取得された画像において、歪曲画像を特定する画素の一例を示す模式図である。図１の撮像部から取得された画像において、歪曲画像を特定する画素の一例を示す模式図である。図１の撮像部から取得された画像において、歪曲画像を特定する画素の一例を示す模式図である。図１の撮像部から取得された画像において、歪曲画像を特定する画素の一例を示す模式図である。図１の画像処理装置の動作の変形例を示すフローチャートである。図１の撮像部から取得された画像において、歪曲画像を特定する画素の一例を示す模式図である。図１の撮像部から取得された画像において、歪曲画像を特定する画素の一例を示す模式図である。図１の撮像部から取得された画像において、歪曲画像を特定する画素の一例を示す模式図である。図１の撮像部から取得された画像において、歪曲画像を特定する画素の一例を示す模式図である。図１の撮像部から取得された画像において、歪曲画像を特定する画素の一例を示す模式図である。歪曲画像を特定する画素から歪曲画像の中心を求める一例を示す模式図である。歪曲画像の変形例と、当該歪曲画像を特定する画素の一例を示す模式図である。歪曲画像の変形例と、当該歪曲画像を特定する画素の一例を示す模式図である。

以下、図面を参照して本発明の実施形態について説明する。なお、以下に説明する実施の形態は、画像処理システムに対して本発明を適用した場合の実施形態である。

［１．画像処理システムの構成および機能の概要］
（１．１画像処理システム１の構成および機能）

まず、本発明の一実施形態に係る画像処理システムの構成および概要機能について、図１、図２Ａおよび図２Ｂを用いて説明する。

図１は、本実施形態に係る画像処理システム１の概要構成例を示すブロック図である。図２Ａおよび図２Ｂは、撮像部のイメージセンサに撮像される歪曲画像の一例を示す模式図である。

図１に示すように、画像処理システム１は、広角レンズまたは全方位ミラーを有するカメラ２と、カメラ２により撮像された画像データに対して画像処理を行う画像処理装置３と、を備える。

カメラ２は、魚眼レンズを有するレンズ部１１と、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）またはＣＣＤ（Charge Coupled Device）のようなイメージセンサを有する撮像部１２から構成される。カメラ２は、モニタする場所に設置され、周囲の状況を撮像する。

図２Ａおよび図２Ｂに示すように、レンズ部１１は、周囲の状況の光を取り込み、撮像部１２のイメージセンサの面（撮像部１２が撮像した画像データ２０）に歪曲円形画像２１または歪曲円形画像２２（歪曲画像の一例）を結像する。図２Ａに示すように、イメージセンサに歪曲円形画像２１のように円がすべて入るようにする場合もあるが、円の外部は有効な画素ではないため、使用できる画素数が少ない場合がある。従って、図２Ｂに示すように、有効画素を多くするために歪曲画像の円をイメージセンサの範囲からはみ出して使用する場合もある。また、レンズ部１１は、カメラ２から取り外しができて、様々なレンズと交換できるようになっている。そして、カメラ２の設置場所等において、カメラ２にレンズ部１１が設定される。この設定の際、光軸がずれたり、レンズ部１１と撮像部１２との距離が変化したり、レンズの種類により、図２Ａおよび図２Ｂに示すように、撮像部１２のイメージセンサの面に結像が変化することもある。

なお、レンズ部１１のレンズは、広角レンズに限らず、全方位ミラーと組み合わせた通常の画角のレンズでもよい。また、広角レンズの画角は１８０°に限らず、１８０°より大きくても、小さくてもよい。レンズ部１１のレンズは、等距離射影方式のレンズや、等立体角射影方式のレンズ等の非正射影方式のレンズでもよい。

撮像部１２（撮像手段の一例）は、レンズ部１１からの歪曲画像を撮像するイメージセンサと、撮像した画像データを画像処理装置３に出力する出力端とを有する。イメージセンサは、矩形の撮像領域（所定形状の撮像領域の一例）を有する。撮像部１２は、レンズ部１１からの歪曲画像を撮像した画像データ２０を画像処理装置３に出力する。

画像処理装置３は、カメラ２から取得した画像データから歪曲画像の中心や大きさ等を算出に必要な画素を抽出する特定画素抽出部１３と、歪曲画像の中心や大きさ等を算出する歪曲画像特定部１４と、歪曲画像から平面正則画像を算出する画像補正処理部１５と、を有する。

特定画素抽出部１３は、画像データ２０を、ラスタスキャン等により走査して、各画素の画素情報を取得し、歪曲画像を特定するための歪曲画像特定画素を抽出する。ラスタスキャンは、例えば、走査の主走査方向（ｘ方向）および副走査方向（ｙ方向）で行う。歪曲画像特定画素は、歪曲画像の外縁上の画素が該当する。特定画素抽出部１３は、画素の輝度やＲＧＢの値等の画素情報が、所定の閾値以上の画素から、歪曲画像特定画素を抽出する。

歪曲画像特定部１４は、歪曲画像特定画素の位置（座標情報）に基づき、歪曲画像を特定する。例えば、歪曲画像が円形の場合、複数の歪曲画像特定画素の位置から円の中心や半径、楕円の場合、複数の歪曲画像特定画素の位置から楕円の中心、短軸、長軸を算出することにより、歪曲画像を特定する。

そして、特定画素抽出部１３および歪曲画像特定部１４は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等により構成されて、コンピュータして機能する。ＣＰＵが、ＲＯＭやＲＡＭに記憶された各種プログラムを読み出し実行する。画像処理用プログラム等の各種プログラムは、記録媒体から読み込み、ＲＡＭ等に記録される。または、特定画素抽出部１３および歪曲画像特定部１４は、ＣＰＵ等を用いずにハードウェアで専用回路として構成されていてもよい。

画像補正処理部１５は、専用の演算等を行うＬＳＩ（Large Scale Integration）チップを用いたハードウェアにより構成されている。画像補正処理部１５は、歪曲画像特定部１４から歪曲画像を特定する情報を取得する。画像補正処理部１５は、歪曲画像を特定する情報に基づき、撮像部１２から動画または静止画の歪曲画像から平面正則画像への画像変換の演算を行い、動画または静止画のパノラマ画像等を生成する。

画像補正処理部１５は、パノラマ画像の動画データを表示部１６に出力する。

表示部１６は、表示手段の一例として、液晶表示素子またはＥＬ（Electro Luminescence）素子等によって構成されているモニタ画面である。表示部１６は、撮像部１２により撮像された歪曲円形画像や、画像変換で得られた平面正則画像等を表示する。

［２．画像処理システムの動作］
次に、本発明の１実施形態に係る画像処理システムの動作について図３および図４Ａから図４Ｅを用いて説明する。

図３は、画像処理装置の動作例を示すフローチャートである。図４Ａから図４Ｅは、撮像部から取得された画像において、歪曲画像を特定する画素の一例を示す模式図である。

まず、設置されたカメラ２に、レンズ部１１の全体に光が当たるようにする。なお、レンズ部１１の全体に光が当たるようにするため、なるべく明るい時間帯に行ったり、照明により明るくしたりしてもよい。カメラ２の撮像部１２は、レンズ部１１からの光を受光し、画像データに変換し、画像処理装置３に出力する。

次に、図３に示すように、画像処理装置３は、画像データを取得する（ステップＳ１）。具体的には、画像処理装置３の特定画素抽出部１３が、カメラ２の撮像部１２からの画像データ２０を取得する。なお、画像データ２０の形状および大きさは、撮像部１２の矩形の撮像領域に対応する。

このように、画像処理装置３は、広角レンズまたは全方位ミラーからの歪曲画像の画像データを、所定形状の撮像領域を有する撮像手段から取得する画像データ取得手段の一例として機能する。

次に、画像処理装置３は、ラスタスキャンにより、画像データから画素情報を取得する（ステップＳ２）。具体的には、特定画素抽出部１３が、図４Ａから図４Ｅに示すように、画像データ２０上における座標（ｘ、ｙ）＝（０、０）から、走査の主走査方向（ｘ方向）に走査し始め、１画素の画素情報（ＲＧＢ情報等）を取得する。

このように、画像処理装置３は、取得した画像データ２０を所定の方向で走査する走査手段の一例として機能する。

次に、画像処理装置３は、走査の位置における画素の画素値が閾値以上か否かを判定する（ステップＳ３）。具体的には、特定画素抽出部１３が、走査の位置における画素の画素値として、画素の画素情報から輝度値等の明るさを算出し、明るさが閾値以上か否かを判定する。なお、画素値は、輝度値の他に、ＲＧＢのうちいずれか１つの値でも、ＲＧＢの各値の単純和、２乗和、ＲＧＢの各値を積算した値でもよい。また、閾値の値は、例えば、雑音に対して頑健になるように設定してもよい。

このように、画像処理装置３は、走査の位置における画素の画素値が所定の閾値を超えたか否かを判定する閾値判定手段の一例として機能する。

画素値が閾値以上の場合（ステップＳ３；ＹＥＳ）、画像処理装置３は、閾値以上となったのが初回か否かを判定する（ステップＳ４）。具体的には、特定画素抽出部１３が、画像データ２０を走査していき、初めて閾値以上となった否かを判定する。例えば、特定画素抽出部１３が、画像データ２０を走査する前に、フラグを０に設定しておき、閾値以上となった場合にフラグをチェックし、０ならば初回とし、１ならば初回でないと判定する。そして、特定画素抽出部１３が、フラグが０ならば、フラグを１にする。なお、図４Ａ、図４Ｂ、図４Ｃに示すように、初回と判定された画素の位置の座標（ｘ１，ｙ１）が、撮像領域の外縁（画像データ２０の外縁）と歪曲画像（歪曲円形画像２３、２４、２５）の外縁との交点の一例となる。

このように、画像処理装置３は、走査の位置における画素の画素値が所定の閾値を超えたことが初回か否かを判定する初回閾値判定手段の一例として機能する。また、画像処理装置３は、撮像領域の外縁と歪曲画像の外縁との交点が存在するか否かを判定する交点判定手段の一例として機能する。

初回と判定した場合（ステップＳ４；ＹＥＳ）、画像処理装置３は、初回と判定された画素の位置を、座標（ｘ１，ｙ１）として記憶する（ステップＳ５）。具体的には、特定画素抽出部１３が、歪曲画像特定画素として、画像処理装置３のＲＡＭにおける座標（ｘ１，ｙ１）に対応するメモリエリアに、初回と判定された画素の位置の座標を記憶する。そして、特定画素抽出部１３が、座標（ｘ２，ｙ２）および座標（ｘ３，ｙ３）の初期値を、確定した座標（ｘ１，ｙ１）の値として設定する。なお、座標（ｘ１，ｙ１）の点は、イメージセンサの輝度値をラスタスキャンで検索し、始めに輝度値がしきい値以上になった点である。

このように、画像処理装置３は、歪曲画像特定画素として、初回閾値判定手段により初回と判定された画素も取得する歪曲画像特定画素取得手段の一例として機能する。

初回と判定しない場合（ステップＳ４；ＮＯ）、画像処理装置３は、閾値以上となった画素のｘ座標の値が最小値以下か否かを判定する（ステップＳ６）。具体的には、特定画素抽出部１３が、画素のｘ座標の最小値を記憶する変数等の値と比較して、この値より、閾値以上となった画素のｘ座標の値が同じ、または、小さい場合、最小値以下であると判定する。さらに具体的には、特定画素抽出部１３が、閾値以上となった画素のｘ座標の値と、（ｘ２，ｙ２）のｘ２の値と比較して、ｘ２と同じ、または、小さい場合、最小値以下であると判定する。

画素のｘ座標の値が最小値以下の場合（ステップＳ６；ＹＥＳ）、画像処理装置３は、画素のｘ座標の値が最小値以下となった画素の位置を、座標（ｘ２，ｙ２）として記憶する（ステップＳ７）。具体的には、特定画素抽出部１３が、歪曲画像特定画素として、画像処理装置３のＲＡＭにおける座標（ｘ２，ｙ２）に対応するメモリエリアに、画素のｘ座標の値が最小値以下であると判定された画素の位置の座標を記憶し、座標（ｘ２，ｙ２）の値を書き換える。

なお、走査し続けることにより、図４Ａに示すように、画像処理装置３のＲＡＭ上の（ｘ２，ｙ２）を示す座標に位置が、座標（ｘ１，ｙ１）が確定した位置を起点として、ｘ２の値が減少し、かつ、ｙ２の値が増加しながら、歪曲円形画像２３の外縁を反時計回りに移動し、歪曲円形画像２３の外縁と、画像データ２０の外縁（撮像領域の外縁の一例）との交点まで移動する。次に、画像処理装置３のＲＡＭ上の（ｘ２，ｙ２）を示す座標に位置が、ｘ２の値が一定で、ｙ２の値が増加しながら、画像データ２０の外縁をｙ方向に移動し、次の歪曲円形画像２３の外縁と、画像データ２０の外縁との交点まで移動する。

ここで、図４Ａに示すように、最終的な座標（ｘ２，ｙ２）の画素が、走査の方向（ｘ方向）における極値に関連した極値関連画素の一例となる。また、最終的な座標（ｘ２，ｙ２）の点が、撮像領域の外縁（画像データ２０の外縁）と歪曲画像（歪曲円形画像２３）の外縁との交点の一例となる。

このように、画像処理装置３は、撮像領域の外縁と歪曲画像の外縁との交点が存在するか否かを判定する交点判定手段の一例として機能する。

または、図４Ｂから図４Ｅに示すように、画像処理装置３のＲＡＭ上の（ｘ２，ｙ２）を示す座標に位置が、座標（ｘ１，ｙ１）が確定した位置を起点として、歪曲円形画像２３の外縁を反時計回りに移動し、歪曲円形画像２３の外縁上のマイナスｘ方向における極値まで移動する。

更に、初回と判定しない場合（ステップＳ４；ＮＯ）、画像処理装置３は、閾値以上となった画素のｙ座標の値が最大値以上か否かを判定する（ステップＳ８）。具体的には、特定画素抽出部１３が、画素のｙ座標の最大値を記憶する変数等の値と比較して、この値より、閾値以上となった画素のｙ座標の値が同じ、または、大きい場合、最大値以上であると判定する。さらに具体的には、特定画素抽出部１３が、閾値以上となった画素のｙ座標の値と、（ｘ３，ｙ３）のｙ３の値と比較して、ｙ３と同じ、または、大きい場合、最大値以上であると判定する。

画素のｙ座標の値が最大値以上の場合（ステップＳ８；ＹＥＳ）、画像処理装置３は、画素のｙ座標の値が最大値以上となった画素の位置を、座標（ｘ３，ｙ３）として記憶する（ステップＳ９）。具体的には、特定画素抽出部１３が、歪曲画像特定画素として、画像処理装置３のＲＡＭにおける座標（ｘ３，ｙ３）に対応するメモリエリアに、画素のｙ座標の値が最大値以上であると判定された画素の位置の座標を記憶し、座標（ｘ３，ｙ３）の値を書き換える。

ここで、図４Ａ、図４Ｃ、図４Ｄに示すように、最終的な座標（ｘ３，ｙ３）の画素が、走査の方向（ｙ方向）における極値に関連した極値関連画素の一例となる。また、最終的な座標（ｘ３，ｙ３）の点が撮像領域の外縁（画像データ２０の外縁）と歪曲画像（歪曲円形画像２３、２５、２６）の外縁との交点の一例となる。

なお、走査し続けることにより、図４Ａ、図４Ｃ、または、図４Ｄに示すように、画像処理装置３のＲＡＭ上の（ｘ３，ｙ３）を示す座標に位置が、座標（ｘ１，ｙ１）が確定した位置を起点として、（ｘ２、ｙ２）と共に、図中の（ｘ２、ｙ２）の位置まで移動する。次に、画像処理装置３のＲＡＭ上の（ｘ３，ｙ３）を示す座標に位置が、ｘ３の値が増加し、かつ、ｙ３の値が増加しながら、歪曲円形画像２３の外縁を反時計回りに移動し、歪曲円形画像２３の外縁と、画像データ２０の外縁との交点まで移動する。次に、画像処理装置３のＲＡＭ上の（ｘ３，ｙ３）を示す座標に位置が、ｙ３の値が一定で、ｘ３の値が増加しながら、画像データ２０の外縁をｘ方向に移動し、次の歪曲円形画像２３の外縁と、画像データ２０の外縁との交点まで移動する。

または、図４Ｂまたは図４Ｅに示すように、画像処理装置３のＲＡＭ上の（ｘ３，ｙ３）を示す座標に位置が、座標（ｘ１，ｙ１）が確定した位置を起点として、（ｘ２、ｙ２）と共に、図中の（ｘ２、ｙ２）の位置まで移動する。次に、画像処理装置３のＲＡＭ上の（ｘ３，ｙ３）を示す座標に位置が、歪曲円形画像２３の外縁を反時計回りに移動し、歪曲円形画像２３の外縁上のｙ方向における極値まで移動する。

画素値が閾値以上でない場合（ステップＳ３；ＮＯ）、ステップＳ５の後、ステップＳ７の後、ステップＳ９の後、画素のｘ座標の値が最小値以下でない場合（ステップＳ６；ＮＯ）、または、画素のｙ座標の値が最大値以上でない場合（ステップＳ８；ＮＯ）、画像処理装置３は、最後の画素か否かを判定する（ステップＳ１０）。特定画素抽出部１３が、画像データ２０を１画素ずつラスタスキャンして行き、画像データ２０の最後の画素でない場合（ステップＳ１０；ＮＯ）、ステップＳ１の処理に戻り、処理を繰り返すことにより、歪曲画像特定画素として、歪曲画像の外縁上の位置の座標（ｘ１，ｙ１）、（ｘ２、ｙ２）、および、（ｘ３、ｙ３）を求める。

以上、ステップＳ１からステップＳ１０までが、中心点、半径を求めるための三点を抽出する処理フローである。以上の処理で、画像処理装置３は、イメージセンサの輝度値をラスタスキャンで検索し、始めに輝度値がしきい値以上になった点を（ｘ１, ｙ１）とし、続けてラスタスキャンを行い、輝度値がしきい値以上になる点のうち、ｘがｘ１以下になる点を順次更新し、同時に輝度値がしきい値以上になる点のうち、ｙが最大となる点を順次更新していく。そして、画像処理装置３は、ｘが最小となる点を（ｘ２、ｙ２）、ｙが最大となる点を（ｘ３, ｙ３）としている。

このように、画像処理装置３は、歪曲画像を特定するための歪曲画像特定画素として、閾値判定手段により閾値を超えたと判定された閾値画素のうち、走査の方向における極値に関連した極値関連画素を取得する歪曲画像特定画素取得手段の一例として機能する。また、画像処理装置３は、歪曲画像特定画素として、交点が存在した場合の交点の位置の画素を取得する歪曲画像特定画素取得手段の一例として機能する。

最後の画素である場合（ステップＳ１０；ＹＥＳ）、画像処理装置３は、歪曲画像を特定する（ステップＳ１１）。具体的には、画像処理装置３の歪曲画像特定部１４が、歪曲画像の外縁上の位置の３点の座標（ｘ１，ｙ１）、（ｘ２、ｙ２）、および、（ｘ３、ｙ３）より、円の方程式
（ｘ−ａ）^２＋（ｙ−ｂ）^２＝ｒ^２・・・（１）
に基づき、パラメータａ、ｂ、ｒを求める。ここで(ａ，ｂ)は中心点の座標、ｒは半径である。パラメータａ、ｂ、ｒにより、歪曲円形画像２３、２４、２５、２６、２７の円を特定する。そして、歪曲画像特定部１４は、円を特定するパラメータａ、ｂ、ｒを画像補正処理部１５に出力し、歪曲画像特定の処理を終了する。

以上の歪曲画像特定処理は、カメラ２が設置した後、画像処理装置３により画像補正の画像処理を行う前に一度行い、歪曲画像を特定するためのパラメータを算出しておけばよい。

このように、画像処理装置３は、歪曲画像特定画素の位置に基づき、歪曲画像を特定する値を算出する歪曲画像特定値算出手の一例として機能する。

歪曲画像特定の処理を終了後、画像処理装置３の画像補正処理部１５は、パラメータａ、ｂより、歪曲円形画像２３、２４、２５、２６、２７の中心を特定し、パラメータｒより、円の半径を特定する。そして、画像補正処理部１５は、パラメータａ、ｂ、ｒに基づき歪曲画像から平面正則画像への画像変換の演算処理を行い、平面正則画像を求める。画像処理装置３は、平面正則画像の一例として、視点を移動させたパノラマ画像等を表示部１６に表示する。

以上、本実施形態によれば、広角レンズまたは全方位ミラーからの歪曲画像（歪曲円形画像２３、２４、２５、２６、２７）の画像データ２０を、所定形状の撮像領域を有する撮像手段（撮像部１２）から取得し、取得した画像データ２０を所定の方向で走査（ラスタスキャン）し、走査の位置における画素の画素値が所定の閾値を超えたか否かを判定し、歪曲画像を特定するための歪曲画像特定画素として、閾値を超えたと判定された閾値画素のうち、走査の方向における極値に関連した極値関連画素（座標（ｘ１，ｙ１）、（ｘ２，ｙ２）、（ｘ３，ｙ３）の３点の画素）を取得し、歪曲画像特定画素の位置に基づき、歪曲画像を特定する（パラメータａ、ｂ、ｒを求める）。従って、画像処理装置３は、広角レンズまたは全方位ミラーからの歪曲画像を特定するための値を自動的に求めることができる。

また、本実施形態によれば、歪曲画像の全てが、撮像部１２のイメージセンサの受光部に収まらなくても（歪曲画像がイメージセンサからはみ出している場合にも）歪曲画像を特定するための値、例えば、歪曲円形画像２３、２４、２５、２６、２７の中心点、半径を自動的に求めることができる。また、一度のラスタスキャンで、歪曲画像を特定するための値を算出できるので、フレームバッファ、ラインバッファ等が必要なく、画像処理装置３は簡便な構成で小型化できる。

また、走査の位置における画素の画素値が所定の閾値を超えたことが初回か否かを判定し、歪曲画像特定画素として、初回と判定された画素（座標（ｘ１、ｙ１））も取得する場合、歪曲画像を特定するために必要な画素の１つを容易に１つ求めることができる。また、座標（ｘ１、ｙ１）は、他の歪曲画像特定画素の座標（ｘ２，ｙ２）、座標（ｘ３、ｙ３）と互いに離れた点になりやすく、パラメータａ、ｂ、ｒを精度よく求めることができる。更に、座標（ｘ２，ｙ２）、座標（ｘ３、ｙ３）を求めるための初期値を的確に設定できる。

また、走査の方向が、走査の主走査方向（ｘ方向）および副走査方向（ｙ方向）である場合、矩形の撮像領域全体を走査しやすくなる。

また、撮像領域の外縁と歪曲画像の外縁との交点（座標（ｘ１，ｙ１）、座標（ｘ２，ｙ２）、座標（ｘ３、ｙ３））が存在するか否かを判定し、歪曲画像特定画素として、交点が存在した場合の交点の位置の画素を取得する場合、歪曲画像の全てが、撮像部１２のイメージセンサの受光部に収まらなくても、歪曲画像を特定するための値を求めることができる。

［３．変形例］
（３．１画像処理装置３の動作の変形例）
次に、画像処理装置３の動作の変形例について、図５から図７を用いて説明する。なお、この変形例は、５点歪曲画像特定画素を求め、歪曲画像を特定する例である。

図５は、画像処理装置３の動作の変形例を示すフローチャートである。図６Ａから図６Ｅは、撮像部１２から取得された画像において、歪曲画像を特定する画素の一例を示す模式図である。図７は、歪曲画像を特定する画素から歪曲画像の中心を求める一例を示す模式図である。

図５に示すように、画像処理装置３は、ステップＳ１のように、画像データを取得する（ステップＳ２１）。

次に、画像処理装置３は、ステップＳ２のように、ラスタスキャンにより、画像データから画素情報を取得する（ステップＳ２２）。

次に、画像処理装置３は、ステップＳ３のように、スキャンの位置における画素の画素値が閾値以上か否かを判定する（ステップＳ２３）。

次に、画像処理装置３は、ステップＳ４のように、閾値以上となったのが初回か否かを判定する（ステップＳ２４）。

次に、画像処理装置３は、ステップＳ５のように、初回と判定された画素の位置を、座標（ｘ１，ｙ１）として記憶する（ステップＳ２５）。図６Ａから図６Ｅに示すように、画像処理装置３は、座標（ｘ１，ｙ１）を求める。そして、特定画素抽出部１３が、座標（ｘ２，ｙ２）、座標（ｘ３，ｙ３）、座標（ｘ４，ｙ４）、座標（ｘ５，ｙ５）の初期値を、確定した座標（ｘ１，ｙ１）の値として設定する。

次に、画像処理装置３は、ステップＳ６のように、閾値以上となった画素のｘ座標の値が最小値以下か否かを判定する（ステップＳ２６）。

次に、画像処理装置３は、ステップＳ７のように、画素のｘ座標の値が最小値以下となった画素の位置を、座標（ｘ２，ｙ２）として記憶する（ステップＳ２７）。図６Ａから図６Ｅに示すように、画像処理装置３は、座標（ｘ２，ｙ２）を求める。

次に、画像処理装置３は、ステップＳ８のように、画像処理装置３は、閾値以上となった画素のｘ座標の値が最大値以上か否かを判定する（ステップＳ２８）。

次に、画像処理装置３は、ステップＳ９のように、画素のｘ座標の値が最大値以上となった画素の位置を、座標（ｘ３，ｙ３）として記憶する（ステップＳ２９）。図６Ａから図６Ｅに示すように、画像処理装置３は、座標（ｘ３，ｙ３）を求める。

次に、画像処理装置３は、ステップＳ６のように、閾値以上となった画素のｙ座標の値が最小値以下か否かを判定する（ステップＳ３０）。

次に、画像処理装置３は、ステップＳ７のように、画素のｙ座標の値が最小値以下となった画素の位置を、座標（ｘ４，ｙ４）として記憶する（ステップＳ３１）。図６Ａから図６Ｅに示すように、画像処理装置３は、座標（ｘ４，ｙ４）を求める。

次に、画像処理装置３は、ステップＳ８のように、画像処理装置３は、閾値以上となった画素のｙ座標の値が最大値以上か否かを判定する（ステップＳ３２）。

次に、画像処理装置３は、ステップＳ９のように、画素のｙ座標の値が最大値以上となった画素の位置を、座標（ｘ５，ｙ５）として記憶する（ステップＳ３３）。図６Ａから図６Ｅに示すように、画像処理装置３は、座標（ｘ５，ｙ５）を求める。

次に、画像処理装置３は、ステップＳ１０のように、画像処理装置３は、最後の画素か否かを判定する（ステップＳ３４）。以上、特定画素抽出部１３が、歪曲画像特定画素として、歪曲円形画像２８、２９、３０、３１、３２の外縁上の位置の座標（ｘ１，ｙ１）、座標（ｘ２，ｙ２）、座標（ｘ３，ｙ３）、座標（ｘ４，ｙ４）、座標（ｘ５，ｙ５）を求める。

次に、画像処理装置３は、ステップＳ１１のように、歪曲画像を特定する（ステップＳ３５）。特定画素抽出部１３が、歪曲画像特定画素の５点のうち３点により、式（１）に従い、円を特定するパラメータａ、ｂ、ｒを算出する。なお、式（１）を用いて算出するとき、必要となる点は少なくとも３点必要であるが、画像処理装置３が、５点のうち、いずれの３点を選択し、円を特定するパラメータａ、ｂ、ｒを求めてもよい。また、５点のうち５点を選んだ場合、１０通りの選び方があり、求まる中心点、半径も１０通り算出されるが、最終的に求める中心点、半径は、１０通りの中心点、半径のいずれかを代表値として選んでもよいし、それぞれの平均値を選んでもよいし、中央値を選んでもよい。また、画像処理装置３が、３点が選択される場合、３点の互いの距離が最も離れる３点を選択してもよい。また、５点を利用して最小２乗法により円を求めてもよい。

また、図７に示すように、２種類以上の２点の垂直二等分線を利用してもよい。例えば座標（ｘ１，ｙ１）の点、座標（ｘ２，ｙ２）の点の垂直二等分線と、座標（ｘ３，ｙ３）の点、座標（ｘ４，ｙ４）の点の垂直二等分線の交点が円の中心点Ｃであり、中心点Ｃと座標（ｘ１，ｙ１）の点との距離が半径ｒになる。ここでも複数通りの中心点と半径が求まるが、いずれかを代表値として選んでもよいし、それぞれの平均値を選んでもよいし、中央値を選んでもよい。

また、画像処理装置３が、５点をすべて求めてなくても、３点もしくは４点を求めるだけでもよく、例えば、座標（ｘ３，ｙ３）を求める処理を省略してもよい。

また、歪曲画像特定画素として求める歪曲画像の外縁上の点は、５点より多くてもよい。また、歪曲画像特定画素の点は、撮像領域の外縁と歪曲画像の外縁との交点以外でもよい。

以上、３点より多く歪曲画像特定画素の位置を求める場合、歪曲円形画像２８、２９、３０、３１、３２の外縁の円上に、均一に散らばる割合が高くなり、円を特定するパラメータａ、ｂ、ｒを求める精度が高くなる。また、３点より多く歪曲画像特定画素の位置から求まるパラメータａ、ｂ、ｒを平均等することにより、精度が高くなり、雑音にも頑健になる。

（３．２歪曲画像の変形例）
次に、歪曲画像の変形例について、図８Ａおよび図８Ｂを用いて説明する。
図８Ａおよび図８Ｂは、歪曲画像の変形例と、当該歪曲画像を特定する画素の一例を示す模式図である。

図８Ａおよび図８Ｂに示すように、楕円でもよい。画像処理装置３が、ステップＳ２１からステップＳ３４の手順で、歪曲画像の一例である歪曲楕円形画像３３、３４の外縁上の位置の座標（ｘ１，ｙ１）、座標（ｘ２，ｙ２）、座標（ｘ３，ｙ３）、座標（ｘ４，ｙ４）、座標（ｘ５，ｙ５）を求める。

次に、画像処理装置３が、ステップＳ３５において、歪曲楕円形画像３３、３４の外縁上の位置の座標（ｘ１，ｙ１）、座標（ｘ２，ｙ２）、座標（ｘ３，ｙ３）、座標（ｘ４，ｙ４）、座標（ｘ５，ｙ５）から、楕円の方程式により、楕円の中心点Ｃ、長軸の長さｒ１、短軸の長さｒ２を算出する。

なお、特定画素抽出部１３および歪曲画像特定部１４の処理は、ＬＳＩチップを用いたハードウェアにより構成されてもよい。また、走査はラスタスキャンの代わりに、ベクタースキャンまたはラジアルスキャンを用いてもよい。

また、座標（ｘ１，ｙ１）の点の代わりに、図４Ａに示すように、座標（ｘ１，ｙ１）の点と、座標（ｘ２，ｙ２）の点との間にある、撮像領域の外縁と歪曲画像の外縁との交点でもよい。

さらに、本発明は、上記各実施形態に限定されるものではない。上記各実施形態は、例示であり、本発明の特許請求の範囲に記載された技術的思想と実質的に同一な構成を有し、同様な作用効果を奏するものは、いかなるものであっても本発明の技術的範囲に包含される。

１：画像処理システム
３：画像処理装置
１２：撮像部（撮像手段）
１３：特定画素抽出部
１４：歪曲画像特定部
２０：画像データ
２１、２２、２３、２４、２５、２６、２７、２８、２９、３０、３１、３２：歪曲円形画像（歪曲画像）
３３、３４：歪曲楕円形画像（歪曲画像）

Claims

広角レンズまたは全方位ミラーからの歪曲画像の画像データを、所定形状の撮像領域を有する撮像手段から取得する画像データ取得手段と、
前記取得した画像データを前記撮像領域内で所定の方向で走査する走査手段と、
前記走査の位置における画素の画素値が所定の閾値を超えたか否かを判定する閾値判定手段と、
前記歪曲画像を特定するための歪曲画像特定画素として、前記閾値判定手段により閾値を超えたと判定された閾値画素のうち、前記走査の方向における極値に関連した極値関連画素を取得する歪曲画像特定画素取得手段と、
前記歪曲画像特定画素の位置に基づき、前記歪曲画像を特定する値を算出する歪曲画像特定値算出手段と、
を備えることを特徴とする画像処理装置。
請求項１に記載の画像処理装置において、
前記走査の位置における画素の画素値が所定の閾値を超えたことが初回か否かを判定する初回閾値判定手段を更に備え、
前記歪曲画像特定画素取得手段が、前記歪曲画像特定画素として、前記初回閾値判定手段により初回と判定された画素も取得することを特徴とする画像処理装置。
請求項１または請求項２に記載の画像処理装置において、
前記走査の方向が、前記走査の主走査方向および副走査方向であることを特徴とする画像処理装置。
請求項１から３のいずれか１項に画像処理装置において、
前記撮像領域の外縁と前記歪曲画像の外縁との交点が存在するか否かを判定する交点判定手段を更に備え、
前記歪曲画像特定画素取得手段が、前記歪曲画像特定画素として、前記交点が存在した場合の交点の位置の画素を取得することを特徴とする画像処理装置。
画像を処理する画像処理装置の画像処理方法において、
広角レンズまたは全方位ミラーからの歪曲画像を、所定形状の撮像領域を有する撮像手段が撮像した画像データを取得する画像データ取得ステップと、
前記取得した画像データを前記撮像領域内で所定の方向で走査する走査ステップと、
前記走査の位置における画素の画素値が所定の閾値を超えたか否かを判定する閾値判定ステップと、
前記歪曲画像を特定するための歪曲画像特定画素として、前記閾値を超えたと判定された閾値画素のうち、前記走査の方向における極値に関連した極値関連画素を取得する歪曲画像特定画素取得ステップと、
前記歪曲画像特定画素の位置に基づき、前記歪曲画像を特定する値を算出する歪曲画像特定値算出ステップと、
を含むことを特徴とする画像処理方法。
コンピュータを、
広角レンズまたは全方位ミラーからの歪曲画像の画像データを、所定形状の撮像領域を有する撮像手段から取得する画像データ取得手段、
前記取得した画像データを前記撮像領域内で所定の方向で走査する走査手段、
前記走査の位置における画素の画素値が所定の閾値を超えたか否かを判定する閾値判定手段、
前記歪曲画像を特定するための歪曲画像特定画素として、前記閾値判定手段により閾値を超えたと判定された閾値画素のうち、前記走査の方向における極値に関連した極値関連画素を取得する歪曲画像特定画素取得手段、および、
前記歪曲画像特定画素の位置に基づき、前記歪曲画像を特定する値を算出する歪曲画像特定値算出手段として機能させることを特徴とする画像処理用プログラム。