JP2015210702A - 画像処理装置及び画像処理方法 - Google Patents

Abstract

【課題】 受信装置が受信する画像と画像に対する処理結果とが対応しない場合があった。
【解決手段】 画像処理装置の動体検出部１０４は、入力画像の画像データに対して動体の検出処理を実行し（ステップＳ１０３）、認識結果変換部１０６は、所定の幾何変換がなされた画像データと所定の幾何変換がなされていない画像データとのうち、所定の幾何変換がなされた画像データを受信装置に送信する場合、動体の検出処理の結果に対して所定の幾何変換に応じた変換をするための制御を実行する（ステップＳ１０５）。
【選択図】 図１

Description

本発明は、画像データに対して所定の検出処理を行った結果を送信する技術に関するものである。

魚眼レンズや全方位ミラーなどの広範囲撮像装置を用いて、通常の画角の撮像装置に比べて広い範囲を撮像する方式が知られている。これら広範囲撮像装置で撮像した画像（広範囲画像）は、有効部が円形形状という特徴がある。また、広範囲画像には、広範囲撮像装置と被写体との位置関係に応じて、画像上での被写体像が歪むという特徴や、被写体の方向（足元から頭への方向など）が画像上の位置によって異なるという特徴がある。

また、画像から物体や人体や顔などの検出や認識を行うことが知られている。さらに、広範囲画像に物体認識の技術を適用するため、広範囲画像を補正して物体認識を行うことが知られている。特許文献１には、広範囲画像から物体検出を行う際、広範囲画像に対して展開処理（魚眼レンズ等の広角レンズに起因する幾何的な歪みを補正するための処理）を施すことが記載されている。また、特許文献２には、広範囲画像に対して動体検出を行い、動体を検出した領域に対して展開処理を行った上で人物検出や顔検出を実施することが記載されている。

特開２０１２―１４１９７２号公報 特開２０１３−９０５０号公報

しかしながら、処理結果を画像とともに受信装置に送信した場合、受信装置が受信する画像と画像に対する処理結果とが対応しない場合が考えられる。例えば、受信装置（モニタリング装置）の利用者が、広範囲撮像装置に対して、広範囲画像を要求した場合において、広範囲撮像装置が、広範囲画像と、広範囲画像の展開画像に対する検出処理の結果とを受信装置へ送信する可能性がある。この場合、受信装置が受信する画像と検出処理の結果が対応しないことになる。

また、受信装置の利用者が、広範囲撮像装置に対して、展開画像を要求した場合において、広範囲撮像装置が、展開画像と、広範囲画像に対する検出処理の結果とを受信装置へ送信する可能性がある。この場合、受信装置が受信する画像と検出処理の結果が対応しないことになる。

本発明は上記事情を鑑みてなされたものであり、受信装置が、適切な組み合わせの画像と当該画像に対応する処理結果とを取得できるようにすることを目的とする。

上記目的を達成するための一手段として、本発明の画像処理装置は以下の構成を有する。すなわち、画像データに対して所定の検出処理を行う処理手段と、所定の幾何変換がなされた画像データと前記所定の幾何変換がなされていない画像データとのうち、前記所定の幾何変換がなされた画像データを受信装置に送信する場合、前記所定の幾何変換がなされていない画像データに対する前記処理手段による検出処理の結果に対して前記所定の幾何変換に応じた変換をするための制御を実行する制御手段とを有する。

この発明によれば、受信装置が、適切な組み合わせの画像と当該画像に対応する処理結果とを取得できるようになる。

実施形態の広範囲撮像装置の構成を示すブロック図 座標変換テーブルの例 動体の情報の変換例を示す図 実施形態の広範囲撮像装置の動作を説明するためのフローチャート 実施形態の広範囲撮像装置の構成を説明するためのブロック図 実施形態の広範囲撮像装置の画像処理の構成を説明するためのブロック図 画像処理の例を説明するための図

以下、添付の図面を参照して、本発明の実施形態を詳細に説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。

＜実施形態１＞
実施形態１の画像処理装置について、以下で説明する。なお、本実施形態では、広範囲画像から動体および人体の検出処理、及び追尾処理を行い、画像データ（以下、画像）及び処理結果を配信する、魚眼レンズを備えた広範囲撮像装置が画像処理装置である場合の例を中心に説明する。ただし、必ずしも画像処理装置が撮像部を含んでいる必要はなく、広範囲撮像装置から広範囲画像を取得するような構成であってもよい。

図１は、本発明の実施形態の一例である画像処理装置の構成を示すブロック図である。画像処理装置は、画像取得部１０１とリクエスト取得部１０２と展開処理部１０３と動体処理部１０４と人体処理部１０５と認識結果変換部１０６と配信部１０７とを含んで構成される。

画像取得部１０１は、魚眼レンズを備えた撮像部（不図示）から所定の時間間隔で画像（以後、入力画像）を順次取得して、展ｗ開処理部１０３、動体処理部１０４、配信部１０７に入力画像を提供する。本実施形態における入力画像は、広範囲画像であり、撮像領域が円形に近似された形状をした円形画像である。動体処理部１０４は、展開処理部１０３による展開処理がなされていない入力画像に対して、動体検出、及び、追尾処理（動体処理）を行う。人体処理部１０５は、展開処理部１０３による展開処理がなされた入力画像に対して、人体検出、及び、追尾処理（人体処理）を行う。

リクエスト取得部１０２は、画像取得要求を外部装置（不図示）から取得する。画像取得要求には、展開処理の実施指示、及び、展開種別を含めることができる。画像取得要求に展開処理の実施指示がある場合、リクエスト取得部１０２は、展開指示と展開種別とを展開処理部１０３に通知すると共に、動体処理の結果および人体処理の結果を変換する指示（変換指示Ａ）と展開種別とを認識結果変換部１０６に通知する。

画像取得要求に展開処理の実施指示がない場合、リクエスト取得部１０２は、人体処理の結果を変換する指示（変換指示Ｂ）を認識結果変換部１０６に通知する。またリクエスト取得部１０２は、配信部１０７に対して、外部装置から取得した画像取得要求を通知する。

なお、外部装置（受信装置）とは、画像および検出・認識処理の結果を表示する表示装置や画像を保存する記録装置である。ただし、外部装置は、上記のような装置に限定されるものではなく、画像処理装置から画像と、検出・認識処理の結果とのうち少なくとも一方を受信する装置であってもよい。

展開処理部１０３は、リクエスト取得部１０２から展開処理の実施指示を受信した場合、指定された展開種別に従って入力画像に対して展開処理を実行し、入力画像が展開された画像（以後、展開画像Ａ）を生成する。すなわち、展開処理部１０３は、入力画像の画像データに対して所定の幾何変換を実行することで、魚眼レンズに起因する幾何的な歪みが補正された展開画像の画像データを生成する。入力画像では、画像内の位置によって被写体（例えば人物）の方向（足元から頭への方向など）が画像上の位置によって異なるが、この所定の幾何変換により、位置に応じた被写体の方向の違いが補正される。本実施形態では、展開種別が、全パノラマ展開、部分パノラマ展開、部分切り出し展開の３種類である場合について説明する。

全パノラマ展開は、入力画像（広範囲画像）を上下２つの半円画像に分割し、半円画像のそれぞれに魚眼レンズに起因する幾何的な歪みを補正する処理（幾何変換）を実施することで実現される。部分パノラマ展開は、入力画像を上下２つの半円画像に分割し、半円画像のいずれかに対して魚眼レンズに起因する幾何的な歪みを補正する処理を実施することで実現される。切り出し展開とは、入力画像上の任意の矩形領域について、魚眼レンズに起因する幾何的な歪みを補正する処理を実施することで実現される。本実施形態の画像処理装置は、予め保持した座標対応テーブルを参照することで、上記の展開処理（全パノラマ展開、部分パノラマ展開、切り出し展開）を実現することが可能である。

図２に座標対応テーブルの一例を示す。例えば、広範囲画像を内接円とする矩形画像の左上の頂点を原点として、円形画像（入力画像）から全パノラマ展開画像に変換する場合、円形画像の点（１００、２０）は全パノラマ展開画像の点（１２０，１０）に対応する。一方で、部分パノラマ展開画像から円形画像に変換する場合、部分パノラマ画像の点（６０，８）は円形画像の点（１００，２０）に対応する。このように展開処理部１０３は、座標対応テーブルを参照することで画像の変換を行う。また、展開処理部１０３は、人体処理部１０５が人体の検出処理や認識処理に使用する展開画像（以後、展開画像Ｂ）を、座標対応テーブルを用いて生成する。

展開画像Ｂは、被写体人物の方向（足元から頭への方向）が画像の下方から上方になるよう魚眼レンズに起因する幾何的な歪みを補正した画像である。すなわち、展開処理部１０３は、入力画像の画像データに対して、外部装置（受信装置）へ送信する展開画像を生成するための所定の幾何変換とは異なる第２の所定の幾何変換を実行して、人体検出用画像データ（展開画像Ｂ）を生成する。そして、展開処理部１０３は第２の所定の幾何変換によって得られる変換後画像データを人体処理部１０５に提供する。

なお、本実施形態では、展開種別は、全パノラマ展開、部分パノラマ展開、切り出し展開の３通りを記載したが、展開種別は上記の方法に限定されるものではない。また、人物検出に使用する展開画像Ｂ（人体検出用画像）の生成方法は上記の方法に限定されない。例えば、検出すべき人体の特性に合わせて検出処理において好適な画像を生成すればよい。

また、展開画像Ａ（送信される展開画像）を生成するための展開処理と展開画像Ｂ（人体検出のための展開画像）を生成するための展開処理とが、同じ展開処理であってもよい。また、展開画像の生成方法は、あらかじめ保持された座標対応テーブルを参照する方法に限らない。ほかの方法として、展開のたびに、幾何変換など変換計算を実行する方法等が考えられる。

動体処理部１０４は、入力画像から動体を検出し、検出された動体の追尾処理を行う。動体の検出は、背景モデルを生成したうえで、入力画像と背景モデルを比較することで動体を検出する背景差分法を用いる。動体処理部１０４は、展開処理部１０３による展開処理がなされていない入力画像に対して、動体検出、及び、追尾処理を行う。本実施形態における動体の情報は、入力画像における動体の中心座標と外接矩形座標と動体領域の面積とで構成される。動体の中心座標と外接矩形座標は表示画像上での動体の中心点、外接形状を表示するために使用され、領域の面積は動体の大きさを確認するために画像上に表示される。ただし、動体の情報は上記の情報に限らない。また、動体の中心座標と外接矩形と面積のうち一部が受信装置側で表示されるようにしても良い。

また、動体の検出方法は、背景差分法に限定されるものではなく、フレーム間差分法や動きベクトルに基づく動体検出方法など入力画像から動体を検出する方法であればよい。また、動体の追尾は、入力画像から検出された動体を、当該動体の色特徴と画像間での位置関係から対応付ける処理である。動体処理部１０４は、入力画像から検出された動体に対して、動体の識別のためのＩＤを付与する。また、動体処理部１０４は、入力画像から検出された動体のうち、前の入力画像で検出された動体に追尾処理によって対応付けられた動体には、前の入力画像で付与したＩＤと同じＩＤを付与する。動体処理部１０４が出力する処理結果を動体処理結果Ａとする。

人体処理部１０５は、展開画像Ｂから人体を検出し、検出された人体の追尾処理を行う。人体の検出は、パターンマッチング処理により人体を検出する。すなわち、人体処理部１０５は、人体検出用画像と、予め保持している人体のパターン画像とを比較することによって、人体の検出を行う。人体検出用画像は、展開処理部１０３による幾何変換によって生成される変換後画像データである。人体の情報は、展開画像Ｂにおける人体の中心座標と外接矩形座標と信頼度とで構成される。人体の中心座標と外接矩形座標は画像上での人体の中心点、外接形状を表示するために使用され、信頼度は人物らしさを確認するために画像上に表示される。ただし、人体の情報は上記の情報に限らない。また、人体の中心点、外接形状、信頼度のうちの一部が受信装置側で表示されるようにしても良い。人体の検出方法は、パターンマッチング処理を用いた方法に限定されるものではない。

また、人体の追尾は、人体検出用画像から検出された人体を、当該人体の色特徴と画像間での位置関係から対応付ける処理である。人体処理部１０５は、人体検出用画像から検出された人体に対して人体の識別のためのＩＤを付与する。また、人体処理部１０５は、人体検出用画像から検出された人体のうち、前の人体検出用画像で検出された人体に追尾処理によって対応付けられた人体には、前の人体検出用画像で付与したＩＤと同じＩＤを付与する。人体処理部１０５が出力する処理結果を人体処理結果Ａとする。

認識結果変換部１０６は、リクエスト取得部１０２から取得した指示に応じて、座標変換テーブルを用いて動体処理部１０４および人体処理部１０５の処理結果（動体処理結果Ａ、人体処理結果Ａ）の変換処理を行う。より具体的には、画像処理装置が受信装置から展開処理の実施指示を含む画像取得要求を受信した場合、変換指示Ａが認識結果変換部１０６に入力される。そして、認識結果変換部１０６は、変換指示Ａを取得した場合、展開種別に従い、入力画像における動体の中心座標と外接矩形座標と動体領域の面積を、展開画像Ａにおける動体の中心座標と外接矩形座標と動体領域の面積に変換する。すなわち、認識結果変換部１０６は、展開画像の要求を外部装置（受信装置）から取得した場合、入力画像における検出処理の結果（例えば動体の座標値）に対して、所定の幾何変換に応じた変換を実行する。この変換により、入力画像における検出処理の結果（動体の座標値）を、展開画像Ａにおける検出処理の結果（動体の座標値）に対応させることが可能となる。

なお、入力画像において検出された動体の外接矩形（長方形）は、展開画像Ａにおいては、略台形形状となる。本実施形態の認識結果変換部１０６は、略台形の頂点に基づいて、略台形の全体が含まれるような外接矩形を、展開画像Ａにおける動体の外接矩形とする。認識結果変換部１０６の変換により生成された処理結果を動体処理結果Ｂとする。

また、認識結果変換部１０６は、変換指示Ａを取得した場合、展開種別に従い、展開画像Ｂ（人体検出用画像）における人体の中心座標と外接矩形座標とを、展開画像Ａにおける人体の中心座標と外接矩形座標とに変換する。すなわち、認識結果変換部１０６は、展開画像の要求を外部装置（受信装置）から取得した場合、展開画像Ｂ（人体検出用画像）における検出処理の結果（例えば人体の座標値）に対して、幾何変換に応じた変換を実行する。この変換は、展開画像Ｂ（人体検出用画像）の座標値を、展開画像Ａ（受信装置へ送信される画像）の座標値に対応させるための変換である。この変換により、展開画像Ｂにおける検出処理の結果（人体の座標値）を、展開画像Ａにおける検出処理の結果（人体の座標値）に対応させることが可能となる。

なお、展開画像Ｂにおいて検出された人体の外接矩形（長方形）は、展開画像Ａにおいては、略台形形状となる。本実施形態の認識結果変換部１０６は、略台形の頂点に基づいて、略台形の全体が含まれるような外接矩形を展開画像Ａにおける人体の外接矩形とする。認識結果変換部１０６の変換により生成された処理結果を人体処理結果Ｂとする。

図３は、入力画像に対する動体処理によって得られた動体の情報を、全パノラマ展開した展開画像Ａにおける動体の情報に変換する例を示している。入力画像２０１は円形領域を内接円とする矩形の左上を原点とする画像である。動体領域２０４、２０５、２０６は、入力画像２０１における動体の中心座標、外接矩形座標を描画した結果である。展開画像Ａ２０７は、入力画像２０１を分割線２０３で２つの半円に分割し、半円のそれぞれに幾何的な歪み補正処理を行い、上下に結合した画像である。展開画像Ａは左上を原点とする画像である。

動体領域２０８は、入力画像２０１における動体領域２０４の中心座標、外接矩形座標を展開画像Ａ２０７における中心座標、外接矩形座標に変換して描画した結果である。また、動体領域２０８内の点線の略台形領域は入力画像２０１における動体領域２０４を変換した結果である。同様に動体領域２０５は動体領域２０９に対応し、動体領域２０６は動体領域２１０に対応する。

また、認識結果変換部１０６は、変換指示Ｂを取得した場合、展開画像Ｂを生成する展開種別に従って、展開画像Ｂにおける人体の中心座標と外接矩形座標を、入力画像における人体の中心座標と外接矩形座標に変換する。すなわち、認識結果変換部１０６は、入力画像の要求を外部装置（受信装置）から取得した場合、展開画像Ｂに対する検出処理の結果（例えば人物の中心座標値）を、入力画像に対応させるための変換を行う（入力画像における人物の座標値に変換する）。この変換により生成された処理結果を人体処理結果Ｃとする。

配信部１０７は、リクエスト取得部１０２から受け取った画像取得要求に従って、画像および動体処理の結果および人体処理の結果を外部装置に出力する。画像処理装置が外部装置（受信装置）から取得した画像取得要求に展開処理の実施指示がない場合、配信部１０７は、入力画像および動体処理結果Ａおよび人体処理結果Ｃを外部装置へ出力する。一方、画像取得要求に展開処理の実施指示がある場合、配信部１０７は、展開画像Ａおよび動体処理結果Ｂおよび人体処理結果Ｂを外部装置へ出力する。

次に本実施形態における画像処理装置の動作について図４のフローチャートを用いて説明する。なお、本実施形態の画像処理装置は、不図示のＣＰＵを備えており、図４で示す処理を実現するためのプログラムを実行することが可能である。すなわち、本実施形態の画像処理装置は、当該プログラムを実行するために必要なメモリも備えている。ただし、図４で示す各処理が専用のハードウェアで実行されるようにしてもよい。また、本実施形態の画像処理装置は、撮像開始指示の検出に応じて図４の処理を開始する。なお、画像処理装置と魚眼レンズを備えた撮像装置とが別の装置である場合は、画像処理装置は撮像装置から画像を取得する処理の開始と共に図４の処理を開始する。ただし、図４の処理の開始タイミングは上述のタイミングに限らない。

ステップＳ１０１において、画像取得部１０１は、画像（入力画像）を取得する。本実施形態における入力画像は、魚眼レンズを用いて撮像された広範囲画像であり、円形の形状をした円形画像である。当該入力画像は、魚眼レンズに起因する幾何学的な歪みを補正するための所定の幾何変換がなされていない画像である。また、リクエスト取得部１０２は、ステップＳ１０１において、外部装置（受信装置）から画像取得要求を受信する。リクエスト取得部１０２が画像取得要求を受信すると、ステップＳ１０２に進む。

ステップＳ１０２において、展開処理部１０３は、リクエスト取得部１０２から提供された画像取得要求に展開処理の実施指示が含まれている場合は展開画像Ａを生成する。また、展開処理部１０３は、画像取得要求に展開処理の実施指示が含まれているか否かに関わらず、展開画像Ｂ（人体検出用画像）を生成する。展開処理部１０３が展開画像を生成すると、ステップＳ１０３に進む。

ステップＳ１０３において、動体処理部１０４は、入力画像から動体の検出、追尾処理を行う。なお、ステップＳ１０２における展開処理部１０３による展開処理と、ステップＳ１０３における動体処理部１０４による動体の検出、追尾処理とは、並行して行われるようにしても良い。動体の検出処理が完了すると、ステップＳ１０４に進む。動体処理部１０４は、展開処理部１０３による展開処理がなされていない入力画像に対して、動体検出、及び、追尾処理を行う。

ステップＳ１０４において、人体処理部１０５は、展開画像Ｂ（人体検出用画像）から人体の検出、追尾処理を行う。なお、ステップＳ１０３とステップＳ１０４が並行して実行されるようにしてもよい。人体処理部１０５による人体の検出、追尾処理が完了すると、ステップＳ１０５に進む。

ステップＳ１０５において、リクエスト取得部１０２から取得した画像取得要求に応じて、認識結果変換部１０６は、動体処理部１０４および人体処理部１０５の処理結果の変換処理を行う。より具体的には、認識結果変換部１０６は、画像取得要求に展開処理の実施指示が含まれている場合、動体処理部１０４と人体処理部１０５の処理結果の変換処理を実行する。なお、人体処理部１０５の処理結果（例えば、人体の中心座標）は、展開画像Ｂ（人体検出用画像）上の処理結果である。従って、認識結果変換部１０６は、展開画像Ｂに対応する処理結果が、展開画像Ａに対応する処理結果になるように変換処理を実行する。なお、展開画像ＡとＢを同じ画像とする場合は、認識結果変換部１０６は、画像取得要求に展開処理の実施指示が含まれている場合であっても、人体処理部１０５の処理結果の変換を実施しない。

一方、認識結果変換部１０６は、画像取得要求に展開処理の実施指示が含まれていない場合、動体処理部１０４の処理結果の変換処理を実行せず、人体処理部１０５の処理結果の変換処理を実行する。なお、詳細は後述するが、画像処理装置が処理結果の変換を行う代わりに、座標変換テーブルを外部装置に送信し、外部装置が変換処理を行うようにしてもよい。即ち、認識結果変換部１０６は、所定の幾何変換がなされた画像（展開画像Ａ）と所定の幾何変換がなされてない画像（円形画像）のうち、展開画像Ａを外部装置に送信する場合、動体や人体の検出結果に対して所定の幾何変換に応じた変換をするための制御を行う。

なお、展開処理の実施指示が含まれている場合に認識結果変換部１０６が行う動体処理部１０４の処理結果の変換処理は、入力画像に対する処理結果（例えば動体の中心座標）を、展開画像Ａに対応する処理結果に変換する変換処理である。また、展開処理の実施指示が含まれている場合に認識結果変換部１０６が行う人体処理部１０５の処理結果の変換処理は、展開画像Ｂ（人体検出用画像）に対する処理結果（例えば人体の中心座標）を、展開画像Ａに対応する処理結果に変換する変換処理である。また、展開処理の実施指示が含まれていない場合に認識結果変換部１０６が行う人体処理部１０５の処理結果の変換処理は、展開画像Ｂに対する処理結果を、入力画像に対応する処理結果に変換するための変換処理である。

認識結果変換部１０６は、予め用意した座標変換テーブル（座標変換情報）を参照することで上記のような変換処理を実施することが可能である。認識結果変換部１０６による変換処理が完了すると、ステップＳ１０６に進む。

ステップＳ１０６において、配信部１０７は、画像取得要求の送信元である外部装置（受信装置）に対して、画像および処理結果を出力する。より具体的には、配信部１０７は、画像取得要求に展開処理の実施指示が含まれている場合、展開画像Ａと、動体処理結果Ｂと、人体処理結果Ｂを外部装置に送信する。一方、配信部１０７は、画像取得要求に展開処理の実施指示が含まれていない場合、入力画像と、動体検出結果Ａと、人体処理結果Ｃを外部装置に送信する。配信部１０７による送信処理が完了すると、ステップＳ１０７に進む。なお、画像処理装置は、上記の各ステップの処理を、１フレーム単位で行うことも、複数フレーム単位で行うことも可能である。

そして、ステップＳ１０７では、処理継続の判定を行い、処理を継続する場合は、ステップＳ１０１の処理に戻る。一方、処理を終了すると判定された場合は、図４の処理を終了する。

本実施形態の画像処理装置は、複数の外部装置から画像取得要求を取得することが可能である。複数の外部装置からそれぞれ異なる画像取得要求を取得した場合、画像処理装置は、外部装置それぞれに対して画像取得要求に従った画像や処理結果の送信を行う。また、本実施形態では、動体処理と人体処理に関して記載したが、これらの処理に限定されるものではない。画像処理装置は、例えば、顔を検出、認識して追尾する処理や車両や航空機など特定物体を検出、認識して追尾する処理等を実行することが可能である。この場合、展開処理部１０３は認識処理にとって好適な展開処理により展開画像Ｂを生成する。

また、本実施形態の画像処理装置は、画像取得要求の受信に応じて画像および、当該画像に対応するよう変換された動体処理結果および人体処理結果を出力したが、変換がなされていない動体処理結果および人体処理結果を出力してもよい。例えば、画像処理装置は、展開処理の実施指示が含まれた画像取得要求（展開画像の取得要求）を受信した場合に、展開画像Ａおよび動体処理結果Ａおよび動体処理結果Ｂ、人体処理結果Ｂおよび人体処理結果Ｃを出力することも可能である。また、画像処理装置は、展開処理の実施指示が含まれていない画像取得要求（円形画像の取得要求）を受信した場合に、入力画像（円形画像）および動体処理結果Ａ、人体処理結果Ｃを出力することも可能である。

また、本実施形態では、画像取得要求の受信に応じて動体処理結果および人体処理結果の双方を出力したが、いずれか一方の処理結果のみを出力してもよい。また、本実施形態では、画像取得要求に対して返信するリクエスト型の画像処理装置の動作を記載したが、リクエスト型に限定されるものではない。特定の配信先をあらかじめ設定しておき、画像処理装置が画像および、動体処理結果および人体処理結果を配信するプッシュ型でもよく、特定の配信方法に限定されるものではない。

以上説明したように、画像処理装置が画像取得要求に応じて動体処理結果、人体処理結果を変換して出力することで、外部装置は画像と当該画像に対応する処理結果を効率的に取得することができる。

なお、上記の実施形態では、外部装置からの画像取得要求に展開処理の実施指示が含まれているか否かに応じて、処理結果を変換して送信する例を中心に説明したが、例えば、外部装置側で処理結果を変換するようにしても良い。

図５は、外部装置側で処理結果を変換する場合における画像処理装置の構成例を示すブロック図である。図５において、１０１から１０５は図１と同様であるため説明を省略する。ただし、動体処理部１０４と人体処理部１０５は、処理の結果を配信部３０１に送信する。

配信部３０１は、リクエスト取得部１０２から受け取った画像取得要求に従って、画像および動体処理の結果および人体処理の結果および座標変換テーブル（座標変換情報）を外部装置に出力する。すなわち、配信部３０１は、外部装置からの画像取得要求に展開処理の実施指示が含まれている場合、展開画像Ａ、動体処理結果Ａ、人体処理結果Ａ、及び、座標変換テーブルを外部装置に送信する。そして、外部装置は、画像処理装置から取得した展開画像Ａを表示させると共に、座標変換テーブルを用いて動体処理結果Ａを動体処理結果Ｂに変換し、人体処理結果Ａを人体処理結果Ｂに変換する。そして、外部装置は、変換後の処理結果を展開画像Ａと共に表示することが可能である。

また、例えば、画像処理装置は、展開処理の実施指示の有無に関わらず、入力画像（円形画像）を外部装置に対して送信するようにしてもよい。この場合、外部装置は、画像処理装置から取得した円形画像を座標変換テーブルを用いて変換し、展開画像Ａを得ることが可能である。

以上のような構成によっても、外部装置は画像と当該画像に対応する処理結果とを効率的に取得できる。また、上記のような構成によれば、外部装置が円形画像を取得したあとに、展開画像Ａを取得しようとした場合に、再度画像処理装置に画像取得要求を送信せず、外部装置内で展開画像Ａを生成することができる。

＜実施形態２＞
次に本発明の第２の実施形態について、第１の実施形態との差異を中心に説明する。本実施形態では、広範囲画像から雪や雨など落下物を除去する画像処理を実行する画像処理装置について説明する。

図６は、本実施形態における画像処理装置の構成を示すブロック図である。図６において、１０１から１０３、１０７は実施形態１と同様であるため説明を省略する。ただし、配信部１０７は、リクエスト取得部１０２から受け取った画像取得要求に従って、円形画像もしくは展開画像を出力する。

画像処理部４０１は、降雨や降雪により視認性が悪い領域の画質を改善する処理を行う。例えば、図７の展開画像５０１において、降雪の影響で視認性が悪い領域５０２に対して画質改善のための処理を行う。すなわち、画像処理部４０１は、入力画像（円形画像）に対して所定の幾何変換がなされた画像（展開画像５０１）から所定の物体（雪や雨）を検出し、当該所定の物体を除去する処理を行う。所定の幾何変換とは、魚眼レンズに起因する幾何的な歪みを補正するための変換である。当該変換は、例えば、図２に示すような座標対応テーブルを参照することで実現できる。

本実施形態の画像処理部４０１は、例えば、展開画像５０１から検出された物体のサイズ、数、色、動きの速度や方向等の情報に基づいて、雨や雪の領域を特定し、特定された領域に対して平滑化フィルタ処理等のフィルタ処理を適用することで画質を改善できる。ただし、画質を改善する処理は、上記の処理に限らない。

画像合成部４０２は、画像処理部４０１で画質改善を行った領域を再度幾何変換して入力画像（円形画像）に合成する。すなわち、画像合成部４０２は、所定の物体（雪や雨）が除去された画像に対して、所定の幾何変換（入力画像から展開画像を得るための幾何変換）と逆の幾何変換を行う。そして配信部１０７は逆の幾何変換後の画像を外部装置に送信する。

本実施形態の画像処理装置は、例えば、図７の円形画像５０３のうち、領域５０４に対して所定の幾何変換を行うことで、展開画像５０１のうち領域５０２に対応する展開画像を生成し、領域５０２に対して画質改善のための処理を行う。そして、画像処理装置の画像合成部４０２は、画質改善のための処理後の領域５０２に対して、所定の幾何変換とは逆の幾何変換を行うことにより、領域５０４の形状に戻し、当該領域５０４を円形画像５０３に合成する。これにより、画質を改善した円形画像が得られる。幾何変換方法は実施形態１の方法と同様である。

本実施形態のように特定の画質改善処理（例えば降雪除去処理）を行う際に円形画像に幾何変換を施すと効果的である。なぜなら、円形画像においては、１つ１つの雪や雨の移動方向が大きく異なるが、幾何変換によって移動方向の差異を小さくすることができるためである。そして、画質改善処理の適用後、画像合成部４０２が展開画像に対して再度幾何変換を施すことで円形画像に不具合なく合成できる。

本実施形態の画像処理装置の動作について、図４を参照して説明する。ステップＳ１０１において、画像取得部１０１が入力画像を取得すると共に、リクエスト取得部１０２が画像取得要求を取得する。ステップＳ１０２において、展開処理部１０３が入力画像の展開処理を実行する。そして、ステップＳ１０３において、画像処理部４０１は展開画像に対して画質改善処理（例えば雪や雨の除去処理）を実行する。具体的には雪や雨を検出し、検出された雪や雨を除去する処理を実行する。ステップＳ１０４は本実施形態では実施しないが、実施するようにしてもよい。

ステップＳ１０５において、画像合成部４０２は、外部装置からの画像取得要求に展開処理の実施指示が含まれていなければ、画質改善処理後の展開画像に対して逆の幾何変換処理を実施して円形画像を生成する。一方、外部装置からの画像取得要求に展開処理の実施指示が含まれていれば、逆の幾何変換処理は実施しない。ステップＳ１０６において、配信部１０７は、外部装置からの画像取得要求に応じた画像を外部装置に送信する。

また、本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０１ 画像取得部
１０２ リクエスト取得部
１０３ 展開処理部
１０４ 動体処理部
１０５ 人体処理部
１０６ 認識結果変換部
１０７ 配信部

Claims (15)

1. 画像データに対して所定の検出処理を行う処理手段と、
   所定の幾何変換がなされた画像データと前記所定の幾何変換がなされていない画像データとのうち、前記所定の幾何変換がなされた画像データを受信装置に送信する場合、前記所定の幾何変換がなされていない画像データに対する前記処理手段による検出処理の結果に対して前記所定の幾何変換に応じた変換をするための制御を実行する制御手段とを有することを特徴とする画像処理装置。
2. 前記処理手段は、前記所定の幾何変換がなされていない画像データに対して動体の検出処理を実行して前記動体の座標値を取得し、
   前記制御手段は、前記所定の幾何変換がなされた画像データを前記受信装置に送信する場合、前記処理手段により取得された前記動体の座標値を、前記所定の幾何変換がなされた画像データに対応する座標値に変換し、
   前記制御手段による変換後の前記動体の座標値と、前記所定の幾何変換がなされた画像データとを、前記受信装置へ送信させることを特徴とする請求項１に記載の画像処理装置。
3. 前記所定の幾何変換がなされていない画像データに対して第２の所定の幾何変換を実行することで人体検出用画像データを生成する第２の処理手段を有し、
   前記処理手段は、前記第２の幾何変換がなされた人体検出用画像データに対して人体の検出処理を実行して人体の座標値を取得し、
   前記制御手段は、前記所定の幾何変換がなされた画像データを前記受信装置に送信する場合、前記処理手段により取得された前記人体の座標値を、前記所定の幾何変換がなされた画像データに対応する座標値に変換し、
   前記制御手段による変換後の前記人体の座標値と、前記所定の幾何変換がなされた画像データとを、前記受信装置へ送信させることを特徴とする請求項１に記載の画像処理装置。
4. 前記処理手段は、前記動体の面積、及び、前記動体の外接矩形の情報を取得し、
   前記制御手段は、前記所定の幾何変換がなされた画像データを前記受信装置に送信する場合、前記処理手段により取得された前記動体の座標値、面積、及び、前記外接矩形の情報を、前記所定の幾何変換がなされた画像データに対応する座標値、面積、及び、前記外接矩形の情報に変換することを特徴とする請求項２に記載の画像処理装置。
5. 前記処理手段は、前記人体の外接矩形の情報を取得し、
   前記制御手段は、前記所定の幾何変換がなされた画像データを前記受信装置に送信する場合、前記処理手段により取得された前記人体の座標値、及び、前記外接矩形の情報を、前記所定の幾何変換がなされた画像データに対応する座標値、及び、前記外接矩形の情報に変換することを特徴とする請求項３に記載の画像処理装置。
6. 前記制御手段は、前記所定の幾何変換がなされた画像データを前記受信装置に送信する場合、前記処理手段による検出処理の結果を前記受信装置が変換するために前記受信装置よって用いられる座標変換情報を前記受信装置へ送信するように制御することを特徴とする請求項１に記載の画像処理装置。
7. 前記処理手段は、前記所定の幾何変換がなされた画像データから所定の物体を検出し、当該所定の物体を除去する処理を実行し、
   前記制御手段は、前記所定の幾何変換がなされていない画像データを前記受信装置に送信する場合、前記処理手段により前記所定の物体が除去された画像データに対して、前記所定の幾何変換の逆の幾何変換を行い、前記逆の幾何変換後の画像データを前記受信装置へ送信するように制御することを特徴とする請求項１に記載の画像処理装置。
8. 画像データに対して所定の幾何変換がなされた変換後画像データに対して所定の検出処理を行う処理手段と、
   前記所定の幾何変換がなされていない画像データを受信装置に送信する場合、前記所定の幾何変換がなされた前記変換後画像データに対する前記所定の検出処理の結果に対して前記所定の幾何変換に応じた変換をするための制御を実行する制御手段とを有することを特徴とする画像処理装置。
9. 前記所定の幾何変換は、人体検出用画像データを生成するための幾何変換であり、
   前記制御手段は、前記人体検出用画像データから検出された人体の位置に関する情報を、前記所定の幾何変換がなされていない画像データに対応する位置に変換するための制御を実行することを特徴とする請求項８に記載の画像処理装置。
10. 画像処理装置が行う画像処理方法であって、
    画像データに対して所定の検出処理を行う処理工程と、
    所定の幾何変換がなされた画像データと前記所定の幾何変換がなされていない画像データとのうち、前記所定の幾何変換がなされた画像データを前記受信装置に送信する場合、前記所定の幾何変換がなされていない画像データに対する前記処理工程による検出処理の結果に対して前記所定の幾何変換に応じた変換をするための制御を実行する制御工程とを有することを特徴とする画像処理方法。
11. 前記処理工程は、前記所定の幾何変換がなされていない画像データに対して動体の検出処理を実行して前記動体の座標値を取得し、
    前記制御工程は、前記所定の幾何変換がなされた画像データを前記受信装置に送信する場合、前記処理工程により取得された前記動体の座標値を、前記所定の幾何変換がなされた画像データに対応する座標値に変換し、
    前記制御工程による変換後の前記動体の座標値と、前記所定の幾何変換がなされた画像データとを、前記受信装置へ送信させることを特徴とする請求項１０に記載の画像処理方法。
12. 前記所定の幾何変換がなされていない画像データに対して第２の所定の幾何変換を実行することで人体検出用画像データを生成する第２の処理工程を有し、
    前記処理工程は、前記第２の幾何変換がなされた人体検出用画像データに対して人体の検出処理を実行して人体の座標値を取得し、
    前記制御工程は、前記所定の幾何変換がなされた画像データを前記受信装置に送信する場合、前記処理工程により取得された前記人体の座標値を、前記所定の幾何変換がなされた画像データに対応する座標値に変換し、
    前記制御工程による変換後の前記人体の座標値と、前記所定の幾何変換がなされた画像データとを、前記受信装置へ送信させることを特徴とする請求項１０に記載の画像処理方法。
13. 画像処理装置が行う画像処理方法であって、
    画像データに対して所定の幾何変換がなされた変換後画像データに対して所定の検出処理を行う処理工程と、
    前記所定の幾何変換がなされていない画像データを受信装置に送信する場合、前記所定の幾何変換がなされた前記変換後画像データに対する前記所定の検出処理の結果に対して前記所定の幾何変換に応じた変換をするための制御を実行する制御工程とを有することを特徴とする画像処理方法。
14. 前記所定の幾何変換は、人体検出用の画像データを生成するための幾何変換であり、
    前記制御工程は、前記人体検出用の画像データから検出された人体の位置に関する情報を、前記所定の幾何変換がなされていない画像データに対応する位置に変換するための制御を実行することを特徴とする請求項１３に記載の画像処理方法。
15. コンピュータを請求項１乃至９のうちいずれか１項に記載の画像処理装置として動作させるためのプログラム。

Images