JP2020108047A - 画像処理装置、移動体デバイス、画像処理方法および画像処理プログラム - Google Patents

Abstract

【課題】一連の撮像処理で取得した画像データに対して圧縮効果を与える画像処理を行う画像処理装置等を提供する。【解決手段】本発明にかかる画像処理装置１０は、撮像画像データ取得部１００と、距離相当データ取得部１１０と、画像解析部１２０と、画像処理部１３０と、出力部１４０とを有する。撮像画像データ取得部１００は、撮像した画像のデータである撮像画像データを取得する。距離相当データ取得部１１０は、撮像画像データの光軸方向の距離に相当する距離相当データを取得する。画像解析部１２０は、距離相当データに基づいて、撮像画像データが前景画像と背景画像とに分離可能か否かを判断する。画像処理部１３０は、画像解析部が撮像画像データを分離可能と判断した場合に、背景画像に代えて、背景画像の一部を拡大して生成した背景拡大画像と、前景画像とを合成して仮想圧縮画像を生成する。出力部１４０は、仮想圧縮画像を出力する。【選択図】図２

Description

本発明は、画像処理装置、移動体デバイス、画像処理方法および画像処理プログラムに関する。

近年、スマートフォンやタブレット等の移動体デバイスに搭載されているカメラの性能が向上している。また、このような移動体デバイスで撮像した画像に対して、例えば背景にボケ効果を与えるなど特定の効果を施す技術が進展している。

撮像した画像に与える種々の効果の一つに、圧縮効果がある。圧縮効果とは、望遠レンズにより被写体を拡大して撮像した場合に、相対的に近景に位置する主被写体と、相対的に遠景に位置する背景との相対的な大きさの差が縮まり、遠近感が圧縮されたように感じられる効果を言う。スマートフォン等の薄型の移動体デバイスにおいて、撮像画像にこのような圧縮効果を与えることは光学系の物理的な制約があり難しい。そこでこのような効果を仮想的に与えるために、特許文献１には、背景拡大画像生成処理を行い、主被写体領域の画像と合成する画像処理装置が提案されている。

特開２０１７−１４３３５４号公報

特許文献１に記載の技術は、主被写体と背景拡大画像との合成に際して、背景画像から除去された主被写体の一部または全部が、合成される背景画像に含まれてしまうという問題がある。これについて、特許文献１には、他の画像を使って補完することが記載されている。しかしながら、他の画像を使って補完すると、結果的に不自然な画像となる虞がある。また、他の画像を使って補完する場合には、処理が煩雑になり、一連の撮像処理で取得した画像データに基づいた処理を行うことができない。

本発明は、このような課題を解決するためになされたものであって、一連の撮像処理で取得した画像データに対して圧縮効果を与える画像処理を行う画像処理装置を提供することを目的とする。

本発明にかかる画像処理装置は、撮像画像データ取得部と、距離相当データ取得部と、画像解析部と、画像処理部と、出力部とを有する。撮像画像データ取得部は、撮像した画像のデータである撮像画像データを取得する。距離相当データ取得部は、撮像画像データの光軸方向の距離に相当する距離相当データを取得する。画像解析部は、距離相当データに基づいて、撮像画像データが前景画像と背景画像とに分離可能か否かを判断する。画像処理部は、画像解析部が撮像画像データを分離可能と判断した場合に、背景画像に代えて、背景画像の一部を拡大して生成した背景拡大画像と、前景画像とを合成して仮想圧縮画像を生成する。出力部は、仮想圧縮画像を出力する。

上記構成により、画像処理装置は、前景画像と背景画像とを分離して、背景画像の一部を拡大した背景拡大画像を生成してもよい。そして背景拡大画像と前景画像とを合成することにより撮像画像データに圧縮効果を与える処理を行う。

また画像処理装置において、画像処理部は、前景画像を拡大する場合には、背景拡大画像の拡大率が前景画像の拡大率より大きくなるように仮想圧縮画像を生成してもよい。これにより、画像処理により前景を拡大する場合であっても、画像データに対して圧縮効果を与えることができる。

また画像処理装置において、画像解析部は、前景画像と背景画像とが予め設定された距離より近い場合に、撮像画像データを分離可能と判断しないものであってもよい。また画像処理装置において、画像解析部は、撮像画像データが前景画像と背景画像とに分離することができない場合に、撮像画像データを分離可能と判断しないものであってもよい。また画像処理装置において、画像処理部は、予め設定された拡大率により拡大した背景画像から背景拡大画像を画定することができない場合に、仮想圧縮画像を生成しない。これにより圧縮効果を与えるのに適さない画像に対しては画像処理を行わないことを判断することができる。

また画像処理装置において、画像処理部は、所定の拡大率により背景拡大画像を生成する際に、撮像画像データの光軸から第１距離に位置する第１画像よりも光軸からの距離が第１距離より近い第２距離に位置する第２画像を前景画像と合成することが好ましい。これにより、より自然な印象の圧縮効果を与えることができる。

本発明にかかる移動体デバイスは、上記画像処理装置と、被写体の画像を撮像して撮像画像データを生成し、上記画像処理装置に撮像画像データを供給する撮像装置と、を少なくとも備える。これにより、移動体デバイスは光学的ないし物理的な制約を受けることなく撮像画像データに圧縮効果を与えることができる。

また本発明にかかる画像処理方法は、撮像画像データ取得ステップと、距離相当データ取得ステップと、画像解析ステップと、画像処理ステップと、出力ステップとを有する。撮像画像データ取得ステップは、撮像した画像のデータである撮像画像データを取得する。距離相当データ取得ステップは、撮像画像データの光軸方向の距離に相当する距離相当データを取得する。画像解析ステップは、距離相当データに基づいて、撮像画像データが前景画像と背景画像とに分離可能か否かを判断する。画像処理ステップは、画像解析ステップが撮像画像データを分離可能と判断した場合に、背景画像に代えて、背景画像の一ステップを拡大して生成した背景拡大画像と、前景画像とを合成して仮想圧縮画像を生成する。出力ステップは、仮想圧縮画像を出力する。

上記構成により、画像処理方法は、前景画像と背景画像とを分離して、背景画像の一部を拡大した背景拡大画像を生成する。そして背景拡大画像と前景画像とを合成することにより撮像画像データに圧縮効果を与える処理を行う。

また本発明にかかる画像処理プログラムは、コンピュータに以下の方法を実行させるプログラムである。上記方法は、撮像画像データ取得ステップと、距離相当データ取得ステップと、画像解析ステップと、画像処理ステップと、出力ステップとを有する。撮像画像データ取得ステップは、撮像した画像のデータである撮像画像データを取得する。距離相当データ取得ステップは、撮像画像データの光軸方向の距離に相当する距離相当データを取得する。画像解析ステップは、距離相当データに基づいて、撮像画像データが前景画像と背景画像とに分離可能か否かを判断する。画像処理ステップは、画像解析ステップが撮像画像データを分離可能と判断した場合に、背景画像に代えて、背景画像の一ステップを拡大して生成した背景拡大画像と、前景画像とを合成して仮想圧縮画像を生成する。出力ステップは、仮想圧縮画像を出力する。

上記構成により、画像処理プログラムは、前景画像と背景画像とを分離して、背景画像の一部を拡大した背景拡大画像を生成する。そして背景拡大画像と前景画像とを合成することにより撮像画像データに圧縮効果を与える処理を行う。

本発明によれば、一連の撮像処理で取得した画像データに対して圧縮効果を与える画像処理を行う画像処理装置等を提供する。

実施の形態にかかる移動体デバイスの概略構成図である。 実施の形態にかかる画像処理装置のブロック図である。 実施の形態にかかる画像処理装置のフローチャートである。 画像処理装置が取得した撮像画像データと距離相当データの例を示す図である。 撮像画像データを前景画像と背景画像とに分離した例を示す図である。 背景画像から背景拡大画像を抽出した状態を示す図である。 画像処理装置が生成した仮想圧縮画像の例を示す図である。 画像解析部が分離可能と判断しない場合における画像の第１の例を示す図である。 画像解析部が分離可能と判断しない場合における画像の第２の例を示す図である。 画像解析部が分離可能と判断しない場合における画像の第３の例を示す図である。

説明の明確化のため、以下の記載および図面は、適宜、省略、および簡略化がなされている。なお、各図面において、同一の要素には同一の符号が付されており、必要に応じて重複説明は省略されている。

＜実施の形態＞
以下、図面を参照して実施の形態について説明する。実施の形態にかかる移動体デバイスは、スマートフォン、タブレット、ラップトップコンピュータ、携帯電話、デジタルスチルカメラ等のユーザが携帯して移動可能なデバイスである。移動体デバイスは、被写体を撮像して撮像画像データを生成し、撮像画像データを記憶する機能を有している。また移動体デバイスは、撮像画像データに所定の処理を施して画像データを加工する機能を有している。

図１を参照しながら移動体デバイスの概略構成について説明する。図１は、実施の形態にかかる移動体デバイスの概略構成図である。図に示す移動体デバイス１は、主な構成として、第１イメージャ１１、第１ドライバ１２、第２イメージャ１３、第２ドライバ１４、記憶装置１５、制御部１６および記憶部１７を有している。またこれらの構成は、バス１８により通信可能に接続されている。また、制御部１６および記憶部１７は、画像処理装置１０としての機能を有している。

第１イメージャ１１は、カメラレンズ（不図示）を介して被写体を撮像する撮像素子を含むイメージセンサである。第１イメージャ１１は、第１ドライバに接続し、第１ドライバから受ける指示に従って、画像データの生成を行い、生成した画像データを、第１ドライバ１２を介して画像処理装置１０に供給する。第１イメージャ１１が生成する画像データは、撮像画像データとも称される。撮像画像データは、ロウデータでもよいし、ＪＰＥＧ（Joint Photographic Experts Group）の規格に準じたデータでもよい。また撮像画像データは、上記規格以外の規格に準じたものでもよいし、上記規格に準じないものであっても、画像処理装置１０により処理できるものであればよい。

第１ドライバ１２は、制御部１６から所定の指示を受け、受け取った指示に応じて第１イメージャ１１を制御するための指示を第１イメージャ１１に供給し、第１イメージャ１１が生成した撮像画像データを、バス１８を介して制御部１６ないし記憶部１７に供給する。

第２イメージャ１３は、第１イメージャ１１と同様に、被写体を撮像する撮像素子を含むイメージセンサである。第１イメージャ１１と第２イメージャ１３とは、一連の撮像処理において共通の被写体を撮像するように配置されている。すなわち第１イメージャ１１と第２イメージャ１３とは、移動体デバイス１において、所定の距離を開けて同じ方向に面するように配置されている。

第２ドライバ１４は、第１ドライバ１２と同様に、制御部１６から所定の指示を受け、受け取った指示に応じて第１イメージャ１１を制御するための指示を第１イメージャ１１に供給し、第２イメージャ１３が生成した撮像画像データを、バス１８を介して制御部１６ないし記憶部１７に供給する。

記憶装置１５は、制御部１６および記憶部１７から所定のデータを受け取り保存する。記憶装置１５は、不揮発性の記憶装置であり、例えば、フラッシュメモリ、ＨＤＤ（Hard Disc Drive）、ＳＳＤ（Solid State Drive）または光ディスクドライブなどにより構成されている。

制御部１６は、ＣＰＵ（Central Processing Unit）、ＭＣＵ（Micro Controller Unit）またはＧＰＵ（Graphics Processing Unit）などの演算装置を含む制御装置であり、バス１８を介して各構成に対して指示を供給し、あるいはデータの受け渡し等を行う。制御部１６は、記憶部１７と協働し、画像処理装置１０としての機能を発揮する。なお、画像処理装置１０の詳細については後述する。

記憶部１７は、揮発性または不揮発性のメモリにより構成されたメモリである。記憶部１７は、ＣＰＵと協働して画像処理装置１０としての機能を発揮する。

次に、図２を参照しながら、画像処理装置１０の機能について説明する。図２は、実施の形態にかかる画像処理装置のブロック図である。図に示すように、画像処理装置１０は、主な機能として、撮像画像データ取得部１００、距離相当データ取得部１１０、画像解析部１２０、画像処理部１３０および出力部１４０を有している。

画像処理装置１０は、第１イメージャ１１および第２イメージャ１３が生成した画像データを取得し、取得した画像データに所定の処理を施し、所定の処理を施した画像データを出力する。所定の処理とは、例えば画像データから仮想圧縮画像を生成する処理である。仮想圧縮画像とは、取得した撮像画像データを前景と背景とに分離し、背景画像に代えて、背景画像の一部を拡大して生成した背景拡大画像と、前景画像とを合成して生成する画像である。

撮像画像データ取得部１００は、撮像した画像のデータである撮像画像データを取得する。本実施の形態において、撮像画像データ取得部１００は、第１イメージャ１１または第２イメージャ１３から画像処理の対象として、画像データを取得する。なお、撮像画像データ取得部１００は、第１イメージャ１１および第２イメージャ１３の両方から画像データを取得してもよい。

距離相当データ取得部１１０は、撮像画像データの光軸方向の距離に相当する距離相当データを取得する。本実施の形態において、距離相当データ取得部１１０は、第１イメージャ１１および第２イメージャ１３からそれぞれ取得する画像データから、各画素の距離を検出する。より具体的には、距離相当データ取得部１１０は、離間して配置されている第１イメージャ１１および第２イメージャ１３が同時に被写体を撮像して生成する撮像画像データから、三角測量法を利用して各画素の距離を検出する。このように、ステレオカメラを用いた測距法は当業者に広く知られた方法である。そのためここでの詳細な説明は省略する。距離相当データ取得部１１０は、取得した距離相当データを画像解析部１２０に供給する。

画像解析部１２０は、距離相当データ取得部１１０から受け取った距離相当データから、撮像画像データが前景画像と背景画像とに分離可能か否かを判断する。前景画像とは、撮像画像データに含まれる被写体の距離が相対的にカメラに近い位置（近景）に存在する画像である。また背景画像とは、撮像画像データに含まれる被写体の距離が相対的にカメラから遠い位置（遠景）に存在する画像である。

画像処理部１３０は、画像解析部１２０が撮像画像データを分離可能と判断した場合に、背景画像に代えて、背景画像の一部を拡大して生成した背景拡大画像と、前景画像とを合成して仮想圧縮画像を生成する。出力部１４０は、仮想圧縮画像を出力する。

次に、図３および図４を参照しながら、画像処理装置１０が行う処理について具体例とともに説明する。図３は、実施の形態にかかる画像処理装置のフローチャートである。図４は、画像処理装置１０が取得した撮像画像データと距離相当データの例を示す図である。

まず撮像画像データ取得部１００は、撮像画像データを取得する（ステップＳ１０）。本実施の形態の場合、撮像画像データは、第１イメージャ１１により生成されたデータである。

図４の左側に示した画像Ｐ１０は、移動体デバイス１が有する第１イメージャ１１により撮像された風景の画像である。画像Ｐ１０は、ベランダに立つ人間の上半身（前景画像Ｐ１０１）と、前景画像Ｐ１０１の後方に位置する海、橋およびビル群などの背景群（背景画像Ｐ１０２）とが表示されている。

次に距離相当データ取得部１１０は、距離相当データを取得する（ステップＳ１１）。距離相当データは、上述の通り、第１イメージャ１１および第２イメージャ１３が同時に撮像した画像データから三角測量法を利用して画素ごとの距離を検出するものである。

図４の右側に示したヒストグラムＨ１０は、画像Ｐ１０の距離相当データをヒストグラムで示したものである。距離相当データ取得部１１０は、第１イメージャ１１および第２イメージャ１３がそれぞれ撮像した画像データから、三角測量法により撮像画像データの画素ごとの距離相当データを検出し、ヒストグラムＨ１０を生成する。ヒストグラムＨ１０の横軸は距離を示しており、右側の方が、左側よりも移動体デバイス１から遠くであることを示している。また、ヒストグラムＨ１０の縦軸は、画像Ｐ１０の画素ごとの距離を累計した場合の度数を示している。すなわち、所定の距離における度数は、画像Ｐ１０内に存在する所定の距離における画素の数を示している。

ヒストグラムＨ１０は、データＨ１０１とデータＨ１０２を有している。データＨ１０１は、相対的に移動体デバイス１に近い側（ヒストグラムの左側）に一群のデータとして存在している。またデータＨ１０２は、データＨ１０１から距離Ｇａ離れ、かつ、相対的に移動体デバイス１から遠い側（ヒストグラムの右側）に一群のデータとして存在している。

図４に示した画像Ｐ１０とヒストグラムＨ１０とは対応関係にある。すなわち、前景画像Ｐ１０１は、ヒストグラムＨ１０ではデータＨ１０１として示されている。そして背景画像Ｐ１０２は、ヒストグラムＨ１０ではデータＨ１０２として示されている。

次に画像解析部１２０は、撮像画像データおよび距離相当データから撮像画像データの解析を行う（ステップＳ１２）。より具体的には、画像解析部１２０は、距離相当データから前景画像と背景画像を検出し、さらに検出した前景画像と背景画像との距離を検出する。

次に画像解析部１２０は、撮像画像データに含まれる画像が前景画像と背景画像に分離可能か否かを判断する（ステップＳ１３）。すなわち画像解析部１２０は、ステップＳ１２において前景画像と背景画像がそれぞれ検出できたか否かを判断する。

前景画像と背景画像が検出できず、撮像画像データが前景画像と背景画像とに分離可能であると判断しない場合（ステップＳ１３：ＮＯ）、画像解析部１２０は、撮像画像データを分離可能と判断しない。したがって、画像処理装置１０は、取得した撮像画像データに仮想圧縮効果を与える処理を中止する。

一方、前景画像と背景画像がそれぞれ検出でき、撮像画像データが前景画像と背景画像とに分離可能であると判断した場合（ステップＳ１３：ＹＥＳ）、画像解析部１２０は次に前景画像と背景画像との距離Ｇａが、予め設定された閾値Ｇｔｈより大きいか否かを判断する（ステップＳ１４）。

前景画像と背景画像との距離Ｇａが閾値Ｇｔｈより大きくない（Ｇａ≦Ｇｔｈ）場合（ステップＳ１４：ＮＯ）、画像解析部１２０は、撮像画像データを分離可能と判断しない。その場合、画像処理装置１０は、取得した撮像画像データに仮想圧縮効果を与える処理を中止する。

一方、前景画像と背景画像との距離Ｇａが閾値Ｇｔｈより大きい（Ｇａ＞Ｇｔｈ）場合（ステップＳ１４：ＮＯ）、画像解析部１２０は、撮像画像データを分離可能と判断する。そして画像処理部１３０は、前景画像と背景画像とを分割する処理を行う（ステップＳ１５）。

図５を参照しながらさらに具体例とともに説明する。図５は、撮像画像データを前景画像と背景画像とに分離した例を示す図である。図の左側の画像は、画像Ｐ１０から前景画像Ｐ１０１を抽出したものである。図の右側の画像は、画像Ｐ１０から背景画像Ｐ１０２を抽出したものである。画像処理部１３０は、撮像画像データの画素ごとに対応付けられている距離相当データから、画像Ｐ１０を前景画像Ｐ１０１と背景画像Ｐ１０２とに分離する。

次に、画像処理部１３０は、背景拡大画像を生成するために、予め設定された画角の拡大領域の抽出を試みる（ステップＳ１６）。図６は、背景画像から拡大領域を抽出した状態を示す図である。図に示す拡大領域Ｐ１０３は、背景画像Ｐ１０２から背景拡大画像として採用するための矩形領域を示している。また図において２つの位置Ｘ１および位置Ｘ２を「Ｘ」で示している。位置Ｘ１は、画像Ｐ１０の光軸である画像Ｐ１０の中心を示している。またもう一方の位置Ｘ２は、図に示す拡大領域Ｐ１０３の中心を示している。

画像処理部１３０は、図に示す画像Ｐ１０内の任意の位置に、予め設定された拡大領域Ｐ１０３を置き、拡大領域Ｐ１０３内に含まれる画像が全て背景画像Ｐ１０２であるか否かを判断する。拡大領域Ｐ１０３内に含まれる画像が全て背景画像Ｐ１０２となる場合、画像処理部１３０は、その拡大領域Ｐ１０３に一致する領域が背景拡大画像として抽出可能であると判断する。

次に、背景拡大画像として抽出可能な拡大領域Ｐ１０３が複数存在する場合に、画像処理部１３０は、複数の拡大領域Ｐ１０３から１つの矩形領域を背景拡大画像に採用することを決定する。この拡大領域Ｐ１０３の位置を決定するため、例えば、画像処理部１３０は、画像Ｐ１０内に、拡大領域Ｐ１０３を順次移動させながら、拡大領域Ｐ１０３内に含まれる画像が全て背景画像Ｐ１０２になる位置を探る。次に画像処理部１３０は、拡大領域Ｐ１０３内に含まれる画像が全て背景画像Ｐ１０２になる拡大領域Ｐ１０３の位置から、拡大領域Ｐ１０３の中心である位置Ｘ２が画像Ｐ１０の中心である位置Ｘ１と最も近くなるように、拡大領域Ｐ１０３を決定する。

次に、画像処理部１３０は、背景拡大画像が抽出できるか否かを判断する（ステップＳ１７）。ステップＳ１６において、拡大領域Ｐ１０３内に含まれる画像が全て背景画像Ｐ１０２となる領域を検出できなかった場合、画像処理部１３０は背景拡大画像の抽出が可能であると判断せず（ステップＳ１７：ＮＯ）、画像処理装置１０は処理を中止する。

一方、ステップＳ１６において、拡大領域Ｐ１０３内に含まれる画像が全て背景画像Ｐ１０２となる領域を検出した場合、画像処理部１３０は背景拡大画像の抽出が可能であると判断し（ステップＳ１７：ＹＥＳ）、次のステップへ進む。

次に画像処理部１３０は、背景拡大画像を生成する（ステップＳ１８）。具体的には、画像処理部１３０は、決定した拡大領域Ｐ１０３を画像Ｐ１０と同じ画角になるように、線形変換により拡大処理する。さらに、画像処理部１３０は、生成した背景拡大画像と、前景画像とを合成する処理を行う（ステップＳ１９）。画像処理部１３０は、このように背景拡大画像と前景画像とを合成することにより、仮想圧縮画像を生成する。画像処理部１３０は、生成した仮想圧縮画像を出力部１４０へ供給する。次に、出力部１４０は、画像処理部１３０から受け取った仮想圧縮画像の画像データを出力する（ステップＳ２０）。そして画像処理装置１０は一連の処理を終了する。

図７は、画像処理装置１０が生成した仮想圧縮画像の例を示す図である。図に示す画像は、画像処理装置１０が生成した仮想圧縮画像Ｐ１１である。仮想圧縮画像Ｐ１１は、画像処理部１３０が生成したものである。画像処理部１３０は、ステップＳ１９において、拡大領域Ｐ１０３を拡大処理して生成した背景拡大画像Ｐ１０４と、画像Ｐ１０から分離した前景画像Ｐ１０１とを合成する。

以上、画像処理装置１０が行う処理について説明した。このような処理を行うことにより、画像処理装置１０は、撮像画像データに圧縮効果を与える処理を行うことができる。

次に、図８および図９を参照しながら、上述した背景拡大画像の生成を行わないと判断する場合についてより具体的に説明する。図８は、画像解析部が分離可能と判断しない場合における画像の第１の例を示す図である。図の左側に示す画像Ｐ２０は、人間が通路で腰をかがめた状態を撮像したものである。図において、被写体となっている人間を前景画像Ｐ２０１として示している。また人間の背後に位置する柱、林等を背景画像Ｐ２０２として示している。さらに、前景画像Ｐ２０１である人間の足元から背景画像Ｐ２０２にかけては、通路Ｐ２０３が連続して存在する。すなわち通路Ｐ２０３は、前景画像Ｐ２０１にも背景画像Ｐ２０２にも分離することができない状態である。

図の右側に示すヒストグラムＨ２０は、画像Ｐ２０に対応した距離相当データのヒストグラムである。ヒストグラムＨ２０は、データＨ２００を有している。データＨ２００は、近距離から遠距離までが分離することなく一群のデータとして存在している。すなわち、画像Ｐ２０の前景画像Ｐ２０１と背景画像Ｐ２０２とは、距離相当データにおいて分離することができない状態となっている。したがって、画像Ｐ２０の場合、画像処理装置１０の画像解析部１２０はステップＳ１３において前景画像と背景画像とに分離可能と判断しない（ステップＳ１３：ＮＯ）。

図９は、画像解析部が分離可能と判断しない場合における画像の第２の例を示す図である。図の左側に示す画像Ｐ３０は、人間が壁際に立っている状態を撮像したものである。図において、被写体である人間を前景画像Ｐ３０１として示している。また人間の背後に位置する壁を背景画像Ｐ３０２として示している。

図の右側に示すヒストグラムＨ３０は、画像Ｐ３０に対応した距離相当データのヒストグラムである。ヒストグラムＨ３０は、データＨ３００を有している。データＨ３００は、近距離の狭い範囲で一群のデータとして存在している。すなわち、画像Ｐ３０の前景画像Ｐ３０１と背景画像Ｐ３０２とは、距離相当データにおいて分離することができない状態となっている。したがって、画像Ｐ３０の場合、画像処理装置１０の画像解析部１２０はステップＳ１３において前景画像と背景画像とに分離可能と判断しない（ステップＳ１３：ＮＯ）。

図１０は、画像解析部が分離可能と判断しない場合における画像の第３の例を示す図である。図の左側に示す画像Ｐ４０は、人間の胸から上を拡大して撮像したものである。図において被写体となっている人間を前景画像Ｐ４０１として示している。また人間の背後の風景を背景画像Ｐ４０２として示している。

図の右側に示すヒストグラムＨ４０は画像Ｐ４０に対応した距離相当データのヒストグラムである。ヒストグラムＨ４０は、データＨ４０１およびデータＨ４０２を有している。データＨ４０１は、前景画像Ｐ４０１である人間に対応する距離相当データである。またデータＨ４０２は、背景画像Ｐ４０２に対応する距離相当データである。この例では、前景画像Ｐ４０１に対応するデータＨ４０１と、背景画像Ｐ４０２に対応するデータＨ４０２とは離れて存在している。また、データＨ４０１とデータＨ４０２との距離は距離Ｇｂであり、これは閾値Ｇｔｈより大きいものとする。

この場合、画像処理装置１０は、前景画像と背景画像に分割可能であると判断する。そのため、画像処理装置１０は、ステップＳ１３およびステップＳ１４を進み、ステップＳ１５以降の処理を行う。

画像処理装置１０は、ステップＳ１６において、拡大領域を決定する処理を試みる。図に示す拡大領域Ｐ４０３は、画像処理部１３０が抽出する拡大領域Ｐ４０３を示している。拡大領域Ｐ４０３内に含まれる画像が全て背景画像Ｐ４０２となる場合、画像処理部１３０は、その拡大領域Ｐ１０３に一致する領域が背景拡大画像として抽出可能であると判断する。しかし、図の例において、拡大領域Ｐ４０３内に含まれる画像が全て背景画像Ｐ４０２となる場合は存在しない。そこで、ステップＳ１７において、画像処理部１３０は背景拡大画像の抽出が可能であると判断せず（ステップＳ１７：ＮＯ）、画像処理装置１０は処理を中止する。

以上のように、画像処理装置１０は、撮像画像データが、予め設定された条件を充足する場合に、仮想圧縮画像を生成する一方、条件を充足しない撮像画像データに対しては、仮想圧縮画像を生成しない。

以上、実施の形態について説明したが、実施の形態にかかる画像処理装置１０の構成は上述のものに限られない。

例えば、距離相当データ取得部１１０は、画素ごとに距離相当データを取得することができれば、データ取得する構成ないし方法は、上述のものに限られない。例えば、移動体デバイス１はレーザ光照射手段をさらに利用し、ＴＯＦ（Time of Flight）法を用いて距離データを生成してもよい。また移動体デバイス１は、赤外線ビームと赤外線カメラを利用して、赤外線ビームが照射した光の反射を検出してもよい。また距離相当データ取得部１１０は、カメラレンズのデフォーカス量から相対的な距離を検出してもよい。

また、画像処理装置１０において、画像処理部１３０は、前景画像を拡大する場合には、背景拡大画像の拡大率が前景画像の拡大率より大きくなるように仮想圧縮画像を生成する。これにより、画像処理により前景を拡大する場合であっても、画像データに対して圧縮効果を与えることができる。

また、画像処理装置１０において、画像処理部１３０は、拡大領域の大きさを複数有していてもよい。この場合、例えば相対的に大きい画角の拡大領域を利用して背景拡大画像の生成を試みて、相対的に大きい画角の拡大領域によって背景拡大画像を生成することができない場合に、相対的に小さい画角の拡大領域を利用して背景拡大画像の生成を試みてもよい。

以上のように実施の形態によれば、一連の撮像処理で取得した画像データに対して圧縮効果を与える画像処理を行う画像処理装置等を提供する。また実施の形態にかかる移動体デバイスは、上記画像処理装置と、被写体の画像を撮像して撮像画像データを生成し、上記画像処理装置に撮像画像データを供給する撮像装置と、を少なくとも備える。これにより、移動体デバイスは光学的ないし物理的な制約を受けることなく撮像画像データに圧縮効果を与えることができる。

なお、様々な処理を行う機能ブロックとして図面に記載される各要素は、ハードウェア的には、ＣＰＵ、メモリ、その他の回路で構成することができ、ソフトウェア的には、メモリにロードされたプログラムなどによって実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。したがって、上述の説明において、回路として例示した構成は、ハードウェアまたはソフトウェアのいずれかまたはその両方によって実現することが可能であり、ある機能を実現する回路として示され構成は、同様の機能を実現するソフトウェアの一部としても示され得る。例えば、制御回路と記載された構成は、制御部として記載され得る。なお、各図面において、同一の要素には同一の符号が付されており、必要に応じて重複説明は省略されている。

なお、上述したプログラムは、様々なタイプの非一時的なコンピュータ可読媒体を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ−ＲＯＭ（Read Only Memory）ＣＤ−Ｒ、ＣＤ−Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（Random Access Memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、および電磁波を含む。一時的なコンピュータ可読媒体は、電線および光ファイバ等の有線通信路、または無線通信路を介して、プログラムをコンピュータに供給できる。

なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。

１ 移動体デバイス
１０ 画像処理装置
１５ 記憶装置
１６ 制御部
１７ 記憶部
１８ バス
１００ 撮像画像データ取得部
１１０ 距離相当データ取得部
１２０ 画像解析部
１３０ 画像処理部
１４０ 出力部

Claims (9)

1. 撮像した画像のデータである撮像画像データを取得する撮像画像データ取得部と、
   前記撮像画像データの光軸方向の距離に相当する距離相当データを取得する距離相当データ取得部と、
   前記距離相当データに基づいて、前記撮像画像データが前景画像と背景画像とに分離可能か否かを判断する画像解析部と、
   前記画像解析部が前記撮像画像データを分離可能と判断した場合に、前記背景画像に代えて、前記背景画像の一部を拡大して生成した背景拡大画像と、前記前景画像とを合成して仮想圧縮画像を生成する画像処理部と、
   前記仮想圧縮画像を出力する出力部と、
   を備える画像処理装置。
2. 前記画像処理部は、前記前景画像を拡大する場合には、前記背景拡大画像の拡大率が前記前景画像の拡大率より大きくなるように前記仮想圧縮画像を生成する
   請求項１に記載の画像処理装置。
3. 前記画像解析部は、前記前景画像と前記背景画像とが予め設定された距離より近い場合に、前記撮像画像データを分離可能と判断しない
   請求項１または２に記載の画像処理装置。
4. 前記画像解析部は、前記撮像画像データが前記前景画像と前記背景画像とに分離することができない場合に、前記撮像画像データを分離可能と判断しない
   請求項１〜３のいずれか一項に記載の画像処理装置。
5. 前記画像処理部は、予め設定された拡大率により拡大した前記背景画像から前記背景拡大画像を画定することができない場合に、前記仮想圧縮画像を生成しない
   請求項１〜４のいずれか一項に記載の画像処理装置。
6. 前記画像処理部は、所定の拡大率により前記背景拡大画像を生成する際に、前記撮像画像データの光軸から第１距離に位置する第１画像よりも前記光軸からの距離が前記第１距離より近い第２距離に位置する第２画像を前記前景画像と合成する
   請求項１〜５のいずれか一項に記載の画像処理装置。
7. 請求項１〜６のいずれか一項に記載の画像処理装置と、
   被写体の画像を撮像して前記撮像画像データを生成し、前記画像処理装置に前記撮像画像データを供給する撮像装置と、を少なくとも備える
   移動体デバイス。
8. 撮像した画像のデータである撮像画像データを取得する撮像画像データ取得ステップと、
   前記撮像画像データの光軸方向の距離に相当する距離相当データを取得する距離相当データ取得ステップと、
   前記距離相当データに基づいて、前記撮像画像データが前景画像と背景画像とに分離可能か否かを判断する画像解析ステップと、
   前記画像解析ステップで前記撮像画像データを分離可能と判断した場合に、前記背景画像に代えて、前記背景画像の一部を拡大して生成した背景拡大画像と前記前景画像とを合成して仮想圧縮画像を生成する画像処理ステップと、
   前記仮想圧縮画像を出力する出力ステップと、
   を備える画像処理方法。
9. コンピュータに以下の方法を実行させるプログラムであって、前記方法は、
   撮像した画像のデータである撮像画像データを取得する撮像画像データ取得ステップと、
   前記撮像画像データの光軸方向の距離に相当する距離相当データを取得する距離相当データ取得ステップと、
   前記距離相当データに基づいて、前記撮像画像データが前景画像と背景画像とに分離可能か否かを判断する画像解析ステップと、
   前記画像解析ステップで前記撮像画像データを分離可能と判断した場合に、前記背景画像に代えて、前記背景画像の一部を拡大して生成した背景拡大画像と前記前景画像とを合成して仮想圧縮画像を生成する画像処理ステップと、
   前記仮想圧縮画像を出力する出力ステップと、
   を備える画像処理プログラム。

Images