JP2012050013A - 撮像装置、画像処理装置、画像処理方法及び画像処理プログラム - Google Patents

Abstract

【課題】被写体が撮像された画像情報からの被写体の切り抜き処理において、ユーザの熟練度によらず、より高精度な切り抜き処理を可能とする。
【解決手段】被写体画像を撮像により生成する画像カメラ１５と、被写体と背景とが含まれる視覚的範囲を画像とした場合の各部に表示されている対象物までの距離を測定し、前記視覚的範囲の画像上の座標と距離とが関連付けられた距離情報を生成する距離カメラ１６と、距離情報の座標を被写体画像上の座標に変換して変換済み距離情報を生成する座標変換部１０１と、変換済み距離情報に含まれる変換後の座標のうち、関連付けられている距離が所定の条件を満たす座標を抽出し、被写体画像のうち、抽出された座標によって特定される領域と他の領域とを分離して出力する画像切り抜き部１０２とを含む。
【選択図】図２

Description

本発明は、撮像装置、画像処理装置、画像処理方法及び画像処理プログラムに関し、特に、撮像によって生成された画像に含まれる被写体と背景との分離処理に関する。

被写体を撮影することにより得られた画像の活用態様として、被写体を輪郭にそって切り抜くことにより、他の背景との合成等を可能とする態様がある。このような被写体の切り抜き処理は、作業者による手作業によって行われる場合の他、光電変換により電子化された画像情報に対する画像処理によって実現される場合がある。

画像処理によって被写体の切り抜きを実現する態様としては、作業者によって輪郭が含まれる画像の領域が指定され、その指定された領域における画像の濃度と別途指定された基準濃度との比較により、被写体の輪郭線を検知する方法が提案されている（例えば、特許文献１参照）。

また、背景画像の影響を低減してより高精度な切り抜きを実現するために、指定された領域内において特徴量が類似する画素群をクラスタとして分類し、そのクラスタを被写体の輪郭の内側と外側とに分類することにより、被写体の輪郭線を検知する方法が提案されている（例えば、特許文献２参照）。

他方、焦点条件の異なる２枚の同画像の画像情報に基づき、画像中における背景部分と被写体部分とを検知する方法が提案されている（例えば、特許文献３参照）。

特開昭６３−５７４５号公報 特開平９−８３７７６号公報 特開平１０−２３３９１９号公報

特許文献１、２に開示された技術においては、１つ乃至２つの領域をユーザが指定する必要がある。画像切り抜きの特性等を理解したユーザであれば、適切な領域を指定することが可能であるが、一般的なユーザにおいては、画像切り抜きの特性までも理解して領域を指定することは難しい。

また、特許文献１乃至３いずれの場合においても、電子化された画像情報に基づいて判断されるため、被写体色と背景色との関係等、画像情報の状態によっては、被写体の切り抜き処理が適正に実行されない場合がある。

本発明は、上記実情を考慮してなされたものであり、被写体が撮像された画像情報における被写体と背景との分離処理において、ユーザの熟練度によらず、より高精度な分離処理を可能とすることを目的とする。

上記課題を解決するために、本発明の一態様は、被写体と背景とが表示された被写体画像を撮像により生成する画像撮像部と、被写体と背景とが含まれる視覚的範囲を画像とした場合の各部に表示されている対象物までの距離を測定し、前記視覚的範囲の画像上の座標と距離とが関連付けられた距離情報を生成する距離情報生成部とを含む撮像装置であって、前記取得された距離情報の座標を前記被写体画像上の座標に変換して変換済み距離情報を生成する座標変換部と、前記生成された変換済み距離情報に含まれる変換後の座標のうち、関連付けられている距離が所定の条件を満たす座標を抽出する座標抽出部と、前記被写体画像のうち、前記抽出された座標によって特定される領域と他の領域とを分離して出力する画像分離部とを含むことを特徴とする。

また、本発明の他の態様は、画像処理装置であって、被写体と背景とが含まれる視覚的範囲を画像とした場合の各部に表示されている対象物までの距離を測定し、前記視覚的範囲の画像上の座標と距離とが関連付けられた距離情報を取得する距離情報取得部と、被写体と背景とが表示された被写体画像を取得する被写体画像取得部と、前記取得された距離情報の座標を前記被写体画像上の座標に変換して変換済み距離情報を生成する座標変換部と、前記生成された変換済み距離情報に含まれる変換後の座標のうち、関連付けられている距離が所定の条件を満たす座標を抽出する座標抽出部と、前記取得された被写体画像のうち、前記抽出された座標によって特定される領域と他の領域とを分離する画像分離部とを含むことを特徴とする。

また、本発明の更に他の態様は、画像処理方法であって、被写体と背景とが含まれる視覚的範囲を画像とした場合の各部に表示されている対象物までの距離を測定し、前記視覚的範囲の画像上の座標と距離とが関連付けられた距離情報を取得して記憶媒体に記憶し、被写体と背景とが表示された被写体画像を取得して記憶媒体に記憶し、前記記憶された距離情報の座標を前記被写体画像上の座標に変換して変換済み距離情報を生成して記憶媒体に記憶し、前記生成された変換済み距離情報に含まれる変換後の座標のうち、関連付けられている距離が所定の条件を満たす座標を抽出し、前記取得された被写体画像のうち、前記抽出された座標によって特定される領域と他の領域とを分離して記憶媒体に記憶することを特徴とする。

また、本発明の更に他の態様は、画像処理プログラムであって、被写体と背景とが含まれる視覚的範囲を画像とした場合の各部に表示されている対象物までの距離を測定し、前記視覚的範囲の画像上の座標と距離とが関連付けられた距離情報を取得して記憶媒体に記憶するステップと、被写体と背景とが表示された被写体画像を取得して記憶媒体に記憶するステップと、前記記憶された距離情報の座標を前記被写体画像上の座標に変換して変換済み距離情報を生成して記憶媒体に記憶するステップと、前記生成された変換済み距離情報に含まれる変換後の座標のうち、関連付けられている距離が所定の条件を満たす座標を抽出し、前記取得された被写体画像のうち、前記抽出された座標によって特定される領域と他の領域とを分離して記憶媒体に記憶するステップとを情報処理装置に実行させることを特徴とする。

本発明によれば、被写体が撮像された画像情報における被写体と背景との分離処理において、ユーザの熟練度によらず、より高精度な分離処理が可能となる。

本発明の実施形態に係る撮像装置のハードウェア構成を示すブロック図である。 本発明の実施形態に係る撮像装置の機能構成を示す図である。 本発明の実施形態に係る距離カメラによって取得される距離情報の例を示す図である。 本発明の実施形態に係る画像平面／三次元空間の座標変換機能の原理を示す図である。 本発明の実施形態に係る回転・並進の座標変換機能の原理を示す図である。 本発明の実施形態に係る距離情報を被写体画像に重ねた状態を示す図である。 本発明の実施形態に係る抽出対象領域を示す図である。 本発明の実施形態に係るレンズの歪みの補正態様を示す図である。 本発明の他の実施形態に係る変換済み距離情報の例を示す図である。 本発明の他の実施形態に係る変換済み距離情報によって特定される点の分割態様を示す図である。

以下、図面を参照して、本発明の実施形態を詳細に説明する。本実施形態においては、画像を撮像する画像カメラと、グレイスケール等の減色された画像を撮像すると共に、その画像上の位置に表示されている被写体や背景等の対象の距離（以降、距離情報とする）を取得する距離カメラとを含み、画像カメラによって撮像された画像に表示されている被写体の輪郭の切り抜き処理を自動的に実行する撮像装置を例として説明する。

図１は、本実施形態に係る撮像装置１のハードウェア構成を示すブロック図である。図１に示すように、本実施形態に係る撮像装置１は、一般的なサーバやＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）等の情報処理端末と同様の構成に加えて、上述した距離カメラや画像カメラを含む。即ち、本実施形態に係る撮像装置１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１１、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１２、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）１３及びＩ／Ｆ１４がバス１９を介して接続されている。また、Ｉ／Ｆ１４には、画像カメラ１５、距離カメラ１６、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）１７及び操作部１８が接続されている。

ＣＰＵ１０は演算手段であり、撮像装置１全体の動作を制御する。ＲＡＭ１１は、情報の高速な読み書きが可能な揮発性の記憶媒体であり、ＣＰＵ１０が情報を処理する際の作業領域として用いられる。ＲＯＭ１２は、読み出し専用の不揮発性記憶媒体であり、ファームウェア等のプログラムが格納されている。ＨＤＤ１３は、情報の読み書きが可能な不揮発性の記憶媒体であり、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）や各種の制御プログラム、アプリケーション・プログラム等が格納されている。Ｉ／Ｆ１４は、バス１９と各種のハードウェアやネットワーク等を接続し制御する。

画像カメラ１５は、光電変換素子を含み、受光した光情報を電子情報に変換して画像情報を生成する画像撮像部である。距離カメラ１６は、画像カメラ１５と同様に、光電変換によりグレイスケールの画像を生成すると共に、投光した光が対象によって反射されて戻ってくるまでの時間に基づき、対象との距離を測定することにより、上記グレイスケールの画像上の各位置に表示された対象物までの距離の情報を生成する距離情報生成部である。距離カメラ１６としては、例えば、オプテックス株式会社製の３次元画像距離カメラ「ＺＣ−１０００」シリーズを用いることができる。ＬＣＤ１７は、ユーザが画像形成装置１の状態を確認するための視覚的ユーザインタフェースである。操作部１８は、キーボードやマウス等、ユーザが画像形成装置１に情報を入力するためのユーザインタフェースである。

このようなハードウェア構成において、ＲＯＭ１２やＨＤＤ１４若しくは図示しない光学ディスク等の記録媒体に格納されたプログラムがＲＡＭ１１に読み出され、そのプログラムに従ってＣＰＵ１０が演算を行う事により、ソフトウェア制御部が構成される。このようにして構成されたソフトウェア制御部と、ハードウェアとの組み合わせによって、本実施形態に係る撮像装置１の機能を実現する機能ブロックが構成される。

次に、図２を参照して、本実施形態に係る撮像装置１の機能構成について説明する。図２は、本実施形態に係る撮像装置１の機能構成を示すブロック図である。図２に示すように、本実施形態に係る撮像装置１は、画像処理部１００によって実現される機能と、表示制御部１１０によって実現される機能とを含む。尚、画像処理部１００及び表示制御部１１０は、上述したように、ＲＡＭ１１に読み出されたプログラムに従ってＣＰＵ１０が演算を行う事により実現されるソフトウェア制御部とハードウェアとが連動することにより機能する。

画像処理部１００は、距離カメラ１６によって取得された距離情報に基づき、画像カメラ１５によって生成された画像情報に表示されている被写体Ｑの輪郭を切り抜く画像処理を実行する。図２に示すように、画像処理部１００には、座標変換部１０１及び画像切り抜き部１０２が含まれる。

ここで、図３を参照して、距離カメラ１６によって取得される距離情報の例について説明する。図３に示すように、本実施形態に係る距離情報は、距離カメラ１６によって生成される画像上の水平方向の座標である“ｕ”（ｐｉｘｅｌ）及び垂直方向の座標である“ｖ” （ｐｉｘｅｌ）に加えて、“ｕ”、“ｖ”によって特定される画像上の位置に表示されている被写体や背景の、距離カメラ１６の受光面からの距離“Ｚ”（ｍｍ）を含む。換言すると、距離情報においては、距離カメラ１６によって撮像されたグレイスケール画像の画像上の座標と、画像上における夫々の座標に表示されている対象物との距離とが関連付けられている。このような情報により、距離カメラ１６によって撮影されて生成された画像に表示されている被写体Ｑや背景の、実際の空間上における距離を認識することが可能となる。

座標変換部１０１は、距離カメラ１６によって取得された距離情報の座標系を、距離カメラ１６によって撮像された画像上の座標系から、画像カメラ１５によって撮像された画像情報の座標系に変換する。図２に示すように、座標変換部１０１は、“画像平面／三次元空間”、“回転・並進”、“三次元空間／画像平面”及び“歪み補正”の夫々の座標変換機能を含む。

画像切り抜き部１０２は、座標変換部１０１によって変換された距離情報に対して所定の閾値を適用することにより、画像カメラ１５によって撮像された画像において、カメラからの距離が所定の範囲内である画素を抽出することにより、被写体Ｑの輪郭を切り抜く。表示制御部１１０は、画像切り抜き部１０２によって切り抜かれた被写体の画像を、ＬＣＤ１７に表示させる。

このように、距離カメラ１６によって取得された距離情報を画像カメラ１５によって撮像された画像に適用するために、座標系を変換することが本実施形態に係る要旨の１つである。これにより、距離カメラ１６によって撮影される画像の解像度が低く、所望の画質レベルの画像を得られない場合や、距離カメラ１６がフルカラーに対応していないような場合であっても、画像自体は画像カメラ１５によって撮像するため、所望の画質レベルの画像を得ることができる。

次に、座標変換部１０１による夫々の機能について説明する。尚、先ずは“画像平面／三次元空間”、“回転・並進”、“三次元空間／画像平面”の座標変換機能について説明し、“歪み補正”の座標変換機能については後述する。先ず、“画像平面／三次元空間”の座標変換機能について説明するため、カメラによって撮像される画像上の座標と、三次元空間上の座標との関係について、図４を参照して説明する。

図４は、距離カメラ１６の受光部１６ａを原点とし、距離カメラ１６の光軸をＺ軸、水平方向をＹ軸、垂直方向をＸ軸とした三次元空間における、被写体の位置及び撮像される画像の座標を透視射影モデルによって示す図である。尚、図３の“Ｚ”は、図４のＺ軸方向の値に対応している。図４に示すように、カメラによって撮影される画像は、カメラから光軸の方向を見た場合に、カメラの焦点距離ｆの位置に配置された仮想的な枠（図４に示す太い破線の枠）内に入る風景である。この枠内における座標が、距離カメラ１６によって撮像された画像上の座標“ｕ”、“ｖ”となる。

この際、被写体Ｑを含む枠内の撮像対象から反射された光は、図４に示すように、距離カメラ１６の受光部１６ａに向かって集光される。従って、距離カメラ１６の光軸とＺ軸とが同一であり、画像、即ち図４中の枠のアスペクト比が１：１である場合、距離カメラ１６によって撮像された画像上のある一点ｐ（ｕ_ｉ，ｖ_ｉ）は、実際の被写体Ｑのある一点Ｐ（Ｘ_ｉ，Ｙ_ｉ，Ｚ_ｉ）及び焦点距離ｆを用いて、以下の式（１）によって表すことができる。

座標変換部１０１は、上記式（１）に基づき、以下の式（２）の計算により、距離カメラ１６の撮像による画像上の座標ｐ（ｕ_ｉ，ｖ_ｉ）を、三次元空間上の座標Ｐ（Ｘ_ｉ，Ｙ_ｉ，Ｚ_ｉ）に変換する。

ここで、式（２）における“ｆ_１ｘ”、“ｆ_１ｙ”、“ｃ_１ｘ”、“ｃ_１ｙ”を含む３行３列の行列は、距離カメラ１６の焦点距離及び光軸のずれを示す内部パラメータである。“ｆ_１ｘ”、“ｆ_１ｙ”は、距離カメラ１６の水平方向、垂直方向の焦点距離であり、上述したように、アスペクト比が１：１であれば同一である。“ｃ_１ｘ”、“ｃ_１ｙ”は、距離カメラ１６の水平方向、垂直方向の光軸のずれである。

この距離カメラ１６の内部パラメータは、例えばＺｈａｎｇの手法のように、距離カメラ１６の焦点距離を固定して様々な角度からチェックボードを撮影し、撮影したチェックボードの格子点の位置を演算することにより求めることができる。座標変換部１０１は、このようにして求められた距離カメラ１６の内部パラメータを記憶しており、その内部パラメータを用いて式（２）の計算を行う事により、距離カメラ１６の撮像による画像上の座標（ｕ_ｉ，ｖ_ｉ）を三次元空間上の座標（Ｘ_ｉ，Ｙ_ｉ，Ｚ_ｉ）に変換する。

次に、“回転・並進”及び“三次元空間／画像平面”の座標変換機能について説明する。上述したように、三次元空間上の座標軸は、夫々のカメラに応じて定められている。従って、距離カメラ１６と画像カメラ１５とでは図５に示すように座標軸が異なる。“回転・並進”の座標変換機能は、距離カメラ１６における三次元空間上の座標系を、画像カメラ１５における三次元空間上の座標系に変換する処理である。

距離カメラ１６における三次元空間上の座標を、画像カメラ１５における三次元空間上の座標に変換する際、座標変換部１０１は、３行３列の回転ベクトル“Ｒ”及び３行１列の並進ベクトル“ｔ”によって構成される外部パラメータ“Ｒ｜ｔ”を用いる。更に、座標変換部１０１は、“回転・並進”の座標変換処理と同時に、“三次元空間／画像平面”の座標変換処理を行う。

“三次元空間／画像平面”の座標変換処理は、上記式（２）によって実現された“画像平面／三次元空間”の座標変換とは逆に、三次元空間上の座標を画像上の座標に変換する処理である。但し、本実施形態においては、距離カメラ１６の撮像による画像上の座標を画像カメラ１５の撮像による画像上の座標に変換することが目的であるため、“三次元空間／画像平面”の座標変換処理においては、“回転・並進”の座標変換処理によって画像カメラにおける三次元空間上の座標に変換された座標を、画像カメラ１５の内部パラメータを用いて画像カメラ１５の撮像による画像上の座標に変換する。この変換は、以下の式（３）によって実現される。

ここで、式（３）における“ｆ_２ｘ”、“ｆ_２ｙ”、“ｃ_２ｘ”、“ｃ_２ｙ”を含む３行３列の行列は、画像カメラ１５の焦点距離及び光軸のずれを示す内部パラメータである。“ｆ_２ｘ”、“ｆ_２ｙ”は、画像カメラ１５の水平方向、垂直方向の焦点距離であり、上述したように、アスペクト比が１：１であれば同一である。“ｃ_２ｘ”、“ｃ_２ｙ”は、画像カメラ１５の水平方向、垂直方向の光軸のずれである。この画像カメラ１５の内部パラメータは、上記距離カメラ１６の内部パラメータと同様に、例えばＺｈａｎｇの手法によって求めることができる。

また、式（３）における“ｒ_１１”〜“ｒ_３３”及び“ｔ_１”〜“ｔ_３”を含む行列は、上述した外部パラメータ“Ｒ｜ｔ”である。外部パラメータ“Ｒ｜ｔ”も、Ｚｈａｎｇの手法によって求めることができる。上述したように、外部パラメータ“Ｒ｜ｔ”は、距離カメラ１６の座標系を画像カメラ１５の座標系に変換するためのパラメータである。従って、外部パラメータ“Ｒ｜ｔ”を求めるためには、画像カメラ１５及び距離カメラ１６を撮像装置１に実際の稼動時と同様に固定した状態において、ある向きのチェックボードを画像カメラ１５及び距離カメラ１６の両方で撮像することにより、画像カメラ１５及び距離カメラ１６夫々によって撮像された一組のチェックボードの画像を得る。

この一組のチェックボードの画像は、同一のチェックボードを撮像したものであるため、その格子点の位置は、上記外部パラメータ“Ｒ｜ｔ”によって変換可能である。従って、チェックボードの位置を様々に変えて複数の組の画像を生成することにより、連立方程式を解くようにして外部パラメータ“Ｒ｜ｔ”を求めることができる。尚、上述したように、距離カメラ１６は、撮像によりグレイスケールの画像を生成することができる。従って、上記内部パラメータ及び外部パラメータ“Ｒ｜ｔ”を求める際には、このグレイスケールの画像を用いることができる。

座標変換部１０１は、このようにして求められた画像カメラ１０１の内部パラメータ及び外部パラメータ“Ｒ｜ｔ”を記憶しており、それらの情報を用いて式（３）の演算を行うことによって、“回転・並進”及び“三次元空間／画像平面”の座標変換機能を同時に実現する。

このような処理により、図３に示すように、距離カメラ１６の撮像による画像上の座標として取得された距離情報が、画像カメラ１５の撮像による画像上の座標に変換される。座標変換部１０１は、このようにして生成した画像カメラ１５による撮像画像に対応した距離情報（以降、変換済み距離情報とする）を、画像切り抜き部１０２に入力する。

次に、画像切り抜き部１０２による切り抜き処理について説明する。図６（ａ）は、変換済み距離情報によってＺ軸方向の距離が特定される座標の点を、画像カメラ１５によって撮像された被写体を含む画像（以降、被写体画像とする）に重ね合わせた状態を示す図である。距離カメラ１６によってＺ軸方向の距離が取得される際の解像度は、画像カメラ１５による撮像によって生成される画像の解像度よりも低いため、変換済み距離情報の座標を被写体画像に重ね合わせると、図６（ａ）に示すように、変換済み距離情報の座標は、離散的な点として表示される。

画像切り抜き部１０２は、変換済み距離情報におけるＺ軸方向の距離に対して閾値を適用することにより、対象がカメラから所定の距離以内にある点のみを抽出する。即ち、画像切り抜き部１０２が、座標抽出部として機能する。図６（ｂ）は、このようにして抽出された点を被写体画像に重ね合わせた状態を示す図である。図６（ｂ）に示すように、被写体に重なる点が抽出される。図６（ｂ）に示すように抽出された点を、以降、抽出点とする。

画像切り抜き部１０２は、この抽出点と重ならない部分を被写体画像から消去することにより、被写体を抽出する。しかしながら、上述したように、変換済み距離情報の各点は、被写体画像中において離散的であるため、抽出点をそのまま適用することは出来ない。そこで、画像切り抜き部１０２は、離散的である各点を白画素、その他の領域を黒画素として、離散的である各点が連結されて１つの領域を形成するように、画像の膨張処理を繰り返し行う。画像の膨張処理とは、ある注目画素の周辺に１画素でも白画素があれば、その注目画素を白画素に置き換える処理である。画像切り抜き部１０２は、この膨張処理を、抽出点において縦・横・斜において隣接する点が連結されるまで繰り返す。

図７（ａ）は、上記膨張処理の結果、抽出点において隣接する点が連結された状態を示す図である。尚、図６（ｂ）の状態から図７（ａ）の状態への遷移の際、画像切り抜き部１０２は、上記膨張処理の繰り返しの他、膨張処理により荒れた輪郭の平滑化処理を行う。また、距離カメラ１６のノイズによって、被写体とは関係ない位置に抽出点が出現する場合もあるため、画像切り抜き部１０２は、ラベリング処理により、最も広い領域や所定の閾値以上の広さを有する領域のみを残し、ノイズカット処理を行う。

画像切り抜き部１０２は、被写体画像において、図７（ａ）に示すように生成された領域（以降、抽出対象領域とする）に対応する以外の部分を消去することにより、図７（ｂ）に示すように被写体と背景とが分離され、被写体を抽出することができる。ここで、上記膨張処理により、抽出対象領域は図７（ｂ）に示すように実際の被写体の輪郭よりも広い領域となっている。図７（ｂ）においては、抽出対象領域のうち、実際の被写体からはみ出している部分を黒塗りで示している。

画像切り抜き部１０２は、図７（ｂ）に示すように抽出された画像において、例えば従来のエッジ検知の処理等を行う事により、被写体の輪郭の外側の余分な領域を消去することが好ましい。図７（ｂ）に示すように、被写体の輪郭に略沿って画像が切り抜かれているため、被写体の輪郭と切り抜かれた画像の輪郭との間の濃度は略一定であるものと考えられる。従って、従来技術のように、画像カメラ１５によって撮像されて生成された画像において被写体の輪郭を検出するよりも高精度にエッジ検知を行うことができる。

また、画像切り抜き部１０２は、図７（ａ）に示すように抽出対象領域を生成した後、被写体画像の切り抜きを行う前に、抽出対象領域の収縮処理を行っても良い。画像の収縮処理とは、上記膨張処理とは逆に、ある注目画素の周辺に１画素でも黒画素があれば、その注目画素を黒画素に置き換える処理である。これにより、上記膨張処理によって膨張した輪郭が収縮され、図７（ｂ）に示すような被写体からのはみ出しを軽減することができる。

次に、座標変換部１０１の“歪み補正”の座標変換機能について説明する。図８（ａ）は、“歪み補正”の座標変換機能が目的とする課題を示す図である。図８（ａ）に示すように、変換済み距離情報に閾値を適用して抽出された抽出点と、被写体画像における被写体とがずれる場合がある。これは、カメラのレンズにおける半径方向及び円周方向の歪みによってもたらされることが考えられる。従って、座標変換部１０１は、距離カメラ１６によって取得された距離情報を変換して変換済み距離情報を生成する際、その歪みを補正して変換を行う。尚、本実施形態においては、距離カメラ１６のレンズに歪みがあるものとして補正を行う。

本実施形態に係る座標変換部１０１は、上述した式（３）の計算において、“歪み補正”の処理も行う。ここで、上記式（３）の計算は、以下の式（４）〜（６）に等しい。但し、ｚ≠０である。

これに対して、レンズの歪みを考慮すると、上記式（６）は以下の式（７）、（８）によって置き換えられる。

ここで、式（７）における“ｋ_１”、“ｋ_２”並びに“ｐ_１”、“ｐ_２”は、夫々半径方向、円周方向の歪み係数である。即ち、式（７）は、レンズによる歪みを補正するための式である。本実施形態においては、夫々２次まで展開した係数まで考慮する場合を例とするが、３次以上の係数まで考慮しても良い。これらの歪み係数も、キャリブレーションによって求めることができる。即ち、上述した距離カメラ１６の内部パラメータを求める際に生成した複数のチェックボードの画像に基づき、各格子点の位置を上記式に適用して演算することにより、“ｋ_１”、“ｋ_２”並びに“ｐ_１”、“ｐ_２”の歪み係数を求めることができる。

尚、上述した係数を考慮する次元は、カメラと被写体との距離に応じて決定することが好ましい。一般的に、カメラと被写体との距離が近い程、歪みが大きくなる。従って、カメラと被写体との距離が近いほど、高次の係数まで考慮して計算を行うことにより、より好適に歪み補正を行うことができる。

座標変換部１０１は、このようにして求めた歪み係数を記憶しており、距離カメラ１６における三次元座標（Ｘ_ｉ，Ｙ_ｉ，Ｚ_ｉ）を入力として、上述した式（３）に従って画像カメラ１５の撮像による画像上の座標（ｕ_ｊ，ｖ_ｊ）を求める際に、上記式（４）、（５）、（７）（８）を用いることにより、レンズの歪みが補正された上で、画像カメラ１５の撮像による画像上の座標を得られる。これにより、図８（ｂ）に示すように、抽出点と被写体とのずれを解消することができる。

以上説明したように、本実施形態に係る撮像装置１においては、被写体画像から被写体が表示された部分を切り抜く際、原則として画像の濃度の情報を用いず、距離カメラ１によって取得された距離情報に基づいて処理を行う。また、本実施形態に係る撮像装置１においては、ユーザに対して操作を求めることなく、画像処理部１００が、与えられた情報に基づいて自動的に処理を実行する。従って、画像の切り抜き処理において、ユーザの熟練度によらず、より高精度な切り抜き処理を可能とすることができる。

尚、上記実施形態においては、図２に示すように、画像カメラ１５及び距離カメラ１６を含む撮像装置１を例として説明したが、画像処理部１００単体または画像処理部１００を実現するためのプログラムとして提供することも可能である。この場合、被写体画像を撮像した第１のカメラの内部パラメータ及び距離情報を取得した第２のカメラの内部パラメータ並びに第１のカメラと第２のカメラとの外部パラメータを別途取得する必要がある。

外部パラメータの取得方法としては、上述したステレオキャリブレーションによるものの他、画像カメラ１５及び距離カメラ１６にＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）のような測位システムであって高精度なものが搭載されていれば、その情報を用いることも可能である。具体的には、画像カメラ１５及び距離カメラ１６は、夫々被写体画像、距離情報を取得する際、搭載された測位システムにより情報取得時の位置及び方位を同時に取得し、座標変換部１０１に入力する。

これにより、座標変換部１０１は、入力された位置及び方位の情報に基づき、距離カメラ１６における三次元空間の座標系を画像カメラ１５における三次元空間の座標系に変換するための外部パラメータを求めることができる。尚、上記入力された情報のうち、方位の違いより回転ベクトルＲを、位置の違いにより並進ベクトルｔを夫々求めることができる。

また、上記実施形態においては、図７（ａ）、（ｂ）に示すように、被写体画像から抽出対象領域に対応する領域以外の部分を消去する場合を例として説明した。この他、抽出対象領域に対応する領域と他の領域とを別レイヤーとして保存することも可能である。即ち、画像切り抜き部１０２が、少なくとも上記抽出対象領域によって特定される被写体画像の領域と他の領域とを分離して記憶媒体に記憶する画像分離部として機能することにより、本実施形態に係る効果を得ることが可能である。これにより、以降の操作において背景部分の画像の仕様有無をユーザに選択させることができ、ユーザの利便性を向上することができる。

また、上記実施形態においては、被写体画像に変換済み距離情報の座標を重ね合わせる際、図６（ａ）、（ｂ）に示すように、変換済み距離情報の座標によって特定される点を、変換済み距離情報の解像度、即ち距離カメラ１６の解像度と被写体画像の解像度との比率に応じた間隔で、被写体画像上に配置する場合を例として説明した。換言すると、図６（ａ）、（ｂ）の例においては、変換済み距離情報の座標によって特定される各点を、距離カメラ１６の解像度と被写体画像の解像度との比率に応じた間隔で、被写体画像上の各画素に対応させる。即ち、変換済み距離情報の座標を、解像度はそのままの状態で、解像度がより高い被写体画像に重ね合わせているため、図６（ａ）、（ｂ）に示すような離散的な状態となる。

これに対して、予め変換済み距離情報の解像度を被写体画像の解像度に対応させた上で重ね合わせを行うことも可能である。例えば、変換済み距離情報の座標によって特定される各点を画素として、夫々の画素を分割することにより、変換済み距離情報の解像度を被写体画像の解像度に一致させることができる。そのような態様について以下に説明する。

図９（ａ）は、図３に示す距離情報が座標変換部１０１によって変換済み距離情報に変換された状態を示す図である。図９（ａ）に示すように、図３において（ｕ_１，ｖ_１）、（ｕ_２，ｖ_２）・・・として特定されていた座標は、変換済みの座標として（ｕ´_１，ｖ´_１）、（ｕ´_２，ｖ´_２）・・・として特定されている。図９（ｂ）は、図９（ａ）に示す夫々の変換済みの各座標を画素とし、夫々の画素を４分割した状態を示す図である。

図９（ａ）において（ｕ´_１，ｖ´_１）として特定されていた点は、図９（ｂ）に示す（ｕ´_１１，ｖ´_１１）、（ｕ´_１２，ｖ´_１２）、（ｕ´_１３，ｖ´_１３）、（ｕ´_１４，ｖ´_１４）の４点に対応している。各点は、図１０（ａ）、（ｂ）に示すように、元の解像度において（ｕ´_１，ｖ´_１）によって特定される画素を、縦横に２分割して配置される４つの画素に相当する。

このような処理により、図６（ａ）、（ｂ）に示すような離散的な点ではなく、被写体画像における全画素が１：１でカバーされるように、同一解像度の距離情報を生成することができる。また、図９（ｂ）に示すように、分割後の４点には、夫々分割前の距離“Ｚ_１”が関連付けられる。このため、画像切り抜き部１０２が、距離Ｚに対して閾値を適用し、対象が所定の距離以内にある点のみを抽出した抽出結果は、図６（ｂ）に示すように被写体の輪郭と略一致した状態において、隣接するドット間が埋められた状態となり、抽出対象領域を好適に求めることができる。

尚、図９（ａ）、（ｂ）及び図１０（ａ）、（ｂ）の態様においても、画素の分割により荒れた輪郭を平滑化する処理や、ノイズカットのためのラベリング処理等を行うことが好ましい。また、図９（ａ）、（ｂ）及び図１０（ａ）、（ｂ）の態様においても、抽出対象領域と実際の被写体の輪郭とが完全に一致せず、抽出対象領域が被写体の輪郭からはみ出す場合が考えられるため、上記実施形態と同様に、従来のエッジ検知の処理等を行い、被写体の輪郭の外側の余分な領域を消去しても良い。この場合においても、被写体の輪郭に略沿って画像が切り抜かれているため、従来技術のように、画像カメラ１５によって撮像されて生成された画像において被写体の輪郭を検出するよりも高精度にエッジ検知が可能であることは同様である。

１ 撮像装置
１０ ＣＰＵ
１１ ＲＡＭ
１２ ＲＯＭ
１３ ＨＤＤ
１４ Ｉ／Ｆ
１５ 画像カメラ
１６ 距離カメラ
１７ ＬＣＤ
１８ 操作部
１９ バス
１００ 画像処理部
１０１ 座標変換部
１０２ 画像切り抜き部
１１０ 表示制御部

Claims (9)

1. 被写体と背景とが表示された被写体画像を撮像により生成する画像撮像部と、
   被写体と背景とが含まれる視覚的範囲を画像とした場合の各部に表示されている対象物までの距離を測定し、前記視覚的範囲の画像上の座標と距離とが関連付けられた距離情報を生成する距離情報生成部と、
   前記取得された距離情報の座標を前記被写体画像上の座標に変換して変換済み距離情報を生成する座標変換部と、
   前記生成された変換済み距離情報に含まれる変換後の座標のうち、関連付けられている距離が所定の条件を満たす座標を抽出する座標抽出部と、
   前記被写体画像において前記抽出された座標によって特定される領域と他の領域とを分離して出力する画像分離部とを含むことを特徴とする撮像装置。
2. 前記座標変換部は、
   前記距離情報生成部の焦点距離及び光軸の情報を含む第１のパラメータに基づき、前記視覚的範囲の画像上の座標である前記距離情報の座標を、前記距離情報生成部を基準とした三次元空間上の座標に変換する第１の座標変換機能と、
   前記距離情報生成部を基準とした三次元空間上の座標軸と前記画像撮像部を基準とした三次元空間上の座標軸とのずれに基づく第２のパラメータに基づき、前記距離情報生成部を基準とした三次元空間上の座標に変換された前記距離情報の座標を、前記画像撮像部を基準とした三次元空間上の座標に変換する第２の座標変換機能と、
   前記画像撮像部の焦点距離及び光軸の情報を含む第２のパラメータに基づき、前記画像撮像部を基準とした三次元空間上の座標に変換された前記距離情報の座標を、前記被写体画像上の座標に変換する第３の座標変換機能とを含むことを特徴とする請求項１に記載の撮像装置。
3. 前記座標変換部は、前記距離情報生成部または前記画像撮像部に含まれるレンズの半径方向の歪み及び円周方向の歪みのうち少なくとも一方の情報を含む第４のパラメータに基づき、前記距離情報生成部を基準とした三次元空間上の座標又は前記画像撮像部を基準とした三次元空間上の座標に変換された前記距離情報の座標を、前記レンズの半径方向の歪みまたは円周方向の歪みが補正された座標に変換する第４の座標変換機能を含むことを特徴とする請求項２に記載の撮像装置。
4. 前記座標抽出部は、前記生成された変換済み距離情報に含まれる変換後の座標のうち、関連付けられている距離が所定の閾値以下の座標を抽出することを特徴とする請求項１乃至３いずれか１項に記載の撮像装置。
5. 前記画像分離部は、前記被写体画像のうち、前記抽出された座標によって特定される領域以外の領域の画像情報を消去することにより、前記被写体画像において前記被写体が表示された領域を抽出することを特徴とする請求項４に記載の撮像装置。
6. 前記距離情報における座標の解像度は、前記被写体画像の解像度よりも低く、
   前記画像分離部は、前記抽出された座標を画素として描画される画像において前記画素を分割することにより前記抽出された座標の解像度を前記被写体画像の解像度に対応させ、前記分割された画素によって描画される画像によって領域を特定することを特徴とする請求項１乃至５いずれか１項に記載の撮像装置。
7. 被写体と背景とが含まれる視覚的範囲を画像とした場合の各部に表示されている対象物までの距離を測定し、前記視覚的範囲の画像上の座標と距離とが関連付けられた距離情報を取得する距離情報取得部と、
   被写体と背景とが表示された被写体画像を取得する被写体画像取得部と、
   前記取得された距離情報の座標を前記被写体画像上の座標に変換して変換済み距離情報を生成する座標変換部と、
   前記生成された変換済み距離情報に含まれる変換後の座標のうち、関連付けられている距離が所定の条件を満たす座標を抽出する座標抽出部と、
   前記取得された被写体画像のうち、前記抽出された座標によって特定される領域と他の領域とを分離して出力する画像分離部とを含むことを特徴とする画像処理装置。
8. 被写体と背景とが含まれる視覚的範囲を画像とした場合の各部に表示されている対象物までの距離を測定し、前記視覚的範囲の画像上の座標と距離とが関連付けられた距離情報を取得して記憶媒体に記憶し、
   被写体と背景とが表示された被写体画像を取得して記憶媒体に記憶し、
   前記記憶された距離情報の座標を前記被写体画像上の座標に変換して変換済み距離情報を生成して記憶媒体に記憶し、
   前記生成された変換済み距離情報に含まれる変換後の座標のうち、関連付けられている距離が所定の条件を満たす座標を抽出し、前記取得された被写体画像のうち、前記抽出された座標によって特定される領域と他の領域とを分離して記憶媒体に記憶することを特徴とする画像処理方法。
9. 被写体と背景とが含まれる視覚的範囲を画像とした場合の各部に表示されている対象物までの距離を測定し、前記視覚的範囲の画像上の座標と距離とが関連付けられた距離情報を取得して記憶媒体に記憶するステップと、
   被写体と背景とが表示された被写体画像を取得して記憶媒体に記憶するステップと、
   前記記憶された距離情報の座標を前記被写体画像上の座標に変換して変換済み距離情報を生成して記憶媒体に記憶するステップと、
   前記生成された変換済み距離情報に含まれる変換後の座標のうち、関連付けられている距離が所定の条件を満たす座標を抽出し、前記取得された被写体画像のうち、前記抽出された座標によって特定される領域と他の領域とを分離して記憶媒体に記憶するステップとを情報処理装置に実行させることを特徴とする画像処理プログラム。

Images