JP2016152605A - 画像処理装置、画像処理方法および画像処理プログラム - Google Patents

Abstract

【課題】高解像度で広範囲の歪みのない画像を簡易な処理で生成する。【解決手段】画像処理装置１は、それぞれ異なる場所に配置され、それぞれが共通の被写体を撮影する複数の撮影部と、複数の撮影部のそれぞれで撮影された被写体の撮影画像の歪みを補正した複数の補正画像を生成する画像補正部と、複数の補正画像を各補正画像内の所定の基準点に基づいて重ね合わせて、重複した範囲の部分画像についてはそのうちの一つの部分画像を選択し、重複していない範囲の部分画像はそのまま配置して合成画像を生成する画像合成部と、合成画像を被写体の撮影画像として表示部に表示させる表示制御部と、を備える。【選択図】図１

Description

本発明は、撮影部で撮影した画像を処理する画像処理装置、画像処理方法および画像処理プログラムに関する。

カメラで撮影した人物の映像に、衣服の試着物の画像を重ね合わせて表示するバーチャル・フィッティングが提案され（特許文献１参照）、実際に店舗等でも利用されている。

バーチャル・フィッティングでは、大画面の表示パネルの脇にビデオカメラを配置し、表示パネルの正面に立った人物の映像を表示パネルに表示するとともに、この人物の映像に種々の衣服の映像を重ね合わせて表示できるようにしている。

表示パネルの中央付近にカメラを配置すると、表示パネルの表示を妨げることになるため、カメラは表示パネルの脇に配置されるのが一般的である。しかしながら、カメラが表示パネルの脇に配置されると、斜め方向から人物を撮影することになり、このままでは、表示パネルに表示される人物の映像に歪みが生じてしまう。より具体的には、カメラに近い側ではより大きく撮影され、カメラから遠い側ではより小さく撮影されてしまう。このような歪みを補正するには、レンズ歪み補正と射影変換を用いた台形補正を行うのが有効である（特許文献２、３参照）。

特開２００５−１３６５３８号公報 国際公開２０１２／０５６９８２号 国際公開番号ＷＯ２０１１／０３３９１３

台形補正を行うと、画像の縁部分に歪みが生じるため、歪みが生じた部分をトリミングする。描画の際、画像の大きさをもとの大きさに合わせるために、画像を拡大する処理が行われる。しかしながら、このようなトリミング処理を行うと、元の撮影画像よりも画像範囲が狭くなってしまい、しかも、カメラからの距離により、補正画像に含まれる画像範囲が変化する。このため、台形補正により、高解像度で広範囲の補正画像を生成するのは困難である。

本発明は、上述した課題に鑑みてなされるものであり、その目的は、高解像度で広範囲の歪みのない画像を簡易な処理で生成可能な画像処理装置、画像処理方法および画像処理プログラムを提供することである。

上記の課題を解決するために、本発明の一態様では、それぞれ異なる場所に配置され、それぞれが共通の被写体を撮影する複数の撮影部と、
前記複数の撮影部のそれぞれで撮影された被写体の撮影画像の歪みを補正した複数の補正画像を生成する画像補正部と、
前記複数の補正画像を各補正画像内の所定の基準点に基づいて重ね合わせて、重複した範囲の部分画像についてはそのうちの一つの部分画像を選択し、重複していない範囲の部分画像はそのまま配置して合成画像を生成する画像合成部と、
前記合成画像を被写体の撮影画像として表示部に表示させる表示制御部と、を備える画像処理装置が提供される。

前記画像補正部は、前記複数の撮影部から被写体までの距離と、前記複数の撮影部から被写体への方向と、に基づいて、各撮影画像内の被写体のサイズが同一で歪みが補正された前記複数の補正画像を生成してもよい。

前記複数の撮影部は、被写体の基準点が撮影画像の中心に一致するように被写体を撮影してもよい。

前記基準点は、被写体の特徴点であってもよい。

前記複数の撮影部は、前記表示部の左端側、右端側、上端側、および下端側の少なくとも二つに沿って配置されてもよい。

被写体は、人物であってもよく、
前記表示制御部は、人物の前記合成画像に、前記人物が選択した別の画像を重ね合わせた画像を前記表示部に表示させてもよい。

本発明の他の態様では、それぞれ異なる場所に配置されそれぞれが共通の被写体を撮影する複数の撮影部で撮影された撮影画像の歪みを補正した複数の補正画像を生成するステップと、
前記複数の補正画像を各補正画像内の所定の基準点に基づいて重ね合わせて、重複した範囲の部分画像についてはそのうちの一つの部分画像を選択し、重複していない範囲の部分画像はそのまま配置して合成画像を生成するステップと、
前記合成画像を被写体の撮影画像として表示部に表示させるステップと、を備える画像処理方法が提供される。

本発明の他の態様では、それぞれ異なる場所に配置されそれぞれが共通の被写体を撮影する複数の撮影部で撮影された撮影画像の歪みを補正した複数の補正画像を生成するステップと、
前記複数の補正画像を各補正画像内の所定の基準点に基づいて重ね合わせて、重複した範囲の部分画像についてはそのうちの一つの部分画像を選択し、重複していない範囲の部分画像はそのまま配置して合成画像を生成するステップと、
前記合成画像を被写体の撮影画像として表示部に表示させるステップと、をコンピュータに実行させるコンピュータ読み取り可能な画像処理プログラムが提供される。

本発明によれば、高解像度で広範囲の歪みのない画像を簡易な処理で生成できる。

本発明の一実施形態による画像処理装置１の概略構成を示すブロック図。 図１の画像処理装置１の斜視図。 画像処理装置１の処理動作の一例を示すフローチャート。 （ａ）と（ｂ）は歪み補正処理を行う前後の画像範囲を模式的に示す図。 （ａ）〜（ｄ）は合成画像の生成方法を説明する図。

以下、本発明の実施の形態について、詳細に説明する。図１は本発明の一実施形態による画像処理装置１の概略構成を示すブロック図、図２は図１の画像処理装置１の斜視図である。

本実施形態による画像処理装置１は、複数の撮影部２と、画像補正部３と、画像合成部４と、表示制御部５と、表示パネル６とを備えている。

複数の撮影部２は、例えば図２に示すように、表示パネル６（表示部）の左右端部と、上下端部とに配置されている。なお、図２の配置場所は一例であり、撮影部２の配置場所は特に限定されない。また、後述するように、撮影部２の数が多いほど、最終的に得られる補正画像の面積を広げることができる。よって、必要な面積に応じて撮影部２の数を設定すればよい。

複数の撮影部２は、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサやＣＣＤ（Charged Coupled Device）などの撮像素子と焦点調節を行う光学系とを有し、静止画だけでなく、動画撮影も可能なカメラである。このカメラは、携帯電話やスマートフォンに搭載されているカメラと同程度の小型のもので十分であり、各撮影部２の口径は数ｍｍ以下でよい。

図２では、表示パネル６に４つの撮影部２を取り付けた例を示しているが、表示パネル６の額縁部に複数の撮影部２を一体的に組み込んでもよい。この場合、表示パネル６の筐体部に複数の撮影部２を取り付けなくて済むため、見た目もすっきりして意匠性がよくなる。

本実施形態では、表示パネル６の正面側の予め決められた位置に被写体であるユーザを配置した状態で、複数の撮影部２にて撮影を行うことを想定している。ユーザの配置場所が撮影のたびに変わってしまうと、歪み補正処理を精度よく行えなくなるためである。よって、例えば、表示パネル６の正面側の床面に、ユーザの配置場所を示す目印マークなどを設けるのが望ましい。

画像補正部３は、複数の撮影部２のそれぞれで撮影された被写体の撮影画像の歪みを補正する。より具体的には、複数の撮影部２が撮影した複数の撮影画像に対して台形補正を施して、複数の補正画像を生成する。より詳細には、画像補正部３は、複数の撮影部２から被写体までの距離と複数の撮影部２から被写体への方向とに基づいて、各撮影画像内の被写体のサイズが同一で歪みが補正された複数の補正画像を生成する。

画像合成部４は、複数の補正画像を各補正画像内の所定の基準点に基づいて重ね合わせて、重複した範囲の部分画像についてはそのうちの一つの部分画像を選択し、重複していない部分画像はそのまま配置して合成画像を生成する。画像補正部３と画像合成部４の処理動作については後に詳述する。

表示制御部５は、合成画像を被写体の撮影画像として表示パネル６に表示させる。表示パネル６は、液晶表示装置、有機ＥＬ（ElectroLuminescent）ディスプレイ、プラズマディスプレイなどである。

図２の例では、画像補正部３、画像合成部４および表示制御部５を有する画像処理ボックスを表示パネル６の背面側に配置して、ユーザから画像処理ボックスを視認できないようにしているが、画像補正部３、画像合成部４および表示制御部５は、それぞれ別体として設けてもよい。また、表示パネル６内に画像補正部３、画像合成部４および表示制御部５を組み込んでもよい。

図３は画像処理装置１の処理動作の一例を示すフローチャートである。まず、ユーザが表示パネル６の正面側の予め定めた所定位置に配置されると、ユーザの指示により複数の撮影部２は撮影を開始する（ステップＳ１）。複数の撮影部２は、被写体であるユーザを斜め方向から撮影するため、複数の撮影画像はいずれも歪んでいる。より具体的には、撮影部２に近い側はより大きく撮影され、撮影部２から遠い側はより小さく撮影される。

また、複数の撮影部２のそれぞれは、被写体であるユーザの基準点が撮影画像の中心に一致するように被写体を撮影する。

次に、画像補正部３は、複数の撮影部２が撮影した複数の撮影画像に対して歪み補正を行って、複数の補正画像を生成する（ステップＳ２）。ここでは、例えば公知の台形補正などを行う。上述したように、台形補正を行うと、補正画像の縁部分に歪みが生じてしまうため、縁部分の歪み画像をトリミングする処理が必要となる。これにより、補正画像の画像範囲は、歪み補正処理を行う前の撮影画像の画像範囲よりも狭くなってしまう。

図４は歪み補正処理を行う前後の画像範囲を模式的に示す図である。図４（ａ）に示すように、撮影画像が長方形形状であれば、歪み補正処理後は一部がトリミングされて台形形状になる。また、図４（ｂ）に示すように、撮影画像が台形形状であれば、歪み補正処理後は一部がトリミングされて長方形形状になる。このように、台形補正などの歪み補正処理を行うことで、補正画像の画像範囲は、元の撮影画像の画像範囲よりも狭くなってしまう。

次に、画像合成部４は、画像補正部３が補正した複数の補正画像を用いて合成画像を生成する（ステップＳ３）。

図５は合成画像の生成方法を説明する図である。この例では、図５（ａ）に示すように、４つの補正画像ｇ１を用いて合成画像を生成する例を示している。

画像合成部４は、まず、複数の補正画像のうち１つを選択する。選択された補正画像ｇ１のすべてが合成画像の一部となる（図５（ｂ））。次に、まだ選択していない他の１つの補正画像ｇ２を選択し、その基準点を先に選択した補正画像の基準点と合わせて重ね合わせる（図５（ｃ））。ここで、基準点とは、被写体上の特徴点である。２つの補正画像を重ね合わせると、重複した範囲と重複していない範囲が生じる。重複した範囲は先に選択した補正画像ｇ１を選択し、先に選択した補正画像と重複していない範囲については、後に選択した補正画像ｇ２を選択して、図５（ｂ）よりも合成画像を広げる。

以上の処理を、すべての補正画像ｇ１〜ｇ４を選択するまで、順に繰り返す（図５（ｄ））。すなわち、画像合成部４は、複数の補正画像を一つずつ順に選択し、先に選択した補正画像を優先して合成し、後に選択した補正画像の中で、先に選択した補正画像と重複していない範囲の部分画像を合成して、合成画像を生成する。

図５からわかるように、補正画像を新たに選択するたびに、合成画像の面積が増える。よって、合成画像の面積を広げたい場合には、撮影部２の数を増やせばよい。

図４のステップＳ３で生成された合成画像は、表示制御部５により表示パネル６に描画される（ステップＳ４）。表示パネル６に描画される合成画像は、歪みが補正されており、かつ被写体周辺の広範囲を含んでいる。

本実施形態により生成した被写体の合成画像は、例えばバーチャル・フィッティングに利用することができる。バーチャル・フィッティングを行う場合、合成画像が表示パネル６に表示されている状態で、ユーザは試着したい衣服を選択する。衣服の選択は、表示パネル６にタッチパネル機能を設けて、ユーザが表示パネル６の表示に従って、所望の衣服をタッチして選択してもよい。あるいは、ユーザの音声を音声認識して衣服を選択してもよい。あるいは、リモートコントローラや別の人間を通して衣服を選択してもよい。

表示制御部５は、ユーザが何らかの手段により選択した衣服の画像を、上述した合成画像に重ね合わせて表示する。上述した処理手順で生成した合成画像は、歪みが補正されているため、衣服の画像との位置ずれやサイズずれを抑制でき、ユーザが実際に衣服を着用しているようなリアリティのある画像を表示できる。

また、本実施形態により生成した合成画像は、バーチャル・フィッティング以外の目的にも適用可能である。イヤリングやネックレス等のアクセサリを仮想的に変更する目的などにも適用可能である。また、被写体は、必ずしも人間だけとは限らない。例えば、犬や猫等のペットを対象として仮想的に衣装等を変更する目的にも適用可能である。また、人物やペットなどの動物だけでなく、部屋のインテリアなどを仮想的に変更する目的などにも適用可能である。

このように、本実施形態では、それぞれ異なる場所に配置された複数の撮影部２で共通の被写体を撮影し、各撮影部２での複数の撮影画像について歪みを補正した複数の補正画像のうち、重複した範囲の部分画像についてはそのうちの一つの部分画像を選択し、重複していない範囲の部分画像はそのまま配置して合成画像を生成するため、歪みのない広範囲の合成画像を生成できる。

したがって、合成画像をバーチャル・フィッティングに利用する場合には、ユーザの合成画像に衣服の画像を重ね合わせたときに、位置ずれやサイズずれを抑制でき、実際にユーザが衣服を着用したかのようなリアリティのある画像を表示できる。

上述した実施形態で説明した画像制御装置１の少なくとも一部は、ハードウェアで構成してもよいし、ソフトウェアで構成してもよい。ソフトウェアで構成する場合には、画像制御装置１の少なくとも一部の機能を実現するプログラムをフレキシブルディスクやＣＤ−ＲＯＭ等の記録媒体に収納し、コンピュータに読み込ませて実行させてもよい。記録媒体は、磁気ディスクや光ディスク等の着脱可能なものに限定されず、ハードディスク装置やメモリなどの固定型の記録媒体でもよい。

また、画像制御装置１の少なくとも一部の機能を実現するプログラムを、インターネット等の通信回線（無線通信も含む）を介して頒布してもよい。さらに、同プログラムを暗号化したり、変調をかけたり、圧縮した状態で、インターネット等の有線回線や無線回線を介して、あるいは記録媒体に収納して頒布してもよい。

本発明の態様は、上述した個々の実施形態に限定されるものではなく、当業者が想到しうる種々の変形も含むものであり、本発明の効果も上述した内容に限定されない。すなわち、特許請求の範囲に規定された内容およびその均等物から導き出される本発明の概念的な思想と趣旨を逸脱しない範囲で種々の追加、変更および部分的削除が可能である。

１ 画像処理装置、２ 撮影部、３ 画像補正部、４ 画像合成部、５ 表示制御部、６ 表示パネル

Claims (8)

1. それぞれ異なる場所に配置され、それぞれが共通の被写体を撮影する複数の撮影部と、
   前記複数の撮影部のそれぞれで撮影された被写体の撮影画像の歪みを補正した複数の補正画像を生成する画像補正部と、
   前記複数の補正画像を各補正画像内の所定の基準点に基づいて重ね合わせて、重複した範囲の部分画像についてはそのうちの一つの部分画像を選択し、重複していない範囲の部分画像はそのまま配置して合成画像を生成する画像合成部と、
   前記合成画像を被写体の撮影画像として表示部に表示させる表示制御部と、を備える画像処理装置。
2. 前記画像補正部は、前記複数の撮影部から被写体までの距離と、前記複数の撮影部から被写体への方向と、に基づいて、各撮影画像内の被写体のサイズが同一で歪みが補正された前記複数の補正画像を生成する請求項１に記載の画像処理装置。
3. 前記複数の撮影部は、被写体の基準点が撮影画像の中心に一致するように被写体を撮影する請求項１または２に記載の画像処理装置。
4. 前記基準点は、被写体の特徴点である請求項３に記載の画像処理装置。
5. 前記複数の撮影部は、前記表示部の左端側、右端側、上端側、および下端側の少なくとも二つに沿って配置される請求項１乃至４のいずれか１項に記載の画像処理装置。
6. 被写体は、人物であり、
   前記表示制御部は、人物の前記合成画像に、前記人物が選択した別の画像を重ね合わせた画像を前記表示部に表示させる請求項１乃至５のいずれか１項に記載の画像処理装置。
7. それぞれ異なる場所に配置されそれぞれが共通の被写体を撮影する複数の撮影部で撮影された撮影画像の歪みを補正した複数の補正画像を生成するステップと、
   前記複数の補正画像を各補正画像内の所定の基準点に基づいて重ね合わせて、重複した範囲の部分画像についてはそのうちの一つの部分画像を選択し、重複していない範囲の部分画像はそのまま配置して合成画像を生成するステップと、
   前記合成画像を被写体の撮影画像として表示部に表示させるステップと、を備える画像処理方法。
8. それぞれ異なる場所に配置されそれぞれが共通の被写体を撮影する複数の撮影部で撮影された撮影画像の歪みを補正した複数の補正画像を生成するステップと、
   前記複数の補正画像を各補正画像内の所定の基準点に基づいて重ね合わせて、重複した範囲の部分画像についてはそのうちの一つの部分画像を選択し、重複していない範囲の部分画像はそのまま配置して合成画像を生成するステップと、
   前記合成画像を被写体の撮影画像として表示部に表示させるステップと、をコンピュータに実行させるコンピュータ読み取り可能な画像処理プログラム。

Images