JP2016158155A - カメラ撮影で取得した画像から被写体部分を切り抜く方法および装置 - Google Patents

Abstract

【課題】大掛かりな装置構成を用いることなく低コストかつ簡単に、クロマキーが実現できるようにする。
【解決手段】定位置にカメラを配置する（Ｓ１）。カメラによって背景のみの画像を取得し、当該画像をその撮影時の焦点距離と関係づけて保存する（Ｓ２）。カメラの前方に被写体を配置して撮影し、被写体が写った画像を取得する（Ｓ３）。保存した背景のみの画像から、被写体の撮影時の焦点距離に一致する焦点距離または最も近い焦点距離で取得した背景のみの画像を抽出する（Ｓ４）。抽出した背景のみの画像と被写体が写った画像を用いて背景差分法による画像処理を行って、被写体が写った画像から被写体部分を切り抜き、被写体が写った画像中の被写体部分以外の部分を所定の色で塗りつぶす（Ｓ５）。
【選択図】図１

Description

本発明は、カメラ撮影によって取得した画像から被写体部分を切り抜く方法および装置に関するものである。

パスポートの申請書や履歴書等に必要な証明用写真を撮影し、あるいは、ゲームセンター等において娯楽写真や遊戯用写真を撮影するための自動写真撮影装置が従来より知られている。

これらの自動写真撮影装置の中には、クロマキー技術を用いて利用者たる被写体が写った画像から被写体部分を切り抜き、切り抜いた被写体部分を利用者が選択した背景画像と合成して合成画像を形成し、合成画像を印画紙にプリントして出力するものがある（例えば、特許文献１〜３参照）。

そして、この種の自動写真撮影装置は、内部に撮影空間を有するボックスまたはフレームを備えており、撮影空間内には、カメラと、ストロボと、利用者が操作するためのタッチパネル式ディスプレイが配置されている。

また、クロマキーにおいては、被写体をグリーンやブルー等の特定の均一な色の背景で撮影するので、これらの自動写真撮影装置においては、ボックスの被写体背後の壁面がグリーンやブルー等に着色され、また、装置がフレームを備えている場合には、被写体の背後において、グリーンやブルー等のシートがフレームから吊下げられる。

しかし、このような構成では、ボックスまたはフレームを備える必要があり、装置が大掛かりなものとなり、設置場所が限られ、しかも装置の製造コストがかかるという問題があった。

特開２０１２−２３５３１４号公報 特開２０１４−２１６７２４号公報 特開２０１５−８５４０号公報

したがって、本発明の課題は、大掛かりな装置構成を用いることなく、低コストで簡単にクロマキーが実現できるようにすることにある。

上記課題を解決するため、第１発明によれば、（１）定位置にカメラを配置し、（２）前記カメラによって撮影を行い、背景のみの画像を少なくとも１枚取得して、当該画像をその撮影時の焦点距離と関係づけて保存し、（３）前記カメラの前方に被写体を配置して撮影を行い、当該被写体が写った画像を取得し、（４）ステップ（２）で保存した前記背景のみの画像のうち、前記被写体の撮影時の焦点距離に一致する焦点距離または最も近い焦点距離で撮影した背景のみの画像を抽出し、（５）抽出した前記背景のみの画像と前記被写体が写った画像を用いて背景差分法による画像処理を行って、前記被写体が写った画像から被写体部分を切り抜き、前記被写体が写った画像中の被写体部分以外の領域を所定の色で塗りつぶすことを特徴とする方法が提供される。

上記課題を解決するため、また、第２発明によれば、（１）定位置にカメラを配置し、（２）前記カメラによって、背景のみの画像を異なる焦点距離で複数枚撮影し、取得した画像をそれぞれ保存し、（３）前記カメラの前方に被写体を配置して撮影することによって、前記被写体が写った画像を取得し、（４）ステップ（２）で保存した前記背景のみの画像のそれぞれについて、当該背景のみの画像と前記被写体が写った画像を用いて背景差分法による画像処理を行って、前記被写体が写った画像から被写体部分を切り抜き、前記被写体が写った画像中の被写体部分以外の領域を所定の色で塗りつぶし、その塗りつぶした領域の面積を算出し、（５）前記塗りつぶした領域の面積が最大となる画像を、前記被写体が写った画像から被写体部分を切り抜いた画像として選択することを特徴とする方法が提供される。

また、上記課題を解決するため、第３発明によれば、カメラと、前記カメラを定位置に配置するためのカメラ保持ユニットと、前記カメラまたは前記カメラ保持ユニットに備えられ、前記カメラによる撮影時の焦点距離を測定する測距計と、前記定位置にある前記カメラによる撮影で取得された少なくとも１枚の背景のみの画像が、その撮影時の焦点距離と関係づけて格納された記憶部と、前記定位置にある前記カメラの前方に被写体を配置して撮影がなされて、当該被写体が写った画像が取得されたとき、前記記憶部から前記被写体の撮影時の焦点距離に一致する焦点距離または最も近い焦点距離で取得された背景のみの画像を抽出する画像抽出部と、前記被写体が写った画像と、前記画像抽出部によって抽出された前記背景のみの画像とを用いて背景差分法による画像処理を行って、前記被写体が写った画像から被写体部分を切り抜き、前記被写体が写った画像中の被写体部分以外の領域を所定の色で塗りつぶした画像を出力する画像処理部と、を有するものであることを特徴とする装置が提供される。

上記課題を解決するため、また、第４発明によれば、カメラと、前記カメラを定位置に配置するためのカメラ保持ユニットと、前記定位置にある前記カメラによって、異なる焦点距離で撮影された複数の背景のみの画像が格納された記憶部と、前記定位置にある前記カメラの前方に被写体を配置して撮影がなされて、当該被写体が写った画像が取得されたとき、前記記憶部に格納された前記背景のみの画像のそれぞれについて、当該背景のみの画像と前記被写体が写った画像を用いて背景差分法による画像処理を行って、前記被写体が写った画像から被写体部分を切り抜き、前記被写体が写った画像中の前記被写体部分以外の領域を所定の色で塗りつぶし、その塗りつぶした領域の面積を算出し、前記塗りつぶした領域の面積が最大となる画像を、前記被写体が写った画像から被写体部分を切り抜いた画像として出力する画像処理部と、を有するものであることを特徴とする装置が提供される。

本発明によれば、被写体が写った画像と背景のみの画像とを用いて、背景差分法による画像処理によって、被写体が写った画像から被写体部分を切り抜くので、カメラによって撮影される自然な背景を用いればよく、グリーンやブルー等の特定の均一な色の背景を用意する必要はない。

さらに、背景のみの画像を予め取得して保存しておき、被写体が写った画像が撮影された時に、保存しておいた画像から背景差分法による画像処理に最も適した画像を抽出し、それを用いて画像処理を行うので、被写体の撮影時にその都度背景のみの画像を撮影する必要はない。

また、第１および第３の発明によれば、撮影時の焦点距離が測定可能な場合に、背景のみの画像をその撮影時の焦点距離と関係づけて予め保存しておき、保存した背景のみの画像から被写体の撮影時の焦点距離と同じかまたは最も近い焦点距離で取得したものを抽出し、背景差分法による画像処理を行って、被写体が写った画像から被写体部分を切り抜き、当該画像中の被写体部分以外の領域を所定の色で塗りつぶすので、処理が高速で行え、被写体部分の切り抜きも正確に行うことができる。

また、第２および第４発明によれば、撮影時の焦点距離が測定不能な場合に、予め保存した背景のみの画像のそれぞれについて、当該背景のみの画像と被写体が写った画像を用いて背景差分法による画像処理を行い、被写体が写った画像から被写体部分を切り抜き、被写体が写った画像中の被写体部分以外の領域を所定の色で塗りつぶし、その塗りつぶした領域の面積を算出し、塗りつぶした領域の面積が最大となる画像を、被写体が写った画像から被写体部分を切り抜いた画像として選択する。
これは、塗りつぶした領域の面積が大きいほど、背景差分をとった２つの画像間において、被写体部分以外の領域の同一性が高いと想定されるからである。
こうして、背景差分法による画像処理に最適の背景のみの画像を用いて、被写体が写った画像中から被写体部分を正確に切り抜き、当該画像中の被写体部分以外の領域を特定の色で塗りつぶすことができる。

そして、本発明を自動写真撮影装置に適用した場合には、従来のようなボックスやフレームが不要となって、装置が非常に簡単かつコンパクトになり、そのため装置を低コスト化でき、また、設置スペースをあまりとらないので装置を設置可能な場所が広がる。

本発明の第１実施例による、カメラ撮影で取得した画像から被写体部分を切り抜く方法のフロー図である。 （Ａ）は、被写体として利用者が写った画像の１例を示した図であり、（Ｂ）は、背景のみの画像の１例を示した図であり、（Ｃ）は、（Ａ）から被写体部分を切り抜き、被写体部分以外の領域を特定の色で塗りつぶした画像の１例を示した図である。 図１の方法を使用するのに適した装置のブロック図である。 本発明の第２実施例による、カメラ撮影で取得した画像から被写体部分を切り抜く方法のフロー図である。 図４の方法を使用するのに適した装置のブロック図である。

以下、添付図面を参照しつつ、本発明の構成を好ましい実施例に基づいて説明する。
図１は、本発明の第１実施例による、カメラ撮影で取得した画像から被写体部分を切り抜く方法のフロー図である。図１を参照して、本発明によれば、まず、定位置にカメラが配置される（図１のステップＳ１）。カメラは、カラー画像およびモノクロ画像のいすれを取得できるものでもよい。

次いで、カメラによって背景のみの画像が少なくとも１枚撮影され、当該画像がその撮影時の焦点距離と関係づけて保存される（図１のステップＳ２）。そして、カメラの前方に被写体を配置して撮影がなされ、被写体が写った画像（図２（Ａ）参照）が取得される（図１のステップＳ３）。

背景のみの画像の撮影に関しては、被写体が撮影されるときのカメラおよび被写体間の一般的な距離と、カメラの被写界深度とを考慮して、当該一般的な距離を挟んだ前後の一定距離の範囲内の、等間隔をあけた複数の位置のそれぞれに焦点を合わせて撮影がなされ、複数の画像が取得されることが好ましいが、撮影時の被写体の位置が常に固定されるような場合には、背景のみの画像は、当該被写体の撮影時の焦点距離で取得されたものが１枚あれば足りる。
また、被写体部分の切り抜きの精度を上げる観点から、保存されるべき背景のみの画像は、被写体が写った画像が撮影される際の撮影条件（照明の明るさ等）とできるだけ同じ撮影条件で撮影されていることが好ましい。

次に、保存された背景のみの画像から、被写体の撮影時の焦点距離に一致する焦点距離または最も近い焦点距離で取得した背景のみの画像（図２（Ｂ）参照）が抽出され（図１のステップＳ４）、その抽出された背景のみの画像と、被写体が写った画像を用いて背景差分法による画像処理がなされ、被写体が写った画像から被写体部分が切り抜かれ、被写体が写った画像中の被写体部分以外の領域が所定の色で塗りつぶされる（図１のステップＳ５、図２（Ｃ）参照）。

背景差分法としては、公知の種々の手法のいずれも使用することができ、具体例としては、被写体が写った画像および背景のみの画像をグレースケール化し、被写体が写った画像の各画素の階調値を、背景のみの画像の対応する各画素の階調値から減算し、減算の結果が一定の数値範囲内（例えば０〜５の範囲内）にあれば、背景領域として階調値を全て０とし、それ以外の数値であれば、被写体部分として減算前の階調値とする方法がある。

こうして、本発明の方法によれば、被写体が写った画像と背景のみの画像とを用いて、背景差分法による画像処理によって、被写体が写った画像から被写体部分を切り抜くので、カメラによって撮影される自然な背景を用いればよく、グリーンやブルー等の特定の均一な色の背景を用意する必要はない。
また、背景のみの画像を予め保存しておき、被写体が撮影された時に、保存した背景のみの画像から背景差分法による画像処理に最も適した画像を抽出し、それを用いて画像処理を行うので、被写体の撮影時に、その都度背景のみの画像を撮影する必要はない。

図３は、図１の方法を使用するに適した装置のブロック図である。図３の実施例では、装置は自動写真撮影装置として構成されている。
図３を参照して、この装置は、カメラ１と、カメラ１を定位置に配置するためのカメラ保持ユニット２を有している。カメラ保持ユニット２は、この実施例では、装置のハウジングからなっており、ハウジングの前面上部に設けられた開口に、カメラ１が嵌め込まれて固定されている。

また、カメラ１には、カメラ１による撮影時の焦点距離を測定する測距計（図示はしない）が備えられている。測距計は、カメラ１とは別個にカメラ保持ユニット（ハウジング）２に備えられていてもよい。

装置は、また、カメラ１によって撮影された少なくとも１枚の背景のみの画像が、その撮影時の焦点距離と関係づけて格納された記憶部３と、カメラ１の前方に被写体としての人物（利用者）を配置して撮影がなされて、人物が写った画像が取得されたとき、記憶部３から当該人物撮影時の焦点距離に一致する焦点距離または最も近い焦点距離で取得された背景のみの画像を抽出する画像抽出部４とを有している。
この場合、記憶部３はデータベースとして構成されていてもよい。

装置は、さらに、人物が写った画像と、画像抽出部４によって抽出された背景のみの画像とを用いて、背景差分法による画像処理を行って、人物が写った画像から人物部分を切り抜き、人物が写った画像中の人物以外の領域を所定の色で塗りつぶした画像を出力する画像処理部５を有している。
カメラ１、記憶部３、画像抽出部４および画像処理部５は、制御部６によって制御される。また、装置には、利用者が装置を操作するためのタッチパネル式ディスプレイ７が備えられている。

次に、この自動写真撮影装置の動作について説明する。
写真撮影の際、利用者が装置のハウジング２に手が届く範囲内（すなわち、装置のハウジング２の前面から約０．５〜１ｍの範囲内）に立つであろうとの想定で、背景のみの画像が、カメラ１によって、例えば、装置のハウジング２の前面から０．２ｍ〜１．５ｍの範囲内において１０ｃｍの間隔で焦点距離を変化させつつ撮影され、取得された画像のそれぞれが撮影時の焦点距離と関係づけてデータベース３に登録される。

この背景のみの画像の記憶部３への格納の動作は、制御部６のメモリに予め格納されたタイムテーブルに基づき、装置の利用がなされない間に、一定の時間間隔で自動的になされる。
この場合、この記憶部３への画像格納動作がなされる毎に、その前に記憶部３に格納されていた画像が新たに撮影された画像によって置き換えられ、よって、装置が利用されるときには、常に、最新の画像（背景のみの画像）が使用されるようになっている。

こうして、照明や天候の変化等によって撮影条件が変動したとしても、装置の利用時の直前に撮影された背景のみの画像を使用することで、ほぼ同じ撮影条件で取得された、人物（利用者）が写った画像と背景のみの画像に基づいて、背景差分法による画像処理を行うことができ、よって、人物（利用者）が写った画像から人物部分を正確に切り抜くことができる。

なお、装置による画像の自動撮影の間に、装置の利用が開始されたときは、装置による自動撮影が停止せしめられ、前回の自動撮影によって記憶部３に登録された画像が画像処理で使用される。

装置が利用されるとき、利用者がハウジング２の前に立ち、タッチパネル式ディスプレイ７を介して装置を作動させ、カメラ１の方を向いて撮影を行う。それによって、人物（利用者）が写った画像が取得され、それと同時に、カメラ１に内蔵された測距計から撮影時の焦点距離のデータが画像抽出部４に送られる。また、カメラ１によって取得された画像は画像処理部５に送られる。

次いで、記憶部３から、画像抽出部４によって、当該撮影時の焦点距離に一致する焦点距離または最も近い焦点距離で取得された背景のみの画像が抽出される。抽出された画像は画像処理部５に送られる。
そして、画像処理部５によって、人物（利用者）が写った画像と、背景のみの画像を用いて背景差分法による画像処理が行われ、人物（利用者）が写った画像から人物部分が切り抜かれ、人物（利用者）が写った画像中の人物部分以外の領域が、利用者によって指定された色で塗りつぶされる。

この人物部分以外の領域が指定色で塗りつぶされた画像は、タッチパネル式ディスプレイ７に表示され、利用者による確認および必要な修正が加えられる。そして、処理が完了した画像が印画紙にプリントされて装置から排出される。

こうして、本発明の自動写真撮影装置によれば、従来のようなボックスやフレームが不要となって、装置が非常に簡単かつコンパクトになり、そのため装置を低コスト化できる。そして、本発明の自動写真撮影装置は設置スペースをあまりとらないので、従来は自動写真撮影装置が設置できなかった場所にも設置できる。
なお、この実施例では、本発明の装置を自動写真撮影装置として構成したが、本発明が自動写真撮影装置以外にも適用可能であることは言うまでもない。

図３は、本発明の第２実施例による、カメラ撮影で取得された画像から被写体部分を切り抜く方法のフロー図である。図３の実施例と図１の実施例とは、図１の実施例では、画像撮影時の焦点距離が測定可能であるのに対し、図３の実施例では、画像撮影時の焦点距離が測定不能である点で互いに異なっている。

図３を参照して、この実施例では、まず、定位置にカメラが配置される（図３のステップＳ１）。次いで、カメラによって、背景のみの画像が異なる焦点距離で複数枚撮影され、取得された画像がそれぞれ保存される（図３のステップＳ２）。そして、カメラの前方に被写体を配置して撮影がなされ、被写体が写った画像が取得される（図３のステップＳ３）。

次に、保存された背景のみの画像のそれぞれについて、当該背景のみの画像と被写体が写った画像を用いて背景差分法による画像処理がなされ、被写体が写った画像から被写体部分が切り抜かれ、被写体が写った画像中の被写体部分以外の領域が所定の色で塗りつぶされ、塗りつぶされた領域の面積が算出される（図３のステップＳ４）。

そして、塗りつぶした領域の面積が最大となる画像が、被写体が写った画像から被写体部分を切り抜いた画像として選択される（図３のステップＳ５）。
これは、塗りつぶした領域の面積が大きいほど、背景差分をとった２つの画像間において、被写体部分以外の領域の同一性が高いと想定されるからである。

こうして、画像撮影時の焦点距離が不明な場合であっても、背景差分法による画像処理に最も適した背景のみの画像を用いて、被写体が写った画像中から被写体部分を正確に切り抜き、画像中の被写体部分以外の領域を特定の色で塗りつぶすことができる。

図４は、図３の方法を使用するのに適した装置のブロック図である。
図４を参照して、この装置は、図２の実施例と同様に自動写真撮影装置として構成されており、カメラ１’と、カメラ１’を定位置に配置するためのカメラ保持ユニット２を有している。カメラ保持ユニット２は、図２の実施例と同様、装置のハウジングからなっており、ハウジングの前面上部に設けられた開口部にカメラ１’が嵌め込まれ、固定されている。
なお、この実施例では、撮影時の焦点距離を測定するための測距計は備えられていない。

装置は、また、カメラ１’によって異なる焦点距離で撮影された複数の背景のみの画像が格納された記憶部３’と、カメラ１’の前方に被写体としての人物（利用者）を配置して撮影がなされて、人物が写った画像が取得されたとき、記憶部３’に格納された背景のみの画像のそれぞれについて、当該背景のみの画像と人物が写った画像を用いて背景差分法による画像処理を行って、人物が写った画像から人物部分を切り抜き、人物が写った画像中の人物部分以外の領域を所定の色で塗りつぶし、その塗りつぶした領域の面積を算出し、塗りつぶした領域の面積が最大となる画像を、人物が写った画像から人物部分を切り抜いた画像として出力する画像処理部５’を有している。

カメラ１’、記憶部３および画像処理部５’は、制御部６’によって制御される。また、装置には、利用者が装置を操作するためのタッチパネル式ディスプレイ７が備えられている。

１、１’ カメラ
２ カメラ保持ユニット
３、３’ 記憶部
４ 画像抽出部
５、５’ 画像処理部
６、６’ 制御部
７ タッチパネル式ディスプレイ

Claims (4)

1. （１）定位置にカメラを配置し、
   （２）前記カメラによって撮影を行い、背景のみの画像を少なくとも１枚取得して、当該画像をその撮影時の焦点距離と関係づけて保存し、
   （３）前記カメラの前方に被写体を配置して撮影を行い、当該被写体が写った画像を取得し、
   （４）ステップ（２）で保存した前記背景のみの画像のうち、前記被写体の撮影時の焦点距離に一致する焦点距離または最も近い焦点距離で撮影した背景のみの画像を抽出し、
   （５）抽出した前記背景のみの画像と前記被写体が写った画像を用いて背景差分法による画像処理を行って、前記被写体が写った画像から被写体部分を切り抜き、前記被写体が写った画像中の被写体部分以外の領域を所定の色で塗りつぶすことを特徴とする方法。
2. （１）定位置にカメラを配置し、
   （２）前記カメラによって、背景のみの画像を異なる焦点距離で複数枚撮影し、取得した画像をそれぞれ保存し、
   （３）前記カメラの前方に被写体を配置して撮影することによって、前記被写体が写った画像を取得し、
   （４）ステップ（２）で保存した前記背景のみの画像のそれぞれについて、当該背景のみの画像と前記被写体が写った画像を用いて背景差分法による画像処理を行って、前記被写体が写った画像から被写体部分を切り抜き、前記被写体が写った画像中の被写体部分以外の領域を所定の色で塗りつぶし、その塗りつぶした領域の面積を算出し、
   （５）前記塗りつぶした領域の面積が最大となる画像を、前記被写体が写った画像から被写体部分を切り抜いた画像として選択することを特徴とする方法。
3. カメラと、
   前記カメラを定位置に配置するためのカメラ保持ユニットと、
   前記カメラまたは前記カメラ保持ユニットに備えられ、前記カメラによる撮影時の焦点距離を測定する測距計と、
   前記定位置にある前記カメラによる撮影で取得された少なくとも１枚の背景のみの画像が、その撮影時の焦点距離と関係づけて格納された記憶部と、
   前記定位置にある前記カメラの前方に被写体を配置して撮影がなされて、当該被写体が写った画像が取得されたとき、前記記憶部から前記被写体の撮影時の焦点距離に一致する焦点距離または最も近い焦点距離で取得された背景のみの画像を抽出する画像抽出部と、
   前記被写体が写った画像と、前記画像抽出部によって抽出された前記背景のみの画像とを用いて背景差分法による画像処理を行って、前記被写体が写った画像から被写体部分を切り抜き、前記被写体が写った画像中の被写体部分以外の領域を所定の色で塗りつぶした画像を出力する画像処理部と、を有するものであることを特徴とする装置。
4. カメラと、
   前記カメラを定位置に配置するためのカメラ保持ユニットと、
   前記定位置にある前記カメラによって、異なる焦点距離で撮影された複数の背景のみの画像が格納された記憶部と、
   前記定位置にある前記カメラの前方に被写体を配置して撮影がなされて、当該被写体が写った画像が取得されたとき、前記記憶部に格納された前記背景のみの画像のそれぞれについて、当該背景のみの画像と前記被写体が写った画像を用いて背景差分法による画像処理を行って、前記被写体が写った画像から被写体部分を切り抜き、前記被写体が写った画像中の前記被写体部分以外の領域を所定の色で塗りつぶし、その塗りつぶした領域の面積を算出し、前記塗りつぶした領域の面積が最大となる画像を、前記被写体が写った画像から被写体部分を切り抜いた画像として出力する画像処理部と、を有するものであることを特徴とする装置。