JP2007265275A

JP2007265275A - 撮影画像処理装置及び方法

Info

Publication number: JP2007265275A
Application number: JP2006092361A
Authority: JP
Inventors: Aya Sugiyama; 綾杉山
Original assignee: Saxa Inc
Current assignee: Saxa Inc
Priority date: 2006-03-29
Filing date: 2006-03-29
Publication date: 2007-10-11

Abstract

【課題】そこで、本発明は、撮影タイミングを失うことなく撮影が行えると共に撮影対象物体以外の物体を画像から除去することができる撮影画像処理装置及び方法を提供することを目的とするものである。
【解決手段】撮影画像処理装置１は、撮影画像等の画像データを処理する画像処理部１１を備えており、異物画像抽出部１１ａでは、蓄積された一連の撮影画像のうち特定の撮影画像を別の撮影画像と比較して差分画像を作成し、異物画像として切り出して抽出する。背景画像処理部１１ｃは、特定の撮影画像から異物画像が切り出された背景全体画像を生成したり、別の撮影画像から異物画像が除去されたエリアに対応する背景部分画像を切り出し背景全体画像に貼付するといった背景画像に関する画像処理を行う。そして、不要となる異物画像を指定して除去し背景部分画像を貼付して違和感のない撮影画像を作成できる。
【選択図】図１

Description

本発明は、デジタルカメラ、ビデオカメラ又は監視カメラ等の撮影装置に適用可能な撮影画像処理装置及び方法に関する。

近年画像処理技術の進歩により従来のフィルムカメラの解像度と遜色のない静止画を撮影することができるデジタルカメラが開発されてきている。また、デジタルカメラに動画を記録できる機能を持たせたり、携帯電話にこうしたデジタルカメラの機能が付加されるなどデジタルカメラ以外の機器に画像処理技術が広く応用されてきている。

デジタルカメラのような撮影機能を備えた機器では、画像を電子データで記録するため、画像処理が容易に行える利点がある。例えば、特許文献１には、同一の入力画像データに対して複数の異なる条件で画像処理を施し、処理された画像データから撮影者が選択できるようにした点が記載されている。また、特許文献２には、被写体の種別に応じた被写体の属性を登録しておき、被写体を撮影する際に登録された被写体の種別を選択してその属性から撮影条件を決定して撮影を行う点が記載されている。
特開２００１−２０３９３４号公報特開平８−２９３０１６号公報

デジタルカメラのような撮影機能を備えた機器が一般に広く普及してくるにつれて日常生活の中で手軽に撮影して画像を記録することが行われるようになってきているが、従来の撮影装置では、撮影対象物体以外に撮影範囲に含まれるすべての物体が撮影画像として記録されるため、例えば、人通りのある場所で人物を撮影する場合人通りが切れるのを待って撮影する必要がある。しかしながら、日常生活の中で撮影する場合にはそうしたタイミングが到来するのはまれであり、そうしたタイミングを待っている間に肝心の撮影タイミングを失ってしまうおそれがある。

そこで、本発明は、撮影タイミングを失うことなく撮影が行えると共に撮影対象物体以外の物体を画像から除去することができる撮影画像処理装置及び方法を提供することを目的とするものである。

請求項１の発明は撮影画像処理装置であって、一連の撮影画像を記憶する記憶手段と、撮影画像の差分画像に基づいて異物画像を抽出する異物抽出手段と、抽出された異物画像の除去エリアを指定する指定手段と、撮影画像から異物画像が除去された背景全体画像を生成する背景生成手段と、別の撮影画像に基づいて除去エリアに対応する背景部分画像を取得して背景全体画像に貼付する背景更新手段とを備えていることを特徴とする。
請求項２の発明は撮影画像処理装置は、一連の撮影画像を記憶する記憶手段と、撮影画像の差分画像に基づいて異物画像を抽出する異物抽出手段と、抽出された異物画像の除去エリアを指定する指定手段と、撮影画像から異物画像が除去された背景全体画像を生成する背景生成手段と、別の撮影画像に基づいて除去エリアに対応する背景部分画像を取得して背景全体画像に貼付する背景更新手段と、更新された背景全体画像に前記指定手段により指定されない異物画像を貼付する記録画像生成手段とを備えていることを特徴とする。
請求項３の発明は、請求項１に記載の撮影画像処理装置において、前記異物抽出手段により抽出された異物画像エリアを撮影画像とともに表示する表示制御手段を備えていることを特徴とする。
請求項４の発明は撮影画像処理方法であって、一連の撮影画像を用い撮影画像の差分画像に基づいて異物画像を抽出し、抽出した異物画像の除去エリアを指定し、撮影画像から異物画像が除去された背景全体画像を生成し、別の撮影画像に基づいて除去エリアに対応する背景部分画像を取得して背景全体画像に貼付して背景全体画像を更新して記録画像を生成することを特徴とする。

上記のような構成を有することで、一連の撮影画像を用い撮影画像の差分画像に基づいて異物画像を抽出し不要な異物画像を除去エリアに指定して背景部分画像と置き換えるようにしているので、必要な撮影対象物体を残して撮影者の意図通りの記録画像を生成することができる。例えば、人通りのある場所で人物を撮影した場合でも何枚か撮影した撮影画像に基づいて撮影したい人物以外の動きのある人や物体（小動物や車等）の画像を除去して背景部分画像を貼付することで、違和感のない背景画像を備えた記録画像を得ることが可能となる。
そして、異物抽出手段により抽出された異物画像エリアを撮影画像とともに表示する表示制御手段を備えることで、表示された異物画像エリアを見ながら除去エリアを指定することができるようになり、撮影者が予め除去する異物画像を確認して記録画像を生成することができ、より利便性の向上を図ることが可能となる。
なお、本明細書において、異物とは、撮影中に移動する人、車、小動物といった動物体のことを意味する。

以下、本発明に係る実施形態について詳しく説明する。
図１は、本発明に係る実施形態に関する概略ブロック構成図である。撮影画像処理装置１には、ＣＣＤ又はＣＭＯＳといった撮像素子を搭載したカメラ部２、撮影画像等を表示するモニタ３、記録画像４ａが蓄積される外部メモリ４が接続されている。

撮影画像処理装置１は、装置全体を制御する制御部１０、撮影画像等の画像データを処理する画像処理部１１、カメラ部２から撮影画像を取得する画像取得部１２、取得された撮影画像１３ａ、画像処理された処理画像１３ｂ及び作成された背景画像１３ｃ等を記憶する画像メモリ１３、モニタ３に画像を表示させる画像表示部１４、外部メモリ４との間でデータの入出力を行う入出力部１５、操作キーによる入力や操作のための表示を行う操作表示部１６、制御のためのプログラムや設定データを記憶する記憶部１７を備えている。

制御部１０は、除去処理制御部１０ａ及び通知処理部１０ｂを備えている。また、画像処理部１１は、異物画像抽出部１１ａ、異物画像エリア表示制御部１１ｂ、背景画像処理部１１ｃ及び記録画像生成部１１ｄを備えている。

除去処理制御部１０ａは、操作表示部１６からの操作入力情報に基づいて異物除去処理を開始してカメラ部２や画像処理部１１等を制御したり、除去する異物の自動指定又は手動指定といった制御を行う。通知処理部１０ｂでは、異物除去処理に関して可能か否かといった通知を操作表示部１６で行うように制御する。

異物除去処理では、カメラ部２で撮影された一連の撮影画像が画像メモリ１３に蓄積される。例えば、異物除去処理が選択されて撮影ボタンが操作されると、所定時間毎に撮影が行われて一連の撮影画像を得ることができる。

異物画像抽出部１１ａでは、蓄積された一連の撮影画像のうち特定の撮影画像を別の撮影画像と比較して差分画像を作成し、差分画像に基づいて特定の撮影画像の変化領域を決定して異物画像とする。こうしたやり方は、映像監視装置等において映像から侵入者を特定するために使用されており、公知の技術である。そして、異物画像として特定された領域の画像を切り出して抽出する。

異物画像エリア表示制御部１１ｂでは、異物画像として特定された領域をラインで囲むといった表示を撮影画像とともにモニタ３で表示するように制御を行う。

背景画像処理部１１ｃは、特定の撮影画像から異物画像が切り出された背景全体画像を生成したり、別の撮影画像から異物画像が除去されたエリアに対応する背景部分画像を切り出し背景全体画像に貼付するといった背景画像に関する画像処理を行う。

記録画像生成部１１ｄは、撮影画像から記録画像を生成したり、背景画像処理部１１ｃで処理された背景全体画像に指定されない異物画像を貼付して記録画像を生成する。

図２は、異物除去処理に関するフローである。異物除去処理が選択されると、まず、カメラ部２が撮影を開始し、一連の撮影画像が画像メモリ１３に蓄積される（Ｓ１００）。例えば、図４のような撮影画像が取得されたものとする。次に、図４の撮影画像と別の撮影画像を用いて異物画像抽出処理を行う（Ｓ１０１）。差分画像が生成されてそれに対応する変化領域が決定され、例えば、図５の点線による囲み表示で示すように、人、車、小動物といった動物体の画像が異物画像として決定される。

そして、異物画像が抽出されたか否かチェックされ（Ｓ１０２）、異物画像が抽出された場合には、異物画像エリア表示が行われる（Ｓ１０３）。図６に示すように、モニタ３に撮影画像とともにラインで囲むことで異物画像を表示する。次に、撮影者が表示された異物画像を見て除去すべきエリアを選択指定する。エリアの指定は、例えば、選択キーを操作して順次異物画像エリアを選択し除去エリアに指定する場合には決定キーを操作して指定するようにすればよい。この例では、手動による除去エリアの指定が行われるが、自動指定を設定することも可能で、自動指定の場合には異物画像エリアすべてが除去エリアに指定される。

次に、除去エリアの指定操作の有無がチェックされて（Ｓ１０４）、除去エリアの指定が行われると、異物画像の切り出し処理が行われる（Ｓ１０５）。図７に示すように、図４の撮影画像で異物画像として決定された領域の外形線に沿って画像の切り出しが行われる。そして、異物画像が切り出された背景全体画像が生成される（Ｓ１０６）。図８に示すように、異物画像が除去された残りの画像を背景全体画像として生成し、生成された背景全体画像に除去エリアに対応する背景部分画像を貼付する更新処理が行われる（Ｓ１０７）。

図３は、背景画像の更新処理に関するフローである。更新処理では、まず、別の撮影画像を取得して（Ｓ２００）異物画像抽出処理が行われる（Ｓ２０１）。そして、異物画像の有無がチェックされて（Ｓ２０２）異物画像がない場合には、除去エリアに重なる異物画像はないので、除去エリアに対応する背景部分画像を切り出し処理する（Ｓ２０３）。異物画像がある場合には、異物画像エリアと重ならない除去エリアに対応する背景部分画像を切り出し処理する（Ｓ２０４）。この例では、図９に示す除去エリアに対して図１０に示すように異物画像が重ならないので、すべての除去エリアについて背景部分画像を切り出すことができる。

切り出された背景部分画像は、ステップＳ１０６で生成された背景全体画像の対応する除去エリアに貼付される（Ｓ２０５）。そして、すべての除去エリアに背景部分画像が貼付されたかチェックされ（Ｓ２０６）、図１１に示すように背景部分画像がすべて貼付された場合には更新処理を終了して戻る。すべての除去エリアに背景部分画像が貼付されていない場合には、すべての撮影画像について更新処理を行ったかチェックして（Ｓ２０７）、更新処理されていない撮影画像がある場合にはさらに別の撮影画像を用いて同様の更新処理を行うためにステップＳ２００に戻る。

背景画像の更新処理の後、すべての除去エリアが背景部分画像が貼付されて更新されたかチェックし（Ｓ１０８）、すべて更新された場合には、除去エリアとして指定されていない異物画像についてステップＳ１０５で切り出された異物画像から選択して更新された背景全体画像の元のエリアに貼付する。そして、異物除去処理が可能である旨の処理可能通知を表示する（Ｓ１１０）。ステップＳ１０８ですべての除去エリアが更新されていない場合には、背景全体画像が不完全なため異物除去処理ができない旨の処理不可能通知を表示する（Ｓ１１１）。また、ステップＳ１０２で異物画像がないと判定された場合には、異物なし通知を表示する（Ｓ１１２）。

通知した後記録画像を生成して画面表示し（Ｓ１１３）、撮影者は、表示された記録画像を記録するか否か決定する。記録画像としては、異物がない場合や背景画像の更新処理ができない場合には撮影画像に基づいた記録画像や処理された時点までの処理画像を生成する。また、背景画像の更新処理が可能な場合には、ステップＳ１０９で生成された画像に基づいて記録画像が生成される。

以上説明したように、カメラ部２で撮影された一連の撮影画像を用いて撮影範囲に含まれる不要な異物画像を除去エリアとして指定して容易に除去できると共に背景部分画像を除去エリアに貼付して違和感のない背景画像を生成することができる。そのため、撮影者の意図通りの記録画像を容易に作成することが可能となる。
なお、以上の実施形態では、除去エリアを選択するものを例に採って説明したが、本発明は、逆に残存エリアを選択する場合にも適用可能である。
したがって、このような場合は、本願発明において、「除去エリア」は「残存エリア」に読み替えるものとする。

本発明に係る実施形態に関する概略ブロック構成図である。異物除去処理に関するフローである。背景画像の更新処理に関するフローである。処理の過程を示す画像例である。処理の過程を示す画像例である。処理の過程を示す画像例である。処理の過程を示す画像例である。処理の過程を示す画像例である。処理の過程を示す画像例である。処理の過程を示す画像例である。処理の過程を示す画像例である。

符号の説明

１・・・撮影画像処理装置、２・・・カメラ部、３・・・モニタ、４・・・外部メモリ。

Claims

一連の撮影画像を記憶する記憶手段と、撮影画像の差分画像に基づいて異物画像を抽出する異物抽出手段と、抽出された異物画像の除去エリアを指定する指定手段と、撮影画像から異物画像が除去された背景全体画像を生成する背景生成手段と、別の撮影画像に基づいて除去エリアに対応する背景部分画像を取得して背景全体画像に貼付する背景更新手段とを備えていることを特徴とする撮影画像処理装置。
一連の撮影画像を記憶する記憶手段と、撮影画像の差分画像に基づいて異物画像を抽出する異物抽出手段と、抽出された異物画像の除去エリアを指定する指定手段と、撮影画像から異物画像が除去された背景全体画像を生成する背景生成手段と、別の撮影画像に基づいて除去エリアに対応する背景部分画像を取得して背景全体画像に貼付する背景更新手段と、更新された背景全体画像に前記指定手段により指定されない異物画像を貼付する記録画像生成手段とを備ええていることを特徴とする撮影画像処理装置。
前記異物抽出手段により抽出された異物画像エリアを撮影画像とともに表示する表示制御手段を備えていることを特徴とする請求項１に記載の撮影画像処理装置。
一連の撮影画像を用い撮影画像の差分画像に基づいて異物画像を抽出し、抽出した異物画像の除去エリアを指定し、撮影画像から異物画像が除去された背景全体画像を生成し、別の撮影画像に基づいて除去エリアに対応する背景部分画像を取得して背景全体画像に貼付して背景全体画像を更新して記録画像を生成することを特徴とする撮影画像処理方法。