JP2012134775A - 画像処理装置、撮像装置、および画像処理プログラム - Google Patents
画像処理装置、撮像装置、および画像処理プログラム Download PDFInfo
- Publication number
- JP2012134775A JP2012134775A JP2010285166A JP2010285166A JP2012134775A JP 2012134775 A JP2012134775 A JP 2012134775A JP 2010285166 A JP2010285166 A JP 2010285166A JP 2010285166 A JP2010285166 A JP 2010285166A JP 2012134775 A JP2012134775 A JP 2012134775A
- Authority
- JP
- Japan
- Prior art keywords
- image
- main subject
- processing apparatus
- image processing
- background
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Studio Devices (AREA)
Abstract
【課題】 主要被写体画像と背景画像とを抽出し、好適な画像処理を行うことにより興趣に富む新たな画像を生成するための手段を提供すること。
【解決手段】 処理の対象となる対象画像の情報を取得する取得部と、前記対象画像に基づいて、前記対象画像における被写体と背景との少なくとも一方の分布を示す情報を作成する作成部と、複数の前記対象画像ごとの前記情報に基づいて、複数の前記対象画像のそれぞれから主要被写体画像を抽出する第1抽出部と、複数の前記対象画像ごとの前記情報に基づいて、複数の前記対象画像のうち、任意の1枚の前記対象画像から背景画像を抽出する第2抽出部と、前記第1抽出部により抽出した少なくとも1枚の前記主要被写体画像と、前記第2抽出部により抽出した前記背景画像との少なくとも一方に基づき、新たな画像を生成する生成部とを備える。
【選択図】 図1
【解決手段】 処理の対象となる対象画像の情報を取得する取得部と、前記対象画像に基づいて、前記対象画像における被写体と背景との少なくとも一方の分布を示す情報を作成する作成部と、複数の前記対象画像ごとの前記情報に基づいて、複数の前記対象画像のそれぞれから主要被写体画像を抽出する第1抽出部と、複数の前記対象画像ごとの前記情報に基づいて、複数の前記対象画像のうち、任意の1枚の前記対象画像から背景画像を抽出する第2抽出部と、前記第1抽出部により抽出した少なくとも1枚の前記主要被写体画像と、前記第2抽出部により抽出した前記背景画像との少なくとも一方に基づき、新たな画像を生成する生成部とを備える。
【選択図】 図1
Description
本発明は、画像処理装置、撮像装置、および画像処理プログラムに関する。
従来より、画像から構図情報を抽出し、抽出した構図情報に基づいて画像を再構成する技術が提案されている。一例として、特許文献1には、被写体からコントラストなどの構図情報を抽出し、この構図情報に基づき被写体を背景画像に再配置する技術が開示されている。
しかし、従来の技術は、被写体の位置を機械的に修正するものに過ぎず、画一的な修正を施し、視覚的にバランスの良い絵を再構成することを目的としている。したがって、入力画像について新たな表現や楽しみ方を提案するといった効果を期待することができるものではない。
本発明の目的は、主要被写体画像と背景画像とを抽出し、好適な画像処理を行うことにより興趣に富む新たな画像を生成するための手段を提供することにある。
一の態様の画像処理装置は、処理の対象となる対象画像の情報を取得する取得部と、前記対象画像に基づいて、前記対象画像における被写体と背景との少なくとも一方の分布を示す情報を作成する作成部と、複数の前記対象画像ごとの前記情報に基づいて、複数の前記対象画像のそれぞれから主要被写体画像を抽出する第1抽出部と、複数の前記対象画像ごとの前記情報に基づいて、複数の前記対象画像のうち、任意の1枚の前記対象画像から背景画像を抽出する第2抽出部と、前記第1抽出部により抽出した少なくとも1枚の前記主要被写体画像と、前記第2抽出部により抽出した前記背景画像との少なくとも一方に基づき、新たな画像を生成する生成部とを備える。
なお、前記生成部は、前記背景画像に対して、前記背景画像にぼかし効果を加える処理を施し、前記処理後の前記背景画像と、少なくとも1枚の前記主要被写体画像とに基づき前記新たな画像を生成しても良い。
また、前記生成部は、前記背景画像について、前記第2抽出部による抽出時に発生する欠損部分を補完する処理を施し、前記処理後の前記背景画像と、少なくとも1枚の前記主要被写体画像とに基づき前記新たな画像を生成しても良い。
また、前記生成部は、前記背景画像のうち、前記欠損部分を除く部分の画像に基づいて、前記欠損部分を補完しても良い。
また、前記生成部は、少なくとも1枚の前記主要被写体画像と前記背景画像との間に所定の距離を設定し、仮想三次元モデリングを行うことにより左目用画像および右目用画像から成る前記新たな画像を生成しても良い。
また、前記取得部は、前記対象画像が生成された際の撮影条件を更に取得し、前記生成部は、前記撮影条件に基づいて前記所定の距離を設定しても良い。
また、前記生成部は、前記マップに基づいて、前記新たな画像中の主要被写体の位置に応じた位置に、任意の画像情報と文字情報との少なくとも一方を挿入しても良い。
また、前記生成部は、前記第1抽出部により抽出した少なくとも1枚の前記主要被写体画像のみに基づいて、前記新たな画像を生成するか、または、前記第1抽出部により抽出した少なくとも1枚の前記主要被写体画像と、任意の画像とに基づいて、前記新たな画像を生成しても良い。
また、前記生成部は、前記新たな画像として静止画像を生成しても良い。
また、前記第1抽出部により抽出した複数の前記主要被写体画像に基づいて、前記主要被写体の動き情報を演算する演算部をさらに備え、前記生成部は、前記動き情報に応じて、前記第1抽出部により抽出した少なくとも1枚の前記主要被写体画像と、前記第2抽出部により抽出した前記背景画像とに基づく新たな画像を生成しても良い。
また、前記生成部は、前記新たな画像として、複数のフレームから成る動画像を生成しても良い。
また、前記第1抽出部により抽出した複数の前記主要被写体画像に基づいて、前記主要被写体の動き情報を演算する演算部をさらに備え、前記生成部は、前記動き情報に応じて、前記第1抽出部により抽出した少なくとも1枚の前記主要被写体画像と、前記第2抽出部により抽出した前記背景画像とに基づく新たな画像を生成しても良い。
また、前記生成部は、前記背景画像に対して、前記動き情報に応じた方向にブレを発生させる処理を施し、前記処理後の前記背景画像と、少なくとも1枚の前記主要被写体画像とに基づき前記新たな画像を生成しても良い。
また、前記第2抽出部は、複数の前記対象画像ごとの前記情報に基づいて、複数の前記対象画像から複数の前記背景画像を抽出し、前記生成部は、任意の1枚の前記背景画像について、別の前記背景画像に基づいて、前記欠損部分を補完しても良い。
また、前記生成部は、複数の前記主要被写体画像を合成し、合成後の前記主要被写体画像を前記背景画像内の任意の1つの位置に配置するか、前記動き情報に応じて、前記合成後の前記主要被写体画像を前記背景画像内の異なる位置にそれぞれ配置するか、前記動き情報に応じて、任意の1つの前記主要被写体画像を前記背景画像内の異なる位置にそれぞれ配置するか、前記動き情報に応じて、複数の前記主要被写体画像を前記背景画像内の異なる位置にそれぞれ配置することにより前記静止画像を生成しても良い。
また、前記生成部により生成した前記静止画像を記録する記録部をさらに備えても良い。
また、前記生成部は、複数の前記主要被写体画像を合成し、前記動き情報に応じて、合成後の前記主要被写体画像を複数の前記フレームのそれぞれにおいて前記背景画像に配置する処理と、任意の前記主要被写体画像を複数の前記フレームのそれぞれにおいて前記背景画像内の異なる位置にそれぞれ配置する処理と、前記動き情報に応じて、複数の前記フレームのそれぞれに異なる前記主要被写体画像を配置する処理との少なくとも1つを行うことにより前記動画像を生成しても良い。
また、前記生成部は、前記動き情報に応じて、複数の前記フレームのそれぞれにおいて異なる前記背景画像に前記主要被写体画像を配置することにより前記動画像を生成しても良い。
また、前記生成部は、前記第2抽出部により抽出した前記背景画像に対して、トリミング処理と、拡大縮小処理と、前記背景画像の少なくとも一部を複製して前記背景画像に連結する処理との少なくとも1つを行うことにより、複数の前記フレームに対応する複数の前記背景画像を生成しても良い。
また、前記生成部により生成した前記動画像を記録する記録部をさらに備え、前記記録部は、複数の前記フレームのそれぞれについて、前記主要被写体画像と、前記背景画像と、前記背景画像に前記主要被写体を合成する際の配置を示す情報とを関連づけて記録しても良い。
また、前記生成部により生成した前記動画像を記録する記録部をさらに備え、前記生成部は、複数の前記フレームのそれぞれにおいて前記主要被写体画像と前記背景画像とを合成する処理を行い、前記記録部は、前記生成部により前記処理が行われた前記動画像を記録しても良い。
別の態様の画像処理装置は、処理の対象となる対象画像の情報を取得する取得部と、前記対象画像に基づいて、前記対象画像における被写体と背景との少なくとも一方の分布を示す情報を作成する作成部と、複数の前記対象画像ごとの前記情報に基づいて、複数の前記対象画像のそれぞれから主要被写体画像を抽出する第1抽出部と、複数の前記対象画像ごとの前記情報に基づいて、複数の前記対象画像のうち、少なくとも2枚の前記対象画像から複数の背景画像を抽出する第2抽出部と、前記第1抽出部により抽出した少なくとも1枚の前記主要被写体画像と、前記第2抽出部により抽出した複数の前記背景画像との少なくとも一方に基づき、新たな画像を生成する生成部とを備える。
一の態様の撮像装置は、被写体の像を撮像する撮像部と、上述したいずれかの画像処理装置とを備え、前記取得部は、前記撮像部から前記対象画像の情報を取得する。
なお、コンピュータを一の態様の画像処理装置として動作させるプログラムや、このプログラムを記憶した記憶媒体や、一の態様に係る画像処理装置の動作を方法のカテゴリで表現したものも、本発明の具体的態様として有効である。
本発明によれば、主要被写体画像と背景画像とを抽出し、好適な画像処理を行うことにより興趣に富む新たな画像を生成することができる。
<第1実施形態の説明>
図1は、第1実施形態での画像処理装置の構成例を示すブロック図である。第1実施形態の画像処理装置は、撮像装置により撮像された処理対象の画像(対象画像)について、新たな画像を生成する画像処理プログラムがインストールされたパーソナルコンピュータで構成される。
図1は、第1実施形態での画像処理装置の構成例を示すブロック図である。第1実施形態の画像処理装置は、撮像装置により撮像された処理対象の画像(対象画像)について、新たな画像を生成する画像処理プログラムがインストールされたパーソナルコンピュータで構成される。
図1に示すコンピュータ11は、データ読込部12、記憶装置13、CPU14、メモリ15および入出力I/F16、バス17を有している。データ読込部12、記憶装置13、CPU14、メモリ15および入出力I/F16は、バス17を介して相互に接続されている。さらに、コンピュータ11には、入出力I/F16を介して、入力デバイス18(キーボード、ポインティングデバイスなど)とモニタ19とがそれぞれ接続されている。なお、入出力I/F16は、入力デバイス18からの各種入力を受け付けるとともに、モニタ19に対して表示用のデータを出力する。
データ読込部12は、上記の対象画像のデータや、上記の画像処理プログラムを外部から読み込むときに用いられる。例えば、データ読込部12は、着脱可能な記憶媒体からデータを取得する読込デバイス(光ディスク、磁気ディスク、光磁気ディスクの読込装置など)や、公知の通信規格に準拠して外部の装置と通信を行う通信デバイス(USBインターフェース、LANモジュール、無線LANモジュールなど)で構成される。
記憶装置13は、例えば、ハードディスクや、不揮発性の半導体メモリなどの記憶媒体で構成される。この記憶装置13には、画像処理プログラムや、プログラムの実行に必要となる各種のデータが記録されている。なお、記憶装置13には、データ読込部12から読み込んだ対象画像のデータを記憶しておくこともできる。
CPU14は、コンピュータ11の各部を統括的に制御するプロセッサである。このCPU14は、上記の画像処理プログラムの実行によって、情報作成部21と、画像生成部25としてそれぞれ機能する(情報作成部21、画像生成部25の各動作は後述する)。
メモリ15は、画像処理プログラムでの各種演算結果(変数およびフラグの値など)を一時的に記憶する。このメモリ15は、例えば揮発性のSDRAMなどで構成される。
以下、図2および図3の流れ図を参照しつつ、第1実施形態における画像処理装置の動作例を説明する。なお、図2および図3の図中のステップ番号はそれぞれ対応している。なお、図2および図3の流れ図の処理は、ユーザによるプログラム実行指示に応じて、CPU14が画像処理プログラムを実行することで開始される。
(ステップS1)
CPU14は、データ読込部12を介して、ユーザにより指定された複数の対象画像のデータを外部から取得する。なお、対象画像のデータが予め記憶装置13などに記憶されている場合には、CPU14はS101の処理を省略してもよい。また、複数の対象画像は、時間的に連続して撮影されたものであり、例えば、いわゆる連写により生成された複数の画像や、複数のフレームから成る動画像など、どのようなものであっても良い。また、これらの複数の画像は、一定の時間間隔で撮影されたものでも良いし、変則的な時間間隔で撮影されたものでも良い。以下では、図4に示す3枚の画像(Img[t=1],Img[t=2],Img[t=3])を取得した場合を例に挙げて説明を行う。
CPU14は、データ読込部12を介して、ユーザにより指定された複数の対象画像のデータを外部から取得する。なお、対象画像のデータが予め記憶装置13などに記憶されている場合には、CPU14はS101の処理を省略してもよい。また、複数の対象画像は、時間的に連続して撮影されたものであり、例えば、いわゆる連写により生成された複数の画像や、複数のフレームから成る動画像など、どのようなものであっても良い。また、これらの複数の画像は、一定の時間間隔で撮影されたものでも良いし、変則的な時間間隔で撮影されたものでも良い。以下では、図4に示す3枚の画像(Img[t=1],Img[t=2],Img[t=3])を取得した場合を例に挙げて説明を行う。
(ステップS2)
CPU14は、ステップS1で取得した複数の対象画像の画像データのそれぞれについて、被写体と背景との少なくとも一方の分布を示す主要被写体情報を作成する。なお、主要被写体情報の作成はどのような方法で行われても良い。また、対象画像の付帯情報などに、予め主要被写体情報が記録されている場合には、CPU14はS2の処理を省略する。
CPU14は、ステップS1で取得した複数の対象画像の画像データのそれぞれについて、被写体と背景との少なくとも一方の分布を示す主要被写体情報を作成する。なお、主要被写体情報の作成はどのような方法で行われても良い。また、対象画像の付帯情報などに、予め主要被写体情報が記録されている場合には、CPU14はS2の処理を省略する。
(ステップS3)
CPU14は、画像生成部25により、主要被写体画像の抽出を行う。画像生成部25は、ステップS1で取得した3枚の画像(Img[t=1],Img[t=2],Img[t=3])のそれぞれについて、ステップS2で作成した主要被写体情報に基づいて主要被写体画像の抽出を行う。図3に示すように、Img[t=1]から抽出した主要被写体画像をMimg[t=1]と称し、Img[t=2] から抽出した主要被写体画像をMimg[t=2]と称し、Img[t=3] から抽出した主要被写体画像をMimg[t=3]と称する。図5に、主要被写体画像Mimg[t=1]を例示する。
CPU14は、画像生成部25により、主要被写体画像の抽出を行う。画像生成部25は、ステップS1で取得した3枚の画像(Img[t=1],Img[t=2],Img[t=3])のそれぞれについて、ステップS2で作成した主要被写体情報に基づいて主要被写体画像の抽出を行う。図3に示すように、Img[t=1]から抽出した主要被写体画像をMimg[t=1]と称し、Img[t=2] から抽出した主要被写体画像をMimg[t=2]と称し、Img[t=3] から抽出した主要被写体画像をMimg[t=3]と称する。図5に、主要被写体画像Mimg[t=1]を例示する。
(ステップS4)
CPU14は、画像生成部25により、背景画像の抽出を行う。画像生成部25は、ステップS1で取得した3枚の画像(Img[t=1],Img[t=2],Img[t=3])の少なくとも1枚ついて、ステップS2で作成した主要被写体情報に基づいて背景画像の抽出を行う。ここでは、図3に示すように、Img[t=1]について背景画像を抽出し、この背景画像をBimgα[t=1]と称する。図5に、背景画像BMimgα[t=1]を例示する。背景画像BMimgα[t=1]は、図5に示すように、主要被写体画像に対応する部分が欠損した画像となる。
CPU14は、画像生成部25により、背景画像の抽出を行う。画像生成部25は、ステップS1で取得した3枚の画像(Img[t=1],Img[t=2],Img[t=3])の少なくとも1枚ついて、ステップS2で作成した主要被写体情報に基づいて背景画像の抽出を行う。ここでは、図3に示すように、Img[t=1]について背景画像を抽出し、この背景画像をBimgα[t=1]と称する。図5に、背景画像BMimgα[t=1]を例示する。背景画像BMimgα[t=1]は、図5に示すように、主要被写体画像に対応する部分が欠損した画像となる。
(ステップS5)
CPU14は、画像生成部25により、ステップS4で抽出した背景画像Bimgα[t=1]の補完処理を行う。例えば、画像生成部25は、図5に示すように、欠損部分を除く部分の画像に基づいて、欠損部分を補完する処理を行っても良い。また、ステップS4において、複数の対象画像から複数の背景画像を抽出しておき、任意の1枚の背景画像について、別の背景画像に基づいて、欠損部分を補完する処理を行っても良い。さらに、予め欠損部分の補完に適した画像をいくつか用意しておき、このような画像を用いて欠損部分を補完する処理を行っても良い。欠損部分を補完した後の背景画像をBimgβ[t=1]と称し、図5に、背景画像BMimgβ[t=1]を例示する。
CPU14は、画像生成部25により、ステップS4で抽出した背景画像Bimgα[t=1]の補完処理を行う。例えば、画像生成部25は、図5に示すように、欠損部分を除く部分の画像に基づいて、欠損部分を補完する処理を行っても良い。また、ステップS4において、複数の対象画像から複数の背景画像を抽出しておき、任意の1枚の背景画像について、別の背景画像に基づいて、欠損部分を補完する処理を行っても良い。さらに、予め欠損部分の補完に適した画像をいくつか用意しておき、このような画像を用いて欠損部分を補完する処理を行っても良い。欠損部分を補完した後の背景画像をBimgβ[t=1]と称し、図5に、背景画像BMimgβ[t=1]を例示する。
(ステップS6)
CPU14は、画像生成部25により、ステップS3で抽出した複数の主要被写体画像に基づいて、動き情報の演算を行う。動き情報の演算は公知技術と同様に行われる。なお、画像生成部25は、ステップS3で抽出した複数の主要被写体画像に基づいて動き情報を演算しても良いし、ステップS2で作成した主要被写体情報に基づいて動き情報を演算しても良い。さらに、ステップS3で抽出した複数の主要被写体画像とステップS2で作成した主要被写体情報との両方に基づいて動き情報を演算しても良い。動き情報には、主要被写体の動きの向きや速さなどの情報が含まれ、以下では、動き情報をInfo[M]と称する。
CPU14は、画像生成部25により、ステップS3で抽出した複数の主要被写体画像に基づいて、動き情報の演算を行う。動き情報の演算は公知技術と同様に行われる。なお、画像生成部25は、ステップS3で抽出した複数の主要被写体画像に基づいて動き情報を演算しても良いし、ステップS2で作成した主要被写体情報に基づいて動き情報を演算しても良い。さらに、ステップS3で抽出した複数の主要被写体画像とステップS2で作成した主要被写体情報との両方に基づいて動き情報を演算しても良い。動き情報には、主要被写体の動きの向きや速さなどの情報が含まれ、以下では、動き情報をInfo[M]と称する。
(ステップS7)
CPU14は、画像生成部25により、画像処理を行う。画像生成部25は、画像処理によって、新たな画像として、特定の画像効果を有する静止画像または動画像を生成する。また、画像生成部25は、静止画像および動画像のそれぞれについて、3D画像を生成する。また、画像生成部25は、静止画像および動画像のそれぞれについて、画像情報や文字情報を挿入する処理を行う。新たな画像としてどのような画像を生成するかは、ユーザ指示により定められても良いし、CPU14が適宜選択する構成としても良い。以下では、静止画像を生成する場合と、動画像を生成する場合と、3D画像を生成する場合と、画像情報や文字情報を挿入する場合とに分けて、主要被写体画像に対する画像処理の内容と背景画像に対する画像処理の内容とを説明する。
CPU14は、画像生成部25により、画像処理を行う。画像生成部25は、画像処理によって、新たな画像として、特定の画像効果を有する静止画像または動画像を生成する。また、画像生成部25は、静止画像および動画像のそれぞれについて、3D画像を生成する。また、画像生成部25は、静止画像および動画像のそれぞれについて、画像情報や文字情報を挿入する処理を行う。新たな画像としてどのような画像を生成するかは、ユーザ指示により定められても良いし、CPU14が適宜選択する構成としても良い。以下では、静止画像を生成する場合と、動画像を生成する場合と、3D画像を生成する場合と、画像情報や文字情報を挿入する場合とに分けて、主要被写体画像に対する画像処理の内容と背景画像に対する画像処理の内容とを説明する。
(1)新たな画像として静止画像を生成する場合
画像生成部25は、ステップS3で抽出した主要被写体画像の少なくとも1つと、ステップS4で抽出し、ステップS5で補完処理を施した背景画像とを、ステップS6で演算した動き情報Info[M]に基づいて合成することにより、新たな画像として静止画像を生成する。
画像生成部25は、ステップS3で抽出した主要被写体画像の少なくとも1つと、ステップS4で抽出し、ステップS5で補完処理を施した背景画像とを、ステップS6で演算した動き情報Info[M]に基づいて合成することにより、新たな画像として静止画像を生成する。
(1)−a 主要被写体画像に関する画像処理
画像生成部25は、(A)複数の主要被写体画像を合成し、合成後の主要被写体画像を背景画像内の任意の1つの位置に配置するか、(B)動き情報Info[M]に応じて、複数の主要被写体画像を合成した主要被写体画像を背景画像内の異なる位置にそれぞれ配置するか、(C)動き情報Info[M]に応じて、任意の1つの主要被写体画像を背景画像内の異なる位置にそれぞれ配置するか、(D)動き情報Info[M]に応じて、複数の主要被写体画像を背景画像内の異なる位置にそれぞれ配置することにより静止画像を生成する。図6に上述した(A)〜(D)の方法で生成した静止画像を例示する。
画像生成部25は、(A)複数の主要被写体画像を合成し、合成後の主要被写体画像を背景画像内の任意の1つの位置に配置するか、(B)動き情報Info[M]に応じて、複数の主要被写体画像を合成した主要被写体画像を背景画像内の異なる位置にそれぞれ配置するか、(C)動き情報Info[M]に応じて、任意の1つの主要被写体画像を背景画像内の異なる位置にそれぞれ配置するか、(D)動き情報Info[M]に応じて、複数の主要被写体画像を背景画像内の異なる位置にそれぞれ配置することにより静止画像を生成する。図6に上述した(A)〜(D)の方法で生成した静止画像を例示する。
まず、(A)の方法では、画像生成部25は、ステップS3で抽出した主要被写体画像Mimg[t=1]〜主要被写体画像Mimg[t=3]を重畳合成し、重畳主要被写体画像Smig[t=1〜3]を生成する。そして、この重畳主要被写体画像Smig[t=1〜3]を、ステップS5で補完処理を施した背景画像BMimgβ[t=1]の任意の1つの位置に配置することにより、主要被写体に動きが感じられる画像を生成することができる。
(B)の方法では、画像生成部25は、(A)で説明した重畳主要被写体画像Smig[t=1〜3]を、動き情報Info[M]に応じて、ステップS5で補完処理を施した背景画像BMimgβ[t=1]内の異なる位置にそれぞれ配置することにより、主要被写体に動きが感じられる画像を生成することができる。
(C)の方法では、画像生成部25は、ステップS3で抽出した主要被写体画像Mimg[t=1]〜主要被写体画像Mimg[t=3]のうち、任意の1つの主要被写体画像(図6の例では、主要被写体画像Mimg[t=1]を例示)を、動き情報Info[M]に応じて、ステップS5で補完処理を施した背景画像BMimgβ[t=1]内の異なる位置にそれぞれ配置することにより、主要被写体に動きが感じられる画像を生成することができる。
(D)の方法では、画像生成部25は、ステップS3で抽出した主要被写体画像Mimg[t=1]〜主要被写体画像Mimg[t=3]を、動き情報Info[M]に応じて、ステップS5で補完処理を施した背景画像BMimgβ[t=1]内の異なる位置にそれぞれ配置することにより、主要被写体に動きが感じられる画像を生成することができる。
なお、(B)〜(D)における配置位置の変化量は、一定の量であっても良いし、変則的な量であっても良い。例えば、変化量を徐々に多くすることにより、主要被写体が加速するような表現を実現することも可能である。
(1)−b 背景画像に関する画像処理
画像生成部25は、ステップS5で補完処理を施した背景画像BMimgβ[t=1]に対して、動き情報Info[M]に応じた方向にブレを発生させる処理を施し、処理後の背景画像BMimgβ[t=1]と、主要被写体画像Mimg[t=1]〜主要被写体画像Mimg[t=3]のうち少なくとも1枚の主要被写体画像とに基づき新たな画像として静止画像を生成する。
画像生成部25は、ステップS5で補完処理を施した背景画像BMimgβ[t=1]に対して、動き情報Info[M]に応じた方向にブレを発生させる処理を施し、処理後の背景画像BMimgβ[t=1]と、主要被写体画像Mimg[t=1]〜主要被写体画像Mimg[t=3]のうち少なくとも1枚の主要被写体画像とに基づき新たな画像として静止画像を生成する。
この処理を行う場合、画像生成部25は、例えば、動き情報Info[M]に即したポイントスプレッドファンクション(PSF:点光源を撮影した際の像面上の軌跡に相当)を生成し、生成したPSFと背景画像BMimgβ[t=1]とを畳み込み演算することにより、擬似的に主要被写体の動き方向にブレが発生した背景画像を生成することができる。
この処理は、画像生成部25において常に行っても良いし、ユーザの選択に応じて行っても良い。また、この処理は(1)−aで説明した全ての主要被写体画像について適応可能である。
図7に、ブレを発生させる処理後の背景画像BMimgβ[t=1]、および、処理後の背景画像BMimgβ[t=1]と、(1)−aの(A)で例示した重畳主要被写体画像Smig[t=1〜3]とに基づいて生成した静止画像を例示する。
このように、擬似的に背景をブラした背景画像を用いることにより、擬似的に流し撮りを行ったかのような静止画像を得ることができる。
上述した例では、ステップS5で補完処理を施した背景画像BMimgβ[t=1]に対して、ブレを発生する処理を施す例を示したが、ステップS5で補完処理を施した背景画像BMimgβ[t=1]に対して、ぼかし効果を加える処理を施しても良い。このような処理により、擬似的にマクロ撮影を行ったかのような静止画像を得ることができる。
(2)新たな画像として動画像を生成する場合
画像生成部25は、ステップS3で抽出した主要被写体画像の少なくとも1つと、ステップS4で抽出し、ステップS5で補完処理を施した背景画像とを、ステップS6で演算した動き情報Info[M]に基づいて合成することにより、新たな画像として、複数のフレームから成る動画像を生成する。
画像生成部25は、ステップS3で抽出した主要被写体画像の少なくとも1つと、ステップS4で抽出し、ステップS5で補完処理を施した背景画像とを、ステップS6で演算した動き情報Info[M]に基づいて合成することにより、新たな画像として、複数のフレームから成る動画像を生成する。
(2)−a 主要被写体画像に関する画像処理
(2)−a−1 主要被写体画像自体に関する画像処理
画像生成部25は、フレーム毎の主要被写体画像として、以下の(A)〜(C)の何れかを用いる。
(2)−a−1 主要被写体画像自体に関する画像処理
画像生成部25は、フレーム毎の主要被写体画像として、以下の(A)〜(C)の何れかを用いる。
(A)全てのフレームにおいて、(1)−aの(A)で例示した重畳主要被写体画像Smig[t=1〜3]を主要被写体画像として用いる。
(B)全てのフレームにおいて、ステップS3で抽出した主要被写体画像Mimg[t=1]〜主要被写体画像Mimg[t=3]のうち、任意の1つの主要被写体画像を用いる。
(C)フレーム毎に、主要被写体画像Mimg[t=1]〜主要被写体画像Mimg[t=3]の何れかを用いることにより、フレームのそれぞれにおいて異なる主要被写体画像を用いる。
(2)−a−2 主要被写体画像を配置する位置に関する画像処理
画像生成部25は、フレーム毎の主要被写体画像を、以下の(A)〜(C)の何れかの位置に配置する。
画像生成部25は、フレーム毎の主要被写体画像を、以下の(A)〜(C)の何れかの位置に配置する。
(A)全てのフレームにおいて、任意の1つの位置に主要被写体画像を配置する。
(B)フレーム毎に、動き情報Info[M]に基づく異なる位置に主要被写体画像を配置する。
(C)フレーム毎に、動き情報Info[M]に基づいて、複数の主要被写体画像を、背景画像内の異なる位置にそれぞれ配置する。
なお、(B)および(C)における配置位置の変化量は、一定の量であっても良いし、変則的な量であっても良い。例えば、変化量を徐々に多くすることにより、主要被写体が加速するような表現を実現することも可能である。
また、(2)−a−1の(A)〜(C)で説明した各主要被写体画像の内容と、(2)−a−2の(A)〜(C)で説明した各主要被写体画像を配置する位置とは、どのような組み合わせであっても良い。一例として、図8に、(2)−a−1の(C)で説明した主要被写体画像を、(2)−a−2の(B)で説明した位置にそれぞれ配置する場合の各フレームの画像を例示する。
(2)−b 背景画像に関する画像処理
画像生成部25は、(1)−bで説明したものと同様の、動き情報Info[M]に応じた方向にブレを発生させる処理やぼかし効果を加える処理を施す。この処理は、画像生成部25において常に行っても良いし、ユーザの選択に応じて行っても良い。また、この処理は(2)−aで説明した全ての主要被写体画像について適応可能である。
画像生成部25は、(1)−bで説明したものと同様の、動き情報Info[M]に応じた方向にブレを発生させる処理やぼかし効果を加える処理を施す。この処理は、画像生成部25において常に行っても良いし、ユーザの選択に応じて行っても良い。また、この処理は(2)−aで説明した全ての主要被写体画像について適応可能である。
さらに、画像生成部25は、以下の(A)〜(C)の少なくとも1つの処理を行うことにより、複数のフレームのそれぞれにおいて異なる背景画像を用意しても良い。この場合、それぞれの背景画像と、(2)−aで説明した何れかの主要被写体画像とに基づいて、動画像を構成する各フレームを生成することができる。
(A)トリミング処理
フレーム毎に、背景画像BMimgβ[t=1]の異なる部分をトリミングして、各フレームの背景画像として用いる。例えば、図9に例示するように、動き情報Info[M]に基づいて、トリミング位置をずらした背景画像をフレーム毎に用いる。図9の例では、背景画像に欠損部分が発生する。この部分については、図9のように黒色の表示を行っても良いし、他の色表示や画像の表示を行っても良い。
フレーム毎に、背景画像BMimgβ[t=1]の異なる部分をトリミングして、各フレームの背景画像として用いる。例えば、図9に例示するように、動き情報Info[M]に基づいて、トリミング位置をずらした背景画像をフレーム毎に用いる。図9の例では、背景画像に欠損部分が発生する。この部分については、図9のように黒色の表示を行っても良いし、他の色表示や画像の表示を行っても良い。
このような欠損部分を生じさせないように、図10の例のようなトリミング処理を行っても良い。図10の例では、背景画像BMimgβ[t=1]の一部分のみをトリミングすることにより、上述した欠損部分が生じない。
なお、図9および図10の例においては、(2)−a−1の(A)で説明した主要被写体画像を、(2)−a−2の(A)で説明した位置にそれぞれ配置する場合の例を示している。また、上述した各トリミング時におけるトリミング位置の変化量は、一定の量であっても良いし、変則的な量であっても良い。例えば、変化量を変化させすることにより、主要被写体が変速的に移動するような表現を実現することも可能である。このとき、トリミング処理により背景画像BMimgβ[t=1]よりも画像サイズが小さくなることが考えられる。このような場合には、適宜画像のリサイズを行っても良い。
(B)拡大処理
(A)で説明したトリミング処理をより効果的に行うために、トリミング処理の前に画像の拡大処理を行う。例えば、図11に示すように、背景画像BMimgβ[t=1]を横方向(動き情報Info[M]に基づいて拡大方向や拡大倍率を決定すると良い。)に2倍に拡大する。その後に、(A)で説明したトリミング処理を行うことにより、上述した欠損部分が生じるのをさらに抑えることができる。
(A)で説明したトリミング処理をより効果的に行うために、トリミング処理の前に画像の拡大処理を行う。例えば、図11に示すように、背景画像BMimgβ[t=1]を横方向(動き情報Info[M]に基づいて拡大方向や拡大倍率を決定すると良い。)に2倍に拡大する。その後に、(A)で説明したトリミング処理を行うことにより、上述した欠損部分が生じるのをさらに抑えることができる。
なお、図11の例では横方向にのみ拡大する例を示したが、縦方向に拡大する構成としても良い。また、背景画像BMimgβ[t=1]の縦横比を維持したまま拡大処理を行っても良い。
(C)背景画像の少なくとも一部を複製して、複製前の背景画像に連結する処理
(A)で説明したトリミング処理をより効果的に行うために、トリミング処理の前に背景画像BMimgβ[t=1]の複製および連結する処理を行う。例えば、図12に示すように、背景画像BMimgβ[t=1]に発生する欠損部分に対して、トリミング位置の変更によりはみ出る部分の画像を連結する。その後に、(A)で説明したトリミング処理を行うことにより、上述した欠損部分が生じるのをさらに抑えることができる。なお、この処理は、(B)で説明した拡大処理と組み合わせて行っても良い。このような処理を行うことにより、いわゆる走馬燈のように背景が流れていく表現を実現することができる。なお、連結部分には、不整合が生じる場合が考えられる。このような場合には、連結部分にスムージング処理やグラデーション処理などを施すことにより、不自然さを抑えることが期待できる。
(A)で説明したトリミング処理をより効果的に行うために、トリミング処理の前に背景画像BMimgβ[t=1]の複製および連結する処理を行う。例えば、図12に示すように、背景画像BMimgβ[t=1]に発生する欠損部分に対して、トリミング位置の変更によりはみ出る部分の画像を連結する。その後に、(A)で説明したトリミング処理を行うことにより、上述した欠損部分が生じるのをさらに抑えることができる。なお、この処理は、(B)で説明した拡大処理と組み合わせて行っても良い。このような処理を行うことにより、いわゆる走馬燈のように背景が流れていく表現を実現することができる。なお、連結部分には、不整合が生じる場合が考えられる。このような場合には、連結部分にスムージング処理やグラデーション処理などを施すことにより、不自然さを抑えることが期待できる。
(3)新たな画像として3D画像を生成する場合
画像生成部25は、(1)で説明した静止画像および(2)で説明した動画像に基づいて、仮想三次元モデリングを行うことにより3D画像を生成する。以下では、(1)で説明した静止画像に基づいて、仮想三次元モデリングを行う場合を例に挙げて説明する。(2)で説明した動画像に基づいて、仮想三次元モデリングを行う場合にも、フレーム毎に同様の処理を行えば良い。
画像生成部25は、(1)で説明した静止画像および(2)で説明した動画像に基づいて、仮想三次元モデリングを行うことにより3D画像を生成する。以下では、(1)で説明した静止画像に基づいて、仮想三次元モデリングを行う場合を例に挙げて説明する。(2)で説明した動画像に基づいて、仮想三次元モデリングを行う場合にも、フレーム毎に同様の処理を行えば良い。
画像生成部25は、図13に例示するように、観察および表示の方向である方向Vに対して、主要被写体画像と背景画像との間に、奥行き方向における距離Zを設定し、設定した距離Zに基づいて、公知の仮想三次元モデリングを行うことにより示唆に応じた左目用画像および右目用画像から成る3D画像を生成する。なお、距離Zは、どのように決定しても良い。例えば、はじめに取得した対象画像について、撮影条件を取得可能な場合には、撮影条件に含まれる距離情報に基づいて、距離Zを決定すると良い。このような3D画像を生成することにより、奥行き感や立体感を持った表現を実現することができる。
(4)画像情報や文字情報を挿入する処理を行う場合
画像生成部25は、(1)で説明した静止画像、(2)で説明した動画像および(3)で説明した3D画像に対して、主要被写体領域の位置に応じた位置に、画像情報や文字情報を挿入する処理を行う。以下では、(2)で説明した動画像に対して、吹き出しに文字が含まれた画像情報を挿入する場合を例に挙げて説明する。(1)で説明した静止画像や(3)で説明した3D画像に画像情報や文字情報を挿入する場合にも、同様の処理を行えば良い。なお、各処理の順序は問わない。すなわち、例えば、以下に説明する画像情報や文字情報を挿入する処理を行った後に、(3)で説明した3D画像の生成を行っても良い。
画像生成部25は、(1)で説明した静止画像、(2)で説明した動画像および(3)で説明した3D画像に対して、主要被写体領域の位置に応じた位置に、画像情報や文字情報を挿入する処理を行う。以下では、(2)で説明した動画像に対して、吹き出しに文字が含まれた画像情報を挿入する場合を例に挙げて説明する。(1)で説明した静止画像や(3)で説明した3D画像に画像情報や文字情報を挿入する場合にも、同様の処理を行えば良い。なお、各処理の順序は問わない。すなわち、例えば、以下に説明する画像情報や文字情報を挿入する処理を行った後に、(3)で説明した3D画像の生成を行っても良い。
画像生成部25は、図14に例示するように、ステップS2で作成した主要被写体情報に基づいて、主要被写体領域を除く位置に吹き出しの画像を挿入する。このとき、例えば、主要被写体領域の重心位置を求め、吹き出しの頂点の位置を重心位置にしても良いし、吹き出しの頂点の向きを重心位置の方向に合わせても良い。また、図14に例示した吹き出しは一例であり、その数、形状、大きさはどのようなものであっても良い。さらに、図14では、吹き出しを例示したが、その他どのような画像情報や文字情報を挿入しても良い。また、挿入する画像情報や文字情報の一部が主要被写体領域と重なっても良い。また、画像情報や文字情報を敢えて主要被写体領域に挿入しても良い。
このように画像情報や文字情報の挿入を行うことにより、画像によって伝えたいメッセージなどを効果的に追加することができる。
なお、(1)から(4)で説明した各処理において、ステップS3で抽出した主要被写体画像のみに基づいて、新たな画像を生成しても良い。すなわち、ステップS3で抽出した主要被写体画像に基づいて新たな静止画像、動画像、3D画像を生成することにより、上述した各処理を、Webやメールなどで使用されるアニメーション、アイコンや絵文字などの作成に利用することができる。
主要被写体画像のみを利用する際には、主要被写体領域の輪郭に沿って新たな画像を生成しても良いし、主要被写体領域を含む矩形の領域に沿って新たな画像を生成するなど、どのような方法を用いても良い。
例えば、図15に示すように、ステップS3で抽出した主要被写体画像の1つを、フレームごとに大きさが変化する動画像としても良い。同様に、図16に示すように、ステップS3で抽出した主要被写体画像の1つを、フレームごとに位置が変化する動画像としても良い。なお、大きさや位置を変化させる他に、回転、点滅、色の変更等を行っても良い。
また、例えば、図17に示すように、ステップS3で抽出した複数の主要被写体画像に基づいて、主要被写体画像のみから動画像を生成しても良い。また、例えば、ある被写体を複数の角度から撮影した一連の画像に基づいて、上述した処理を行うことにより、図18に示すように、主要被写体が回転するような動画像を生成することもできる。
さらに、このような主要被写体画像のみに基づく新たな画像の生成に際して、ステップS4で抽出した背景画像とは異なる任意の画像を利用しても良い。例えば、図19に示すように、図17に例示した各主要被写体画像と、既存の星型の図形とを組み合わせて動画像を生成しても良い。このように、任意の画像を利用することにより、さらに豊かな表現をもつ新たな画像を生成することができる。
また、生成する新たな画像のサイズを、利用用途に合わせて自動で拡大または縮小するようにしても良い。
なお、このような処理においては、(1)から(4)で説明した各処理をどのように組み合わせても良い。また、(1)から(4)で説明した各処理により生成された画像を用いて、さらに新たな画像を生成しても良い。
(ステップS8)
CPU14は、ステップS7の画像処理により生成した新たな画像を記録する。なお、生成した新たな画像が動画像である場合、記録に際して、以下の2種類の方法が考えられる。
CPU14は、ステップS7の画像処理により生成した新たな画像を記録する。なお、生成した新たな画像が動画像である場合、記録に際して、以下の2種類の方法が考えられる。
(1)未合成の状態で記録する。
CPU14は、複数のフレームのそれぞれについて、主要被写体画像と、背景画像と、背景画像に主要被写体を合成する際の配置を示す情報とを関連づけて記録する。このような記録を行う場合、動画像の編集時や表示時に、上述した情報に基づいて、主要被写体画像と背景画像とを合成することにより、最終的な動画像を生成、表示することができる。
(2)合成後の状態で記録する。
CPU14は、上述したステップS7で説明した画像処理に際し、複数のフレームのそれぞれにおいて、主要被写体画像と背景画像とを合成する処理を画像生成部25により行う。そして、ステップS207においては、合成後の各フレームの画像を新たな画像として記録する。
(ステップS9)
CPU14は、ステップS7の画像処理により生成した新たな画像をモニタ19に表示する。
CPU14は、ステップS7の画像処理により生成した新たな画像をモニタ19に表示する。
なお、上述した例では、ユーザによるプログラム実行指示に応じて、一連の処理を実行する例を示したが、本発明はこの例に限定されない。例えば、新たな画像の生成を、ユーザ指示に応じたタイミングで行っても良い。また、データ読込部12を介して、外部から画像のデータを読み込むたびに、自動で一連の処理を実行しても良い。また、本実施形態で説明した画像処理装置を備えた撮像装置においては、撮像を行う際に一連の処理を実行する構成としても良い。また、本実施形態で説明した画像処理装置を備えた再生装置においては、画像の再生を行う際に一連の処理を実行する構成としても良い。
上記のように、第1実施形態の画像処理装置は、対象画像に基づいて、対象画像における被写体の分布を示す情報を作成し、複数の対象画像ごとの情報に基づいて、複数の対象画像のそれぞれから主要被写体画像を抽出するとともに、複数の対象画像ごとの情報に基づいて、複数の対象画像のうち、任意の1枚の対象画像から背景画像を抽出し、複数の主要被写体画像に基づいて、主要被写体の動き情報を演算するとともに、動き情報に応じて、少なくとも1枚の主要被写体画像と、背景画像とに基づく新たな画像を生成する。
よって、第1実施形態の構成によれば、主要被写体画像と背景画像とを抽出し、好適な画像処理を行うことにより興趣に富む新たな画像を生成することができる。
特に、第1実施形態の構成によれば、従来のような画一的な修正とは違い、背景画像に効果を加えたり、変速的な時間の変化や変則的な主要被写体の移動など、様々な効果を加えたりすることが可能である。
なお、第1実施形態においては、主要被写体が画面内において横方向に移動する場合を例に挙げて説明したが、本発明はこの例に限定されない。例えば、主要被写体が、画面内の縦方向や斜め方向に移動する場合であっても、本発明を同様に適用することができる。
また、第1実施形態において、ステップS5で説明した背景画像の補完処理は必ず行わなければならないものではなく、この処理を省略しても良い。
また、第1実施形態において、新たな画像として動画像を生成する際には、1枚の背景画像に基づいて動画像を生成する場合を例に挙げて説明したが、本発明はこの例に限定されない。例えば、ステップS4において複数の背景画像を抽出し、フレーム毎に異なる背景画像を用いる構成としても良いし、時間の経過に応じて、用いる背景画像を変える構成としても良い。
<第2実施形態の説明>
図20は、第2実施形態での電子カメラの構成例を示すブロック図である。電子カメラ31は、撮像光学系32と、撮像素子33と、画像処理エンジン34と、ROM35と、メインメモリ36と、記録I/F37と、ユーザの操作を受け付ける操作部38と、不図示のモニタを備えた表示部39を有している。ここで、撮像素子33、ROM35、メインメモリ36、記録I/F37、操作部38および表示部39は、それぞれ画像処理エンジン34に接続されている。
図20は、第2実施形態での電子カメラの構成例を示すブロック図である。電子カメラ31は、撮像光学系32と、撮像素子33と、画像処理エンジン34と、ROM35と、メインメモリ36と、記録I/F37と、ユーザの操作を受け付ける操作部38と、不図示のモニタを備えた表示部39を有している。ここで、撮像素子33、ROM35、メインメモリ36、記録I/F37、操作部38および表示部39は、それぞれ画像処理エンジン34に接続されている。
撮像素子33は、撮像光学系32によって結像される被写体の像を撮像し、撮像した画像の画像信号を生成する撮像デバイスである。なお、撮像素子33から出力された画像信号は、A/D変換回路(不図示)を介して制御部に入力される。
画像処理エンジン34は、電子カメラ31の動作を統括的に制御するプロセッサである。例えば、画像処理エンジン34は、撮像した画像のデータに対して各種の画像処理(色補間処理、階調変換処理、輪郭強調処理、ホワイトバランス調整、色変換処理など)を施す。また、画像処理エンジン34は、プログラムの実行により、上記した第1実施形態の画像処理装置(CPU14、情報作成部21および画像生成部25)として機能する。
ROM35には、画像処理エンジン34によって実行されるプログラムが記憶されている。また、メインメモリ36は、画像処理の前工程や後工程で画像のデータを一時的に記憶する。
記録I/F37は、不揮発性の記憶媒体40を接続するためのコネクタを有している。そして、記録I/F37は、コネクタに接続された記憶媒体40に対してデータの書き込み/読み込みを実行する。上記の記憶媒体40は、ハードディスクや、半導体メモリを内蔵したメモリカードなどで構成される。なお、図20では記憶媒体40の一例としてメモリカードを図示する。
表示部39は、画像処理エンジン34から取得した画像データを表示するとともに、第1実施形態のステップS9で説明した表示を行う。
第2実施形態の電子カメラ31は、ユーザの撮像指示をトリガとする撮像工程において、撮像素子33で撮像された画像を対象画像として取得し、第1実施形態と同様の処理により新たな画像の生成を行う。なお、メインメモリ36などに記録された画像を対象画像として、同様の処理を行っても良い。以上により、第2実施形態の電子カメラ31は、第1実施形態とほぼ同様の効果を得ることができる。
<実施形態の補足事項>
(1)上記各実施形態では、主要被写体領域が1つである場合を例に挙げて説明したが、本発明はこの例に限定されない。例えば、対象画像Img[1]に複数の主要被写体領域が含まれる場合には、図2のフローチャートのステップS2において、主要被写体領域ごとに主要被写体情報を作成すればよい。なお、複数の主要被写体領域を抽出する場合には、公知のラベリング技術やクラスタリングによるグループ化処理などを用いることにより、複数の主要被写体領域を分けて認識することができる。
(1)上記各実施形態では、主要被写体領域が1つである場合を例に挙げて説明したが、本発明はこの例に限定されない。例えば、対象画像Img[1]に複数の主要被写体領域が含まれる場合には、図2のフローチャートのステップS2において、主要被写体領域ごとに主要被写体情報を作成すればよい。なお、複数の主要被写体領域を抽出する場合には、公知のラベリング技術やクラスタリングによるグループ化処理などを用いることにより、複数の主要被写体領域を分けて認識することができる。
上述したように、複数の主要被写体領域を抽出した場合、複数の主要被写体領域の何れかを選択するか、複数の主要被写体領域の情報を総合して、上記各実施形態で説明した処理を各主要被写体領域ごとに行えば良い。
複数の主要被写体領域の何れかを選択する場合には、例えば、面積の大きい主要被写体領域を選択する方法や、その主要被写体領域に関する主要被写体情報に基づいて選択を行う方法などが考えられる。また、複数の主要被写体領域の何れかをユーザ操作に基づいて選択する構成としても良い。
上述したように、複数の主要被写体領域の何れかを選択する場合には、第1実施形態で説明した新たな画像の生成においても、複数の主要被写体領域に応じた処理を行えばよい。例えば、図2のフローチャートを用いて説明した処理においては、ステップS3において複数の主要被写体画像を抽出し、ステップS6において、各主要被写体画像ごとの動き情報を演算する。そして、ステップS7の画像処理においては、何れかの主要被写体画像を選択して同様の処理を行っても良いし、複数の主要被写体画像のそれぞれについて画像処理を行っても良い。例えば、(4)で説明した画像情報や文字情報を挿入する処理については、何れかの主要被写体画像を選択して画像情報や文字情報を挿入する処理を行っても良いし、それぞれの主要被写体画像に対して、画像情報や文字情報を挿入する処理を行っても良い。
また、ステップS3で抽出した主要被写体画像のみに基づいて、新たな画像を生成する際には、それぞれの主要被写体画像に対して処理を独立に行うことにより、複数の新たな画像を生成しても良い。
(2)本発明の画像処理装置は、上記実施形態のパーソナルコンピュータの例に限定されない。本発明の画像処理装置は、デジタルの画像の再生表示機能やレタッチ機能を有する電子機器(例えば、フォトビューアー、デジタルフォトフレーム、写真の印刷装置など)であってもよい。また、本発明の撮像装置は、携帯電話端末のカメラモジュールとして実装されるものであってもよい。
(3)上記の各実施形態では、情報作成部21および画像生成部25の各処理をソフトウエア的に実現する例を説明したが、ASIC等によってこれらの各処理をハードウエア的に実現しても勿論かまわない。
以上の詳細な説明により、実施形態の特徴点および利点は明らかになるであろう。これは、特許請求の範囲が、その精神および権利範囲を逸脱しない範囲で前述のような実施形態の特徴点および利点にまで及ぶことを意図する。また、当該技術分野において通常の知識を有する者であれば、あらゆる改良および変更に容易に想到できるはずであり、発明性を有する実施形態の範囲を前述したものに限定する意図はなく、実施形態に開示された範囲に含まれる適当な改良物および均等物によることも可能である。
11…コンピュータ、14…CPU、21…情報作成部、25…画像生成部、31…電子カメラ、33…撮像素子、34…画像処理エンジン、35…ROM、37…記録I/F、39…表示部、40…記憶媒体
Claims (24)
- 処理の対象となる対象画像の情報を取得する取得部と、
前記対象画像に基づいて、前記対象画像における被写体と背景との少なくとも一方の分布を示す情報を作成する作成部と、
複数の前記対象画像ごとの前記情報に基づいて、複数の前記対象画像のそれぞれから主要被写体画像を抽出する第1抽出部と、
複数の前記対象画像ごとの前記情報に基づいて、複数の前記対象画像のうち、任意の1枚の前記対象画像から背景画像を抽出する第2抽出部と、
前記第1抽出部により抽出した少なくとも1枚の前記主要被写体画像と、前記第2抽出部により抽出した前記背景画像との少なくとも一方に基づき、新たな画像を生成する生成部と
を備えることを特徴とする画像処理装置。 - 請求項1に記載の画像処理装置において、
前記生成部は、前記背景画像に対して、前記背景画像にぼかし効果を加える処理を施し、前記処理後の前記背景画像と、少なくとも1枚の前記主要被写体画像とに基づき前記新たな画像を生成する
ことを特徴とする画像処理装置。 - 請求項1に記載の画像処理装置において、
前記生成部は、前記背景画像について、前記第2抽出部による抽出時に発生する欠損部分を補完する処理を施し、前記処理後の前記背景画像と、少なくとも1枚の前記主要被写体画像とに基づき前記新たな画像を生成する
ことを特徴とする画像処理装置。 - 請求項3に記載の画像処理装置において、
前記生成部は、前記背景画像のうち、前記欠損部分を除く部分の画像に基づいて、前記欠損部分を補完する
ことを特徴とする画像処理装置。 - 請求項1に記載の画像処理装置において、
前記生成部は、少なくとも1枚の前記主要被写体画像と前記背景画像との間に所定の距離を設定し、仮想三次元モデリングを行うことにより左目用画像および右目用画像から成る前記新たな画像を生成する
ことを特徴とする画像処理装置。 - 請求項5に記載の画像処理装置において、
前記取得部は、前記対象画像が生成された際の撮影条件を更に取得し、
前記生成部は、前記撮影条件に基づいて前記所定の距離を設定する
ことを特徴とする画像処理装置。 - 請求項1に記載の画像処理装置において、
前記生成部は、前記マップに基づいて、前記新たな画像中の主要被写体の位置に応じた位置に、任意の画像情報と文字情報との少なくとも一方を挿入する
ことを特徴とする画像処理装置。 - 請求項1に記載の画像処理装置において、
前記生成部は、前記第1抽出部により抽出した少なくとも1枚の前記主要被写体画像のみに基づいて、前記新たな画像を生成するか、または、前記第1抽出部により抽出した少なくとも1枚の前記主要被写体画像と、任意の画像とに基づいて、前記新たな画像を生成する
ことを特徴とする画像処理装置。 - 請求項1から請求項8のいずれか1項に記載の画像処理装置において、
前記生成部は、前記新たな画像として静止画像を生成する
ことを特徴とする画像処理装置。 - 請求項9に記載の画像処理装置において、
前記第1抽出部により抽出した複数の前記主要被写体画像に基づいて、前記主要被写体の動き情報を演算する演算部をさらに備え、
前記生成部は、前記動き情報に応じて、前記第1抽出部により抽出した少なくとも1枚の前記主要被写体画像と、前記第2抽出部により抽出した前記背景画像とに基づく新たな画像を生成する
ことを特徴とする画像処理装置。 - 請求項1から請求項8のいずれか1項に記載の画像処理装置において、
前記生成部は、前記新たな画像として、複数のフレームから成る動画像を生成する
ことを特徴とする画像処理装置。 - 請求項11に記載の画像処理装置において、
前記第1抽出部により抽出した複数の前記主要被写体画像に基づいて、前記主要被写体の動き情報を演算する演算部をさらに備え、
前記生成部は、前記動き情報に応じて、前記第1抽出部により抽出した少なくとも1枚の前記主要被写体画像と、前記第2抽出部により抽出した前記背景画像とに基づく新たな画像を生成する
ことを特徴とする画像処理装置。 - 請求項10または請求項12に記載の画像処理装置において、
前記生成部は、前記背景画像に対して、前記動き情報に応じた方向にブレを発生させる処理を施し、前記処理後の前記背景画像と、少なくとも1枚の前記主要被写体画像とに基づき前記新たな画像を生成する
ことを特徴とする画像処理装置。 - 請求項10または請求項12に記載の画像処理装置において、
前記第2抽出部は、複数の前記対象画像ごとの前記情報に基づいて、複数の前記対象画像から複数の前記背景画像を抽出し、
前記生成部は、任意の1枚の前記背景画像について、別の前記背景画像に基づいて、前記欠損部分を補完する
ことを特徴とする画像処理装置。 - 請求項10に記載の画像処理装置において、
前記生成部は、複数の前記主要被写体画像を合成し、合成後の前記主要被写体画像を前記背景画像内の任意の1つの位置に配置するか、前記動き情報に応じて、前記合成後の前記主要被写体画像を前記背景画像内の異なる位置にそれぞれ配置するか、前記動き情報に応じて、任意の1つの前記主要被写体画像を前記背景画像内の異なる位置にそれぞれ配置するか、前記動き情報に応じて、複数の前記主要被写体画像を前記背景画像内の異なる位置にそれぞれ配置することにより前記静止画像を生成する
ことを特徴とする画像処理装置。 - 請求項10または請求項15に記載の画像処理装置において、
前記生成部により生成した前記静止画像を記録する記録部をさらに備える
ことを特徴とする画像処理装置。 - 請求項12に記載の画像処理装置において、
前記生成部は、複数の前記主要被写体画像を合成し、前記動き情報に応じて、合成後の前記主要被写体画像を複数の前記フレームのそれぞれにおいて前記背景画像に配置する処理と、任意の前記主要被写体画像を複数の前記フレームのそれぞれにおいて前記背景画像内の異なる位置にそれぞれ配置する処理と、前記動き情報に応じて、複数の前記フレームのそれぞれに異なる前記主要被写体画像を配置する処理との少なくとも1つを行うことにより前記動画像を生成する
ことを特徴とする画像処理装置。 - 請求項12または請求項17に記載の画像処理装置において、
前記生成部は、前記動き情報に応じて、複数の前記フレームのそれぞれにおいて異なる前記背景画像に前記主要被写体画像を配置することにより前記動画像を生成する
ことを特徴とする画像処理装置。 - 請求項12または請求項17に記載の画像処理装置において、
前記生成部は、前記第2抽出部により抽出した前記背景画像に対して、トリミング処理と、拡大縮小処理と、前記背景画像の少なくとも一部を複製して前記背景画像に連結する処理との少なくとも1つを行うことにより、複数の前記フレームに対応する複数の前記背景画像を生成する
ことを特徴とする画像処理装置。 - 請求項12から請求項19の何れか1項に記載の画像処理装置において、
前記生成部により生成した前記動画像を記録する記録部をさらに備え、
前記記録部は、複数の前記フレームのそれぞれについて、前記主要被写体画像と、前記背景画像と、前記背景画像に前記主要被写体を合成する際の配置を示す情報とを関連づけて記録する
ことを特徴とする画像処理装置。 - 請求項12から請求項19の何れか1項に記載の画像処理装置において、
前記生成部により生成した前記動画像を記録する記録部をさらに備え、
前記生成部は、複数の前記フレームのそれぞれにおいて前記主要被写体画像と前記背景画像とを合成する処理を行い、
前記記録部は、前記生成部により前記処理が行われた前記動画像を記録する
ことを特徴とする画像処理装置。 - 処理の対象となる対象画像の情報を取得する取得部と、
前記対象画像に基づいて、前記対象画像における被写体と背景との少なくとも一方の分布を示す情報を作成する作成部と、
複数の前記対象画像ごとの前記情報に基づいて、複数の前記対象画像のそれぞれから主要被写体画像を抽出する第1抽出部と、
複数の前記対象画像ごとの前記情報に基づいて、複数の前記対象画像のうち、少なくとも2枚の前記対象画像から複数の背景画像を抽出する第2抽出部と、
前記第1抽出部により抽出した少なくとも1枚の前記主要被写体画像と、前記第2抽出部により抽出した複数の前記背景画像との少なくとも一方に基づき、新たな画像を生成する生成部と
を備えることを特徴とする画像処理装置。 - 被写体の像を撮像する撮像部と、
請求項1から請求項22のいずれか1項に記載の画像処理装置とを備え、
前記取得部は、前記撮像部から前記対象画像の情報を取得する
ことを特徴とする撮像装置。 - 処理の対象となる対象画像の情報を取得する取得処理と、
前記対象画像に基づいて、前記対象画像における被写体と背景との少なくとも一方の分布を示す情報を作成する作成処理と、
複数の前記対象画像ごとの前記情報に基づいて、複数の前記対象画像のそれぞれから主要被写体画像を抽出する第1抽出処理と、
複数の前記対象画像ごとの前記情報に基づいて、複数の前記対象画像のうち、任意の1枚の前記対象画像から背景画像を抽出する第2抽出処理と、
前記第1抽出処理によって抽出した少なくとも1枚の前記主要被写体画像と、前記第2抽出処理によって抽出した前記背景画像との少なくとも一方に基づく新たな画像を生成する生成処理と
をコンピュータに実行させる画像処理プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010285166A JP2012134775A (ja) | 2010-12-21 | 2010-12-21 | 画像処理装置、撮像装置、および画像処理プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010285166A JP2012134775A (ja) | 2010-12-21 | 2010-12-21 | 画像処理装置、撮像装置、および画像処理プログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2012134775A true JP2012134775A (ja) | 2012-07-12 |
Family
ID=46649837
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010285166A Pending JP2012134775A (ja) | 2010-12-21 | 2010-12-21 | 画像処理装置、撮像装置、および画像処理プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2012134775A (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015035687A (ja) * | 2013-08-08 | 2015-02-19 | 株式会社ニコン | データ処理装置 |
KR101772177B1 (ko) * | 2014-08-29 | 2017-08-25 | 시아오미 아이엔씨. | 사진을 획득하기 위한 방법 및 장치 |
US9747517B2 (en) | 2015-09-18 | 2017-08-29 | Fujifilm Corporation | Image processing apparatus, image processing method and recording medium storing image processing program |
JP2017204290A (ja) * | 2015-03-19 | 2017-11-16 | ネイバー コーポレーションNAVER Corporation | 漫画データ編集方法及び漫画データ編集装置 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004145448A (ja) * | 2002-10-22 | 2004-05-20 | Toshiba Corp | 端末装置、サーバ装置および画像加工方法 |
JP2004186994A (ja) * | 2002-12-03 | 2004-07-02 | Toshiba Corp | オブジェクト画像合成方法、オブジェクト画像合成装置、オブジェクト画像合成プログラム |
JP2005020607A (ja) * | 2003-06-27 | 2005-01-20 | Casio Comput Co Ltd | 合成画像出力装置および合成画像出力処理プログラム |
JP2007272318A (ja) * | 2006-03-30 | 2007-10-18 | Rozefu Technol:Kk | 人物写真画像の加工方法 |
WO2010035752A1 (ja) * | 2008-09-24 | 2010-04-01 | 株式会社ニコン | 画像生成装置、撮像装置、画像再生装置、画像再生プログラム |
JP2010198559A (ja) * | 2009-02-27 | 2010-09-09 | Nikon Corp | 画像処理装置、画像処理方法、および、画像処理プログラム |
JP2010273183A (ja) * | 2009-05-22 | 2010-12-02 | Nikon Corp | 撮像装置 |
JP2010283637A (ja) * | 2009-06-05 | 2010-12-16 | Casio Computer Co Ltd | 撮影画像処理装置、撮影画像処理プログラム及び撮影画像処理方法 |
-
2010
- 2010-12-21 JP JP2010285166A patent/JP2012134775A/ja active Pending
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004145448A (ja) * | 2002-10-22 | 2004-05-20 | Toshiba Corp | 端末装置、サーバ装置および画像加工方法 |
JP2004186994A (ja) * | 2002-12-03 | 2004-07-02 | Toshiba Corp | オブジェクト画像合成方法、オブジェクト画像合成装置、オブジェクト画像合成プログラム |
JP2005020607A (ja) * | 2003-06-27 | 2005-01-20 | Casio Comput Co Ltd | 合成画像出力装置および合成画像出力処理プログラム |
JP2007272318A (ja) * | 2006-03-30 | 2007-10-18 | Rozefu Technol:Kk | 人物写真画像の加工方法 |
WO2010035752A1 (ja) * | 2008-09-24 | 2010-04-01 | 株式会社ニコン | 画像生成装置、撮像装置、画像再生装置、画像再生プログラム |
JP2010198559A (ja) * | 2009-02-27 | 2010-09-09 | Nikon Corp | 画像処理装置、画像処理方法、および、画像処理プログラム |
JP2010273183A (ja) * | 2009-05-22 | 2010-12-02 | Nikon Corp | 撮像装置 |
JP2010283637A (ja) * | 2009-06-05 | 2010-12-16 | Casio Computer Co Ltd | 撮影画像処理装置、撮影画像処理プログラム及び撮影画像処理方法 |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015035687A (ja) * | 2013-08-08 | 2015-02-19 | 株式会社ニコン | データ処理装置 |
KR101772177B1 (ko) * | 2014-08-29 | 2017-08-25 | 시아오미 아이엔씨. | 사진을 획득하기 위한 방법 및 장치 |
JP2017204290A (ja) * | 2015-03-19 | 2017-11-16 | ネイバー コーポレーションNAVER Corporation | 漫画データ編集方法及び漫画データ編集装置 |
US9747517B2 (en) | 2015-09-18 | 2017-08-29 | Fujifilm Corporation | Image processing apparatus, image processing method and recording medium storing image processing program |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20200358996A1 (en) | Real-time aliasing rendering method for 3d vr video and virtual three-dimensional scene | |
JP4071422B2 (ja) | モーションブラー画像描画方法及び描画装置 | |
US20100079491A1 (en) | Image compositing apparatus and method of controlling same | |
CN104469179A (zh) | 一种将动态图片结合到手机视频中的方法 | |
WO2011026850A1 (en) | Method for art-directable retargeting for streaming video | |
JP2010154422A (ja) | 画像処理装置 | |
WO2021135320A1 (zh) | 一种视频的生成方法、装置及计算机系统 | |
US20140016913A1 (en) | Moving image generation device | |
US10867425B2 (en) | Adding motion effects to digital still images | |
JP2008276410A (ja) | 画像処理装置及び方法 | |
CN113225606A (zh) | 视频弹幕处理方法及装置 | |
JP2012134775A (ja) | 画像処理装置、撮像装置、および画像処理プログラム | |
CN102572219B (zh) | 移动终端及其图像处理方法 | |
JP4797039B2 (ja) | 画像合成方法及び装置 | |
AU2018271418B2 (en) | Creating selective virtual long-exposure images | |
JP3538263B2 (ja) | 画像生成方法 | |
EP3497667A1 (en) | Apparatus, method, and computer program code for producing composite image | |
KR20100068726A (ko) | 그래픽 애니메이션과 영상의 동시 재생 방법 및 시스템 | |
JP2010068212A (ja) | 画像処理装置、画像処理方法およびプログラム | |
KR20120118462A (ko) | 이미지 기반의 비주얼 헐에서의 오목 표면 모델링 | |
JP5857606B2 (ja) | 奥行き製作支援装置、奥行き製作支援方法、およびプログラム | |
CN112738625B (zh) | 基于机顶盒的视频图像增强方法及装置 | |
WO2019142794A1 (ja) | 画像生成装置、表示処理装置、画像再生システム、画像生成方法、制御プログラム、及び記録媒体 | |
JP5713256B2 (ja) | 画像処理装置、撮像装置、および画像処理プログラム | |
JPH11149285A (ja) | 映像音響システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A625 | Written request for application examination (by other person) |
Free format text: JAPANESE INTERMEDIATE CODE: A625 Effective date: 20130225 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140116 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140121 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20140812 |