JP2010068193A - 画像処理装置、撮像装置、画像処理方法及びプログラム - Google Patents
画像処理装置、撮像装置、画像処理方法及びプログラム Download PDFInfo
- Publication number
- JP2010068193A JP2010068193A JP2008231941A JP2008231941A JP2010068193A JP 2010068193 A JP2010068193 A JP 2010068193A JP 2008231941 A JP2008231941 A JP 2008231941A JP 2008231941 A JP2008231941 A JP 2008231941A JP 2010068193 A JP2010068193 A JP 2010068193A
- Authority
- JP
- Japan
- Prior art keywords
- image
- images
- frame
- mosaicing
- series
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Abandoned
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/40—Scaling the whole image or part thereof
- G06T3/4038—Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
Abstract
【課題】ユーザが意図していないと考えられるフレームを自動的にモザイキング結果より取り除くことができる。
【解決手段】画像処理装置1は、カメラ接続I/F114を介して撮像装置2に記憶された動画像を取得し(ステップS10)、動画像を各フレームに分解し(ステップS20)、モザイキング処理を行う(ステップS30)。モザイキング処理(ステップS30)の過程で、分解した各フレームの中心座標及び4隅の座標を取得する。次に、モザイキング処理部132は、フレームの中心座標がどのように変化するかを示す中心座標軌跡に基づいて、ユーザが意図していないと考えられる箇所を抽出し(ステップS40)、各フレームの4隅の座標に基づいてステップS40で抽出された削除対象のフレーム群を、ステップS30で生成された合成画像から削除する(ステップS50)。
【選択図】 図2
【解決手段】画像処理装置1は、カメラ接続I/F114を介して撮像装置2に記憶された動画像を取得し(ステップS10)、動画像を各フレームに分解し(ステップS20)、モザイキング処理を行う(ステップS30)。モザイキング処理(ステップS30)の過程で、分解した各フレームの中心座標及び4隅の座標を取得する。次に、モザイキング処理部132は、フレームの中心座標がどのように変化するかを示す中心座標軌跡に基づいて、ユーザが意図していないと考えられる箇所を抽出し(ステップS40)、各フレームの4隅の座標に基づいてステップS40で抽出された削除対象のフレーム群を、ステップS30で生成された合成画像から削除する(ステップS50)。
【選択図】 図2
Description
本発明は画像処理装置、撮像装置、画像処理方法及びプログラムに係り、特に動画等を繋ぎ合わせて1つの合成画像を生成する画像処理装置、撮像装置、画像処理方法及びプログラムに関する。
特許文献1、2には、動画像からフレームを抜き出し、それらを繋ぎ合わせることで一つの合成画像を生成する技術が記載されている。
特開2003−9144号公報
特表平10−509571号公報
しかしながら、動画像には、手振れや、ユーザが意図していないフレームが存在している可能性が高い。従って、特許文献1、2に記載された技術のように、動画像に含まれる全てのフレームを用いてモザイキング処理を行う場合には、ユーザが意図しない合成画像が得られる可能性が高いという問題がある。
特に、撮影開始時と終了時は、ボタンを押すという行為が発生するために、このような不具合が起きる可能性が高い。
本発明はこのような事情に鑑みてなされたもので、ユーザが意図していないと考えられるフレームを自動的にモザイキング結果より取り除くことができる画像処理装置、撮像装置、画像処理方法及びプログラムを提供することを目的とする。
請求項1に記載の画像処理装置は、被写体を連続して撮像することにより得られた一連の画像を取得する取得手段と、前記取得手段により取得された一連の画像を連結して1つの合成画像を生成するモザイキング処理手段と、を備えた画像処理装置であって、前記モザイキング処理手段は、前記取得手段により取得された一連の画像の各画像に対して当該画像の代表座標をそれぞれ取得する座標取得手段と、前記座標取得手段により取得された各画像の代表座標の軌跡に基づいて、前記取得手段により取得された一連の画像からモザイキング処理の対象から除外する画像を抽出する抽出手段と、前記抽出手段により抽出された画像を除外した前記一連の画像を連結した画像を前記合成画像として生成する合成画像生成手段と、で構成されたことを特徴とする。
請求項1に記載の画像処理装置によれば、被写体を連続して撮像することにより得られた一連の画像、例えば動画像を取得し、取得された一連の画像を連結して1つの合成画像を生成する。合成画像を生成するにあたり、一連の画像の各画像に対して当該画像の代表座標、例えば中心座標をそれぞれ取得する。この代表座標がどのように変化するかを示す代表座標の軌跡に基づいて、一連の画像からモザイキング処理の対象から除外する画像を抽出し、抽出された画像を除外した前記一連の画像を連結した画像を合成画像として生成する。これにより、ボタン操作や手振れなどによるブレなどが生じたときに撮影された画像をモザイキング処理の対象から除外することができる。そのため、ユーザの意図したものに近い合成画像を生成することができる。
請求項2に記載の画像処理装置は、請求項1に記載の画像処理装置において、前記抽出手段は、前記代表座標の軌跡が所定の大きさ以上で変化する領域に含まれる画像を前記除外する画像として抽出することを特徴とする。
請求項2に記載の画像処理装置によれば、代表座標の軌跡が所定の大きさ以上で変化する領域、例えば手振れによりブレやボタンを押下した後に発生するブレなどが生じたときに撮影された画像をモザイキング処理の対象から除外することができる。
請求項3に記載の画像処理装置は、請求項1又は2に記載の画像処理装置において、前記抽出手段は、前記取得手段により取得された一連の画像の最後に撮像された画像から所定の範囲内の画像についての前記代表座標の軌跡において、当該代表座標の軌跡が所定の方向から当該所定の方向と異なる他の方向に変化する領域を求め、当該領域に含まれる画像以降の全ての画像を前記除外する画像として抽出することを特徴とする。
請求項3に記載の画像処理装置によれば、一連の画像の最後に撮像された画像から所定の範囲内の画像に対して、代表座標の軌跡が所定の方向から当該所定の方向と異なる他の方向に変化する領域以降の全ての画像をモザイキング処理の対象から除外する。例えば、代表座標の軌跡が略横方向から略斜め下方向に変化した場合には、ユーザがカメラの上面に設けられたボタンを押した場合と考えられる。このように、代表座標の軌跡が略横方向から略斜め下方向に変化した領域以降の領域をモザイキング処理の対象から除外することにより、ボタンを押している間に撮影された画像をモザイキング処理の対象から除外することができる。
請求項4に記載の画像処理装置は、請求項1から3のいずれかに記載の画像処理装置において、前記座標取得手段は、前記一連の画像の各画像に対して当該画像の4隅の座標をそれぞれ取得し、前記合成画像生成手段は、前記座標取得手段により取得された4隅の座標に基づいて、前記モザイキング処理の対象から除外する画像として抽出された画像以外の画像であって、当該抽出された画像に隣接する2枚の画像の少なくとも一部が重なるかどうかを判断する判断手段を有し、前記合成画像生成手段は、前記判断手段により隣接する2枚の画像の少なくとも一部が重なると判断されると、当該隣接する2枚の画像を連結することを特徴とする。
請求項4に記載の画像処理装置によれば、一連の画像の各画像に対して画像の4隅の座標をそれぞれ取得し、取得された4隅の座標に基づいて、前記モザイキング処理の対象から除外する画像として抽出された画像に隣接する2枚の画像の少なくとも一部が重なるかどうかを判断する。隣接する2枚の画像の少なくとも一部が重なる場合には、その2枚の画像を連結する。これにより、合成画像に穴が空くことを防ぐことができる。
請求項5に記載の画像処理装置は、請求項4に記載の画像処理装置において、前記判断手段により隣接する2枚の画像の少なくとも一部が重ならないと判断されると、前記モザイキング処理の対象から除外する画像のなかから前記隣接する2枚の画像のいずれにも少なくとも一部が重なる画像を選択する手段を備え、前記抽出手段は、前記モザイキング処理の対象から除外する画像から当該選択した画像を外し、残りの画像を前記モザイキング処理の対象から除外する画像とすることを特徴とする。
請求項5に記載の画像処理装置によれば、隣接する2枚の画像の少なくとも一部が重ならない場合には、モザイキング処理の対象から除外する画像のなかから隣接する2枚の画像のいずれにも少なくとも一部が重なる画像を選択し、その選択した画像をモザイキング処理の対象から除外する画像から外す。これにより、合成画像に穴が空くことを防ぐことができる。
請求項6に記載の画像処理装置は、請求項1から5のいずれかに記載の画像処理装置において、前記合成画像生成手段により生成された合成画像をモニタ又は紙媒体に出力する出力手段を備えたことを特徴とする。これにより、生成した合成画像をユーザに示すことができる。
請求項7に記載の撮像装置は、請求項1から6に記載の画像処理装置と、被写体像を撮像する撮像手段と、を備えたことを特徴とする。
請求項8に記載の画像処理方法は、被写体を連続して撮像することにより得られた一連の画像を取得するステップと、前記取得された一連の画像を連結して1つの合成画像を生成するステップと、前記取得された一連の画像の各画像に対して当該画像の代表座標をそれぞれ取得するステップと、前記取得された画像の代表座標がどのように変化するかを示す代表座標の軌跡に基づいて、前記取得手段により取得された一連の画像からモザイキング処理の対象から除外する画像を抽出するステップと、前記生成された合成画像から前記抽出された画像を除外するステップと、を含むことを特徴とする。
請求項9に記載のプログラムは、請求項8に記載の画像処理方法を演算装置に演算させることを特徴とする。
本発明によれば、ユーザが意図していないと考えられるフレームを自動的にモザイキング結果より取り除くことができる。
図1は、本実施の形態の画像処理装置1の全体構造の概略図である。この画像処理装置1は、画像の記録、編集等が可能なパーソナルコンピュータ(PC)である。
画像処理装置1は、主として、中央処理装置(CPU)102、バス104、主メモリ106、ハードディスク装置108、CD−ROM装置110、プリンタインターフェース部(プリンタI/F)112、カメラ接続インターフェース部(カメラ接続I/F)114、表示メモリ116、モニタ118、キーボード120、マウス122、マウスコントローラ124、オーディオ入出力回路126、マイク128、スピーカ130、モザイキング処理部132などで構成される。
CPU102は、バス104を介して画像処理装置1内の各ブロックに接続されており、各ブロックの動作を制御する。
主メモリ106は、制御プログラムが格納される記憶領域や、プログラム実行時の作業領域を含んでいる。
ハードディスク装置108には、画像処理装置1のオペレーティングシステム(OS)や、各種のアプリケーションソフト、撮像装置2から読み込まれた記録用画像データ等が格納される。
CD−ROM装置110は、図示しないCD−ROMからのデータの読み込みを行う。
プリンタI/F112は、ハードディスク装置108に記憶された静止画やモザイキング処理部132で生成された合成画像をプリンタ3へ出力する。
カメラ接続I/F114は、撮像装置(電子カメラ、デジタルカメラ)2との間でデータの送受信を行う。撮像装置2は、静止画のみでなく、動画の撮影も可能である。
表示メモリ116は、表示用データを一時記憶する。
モニタ118は、例えば、CRT(Cathode Ray Tube)モニタや液晶モニタにより構成され、この表示メモリ116から出力される画像データ、文字データ等に基づいて画像や文字等を表示する。
キーボード120及びマウス122は、操作者からの操作入力を受け付けて、操作入力に応じた信号をCPU102に入力する。なお、ポインティングデバイスとしては、マウス122のほか、タッチパネルやタッチパッド等を用いることができる。
マウスコントローラ124は、マウス122の状態を検出してモニタ118上のマウスポインタの位置や、マウス122の状態等の信号をCPU102に出力する。
オーディオ入出力回路126には、マイク128及びスピーカ130が接続され、各種の音声信号が入力されるとともに、キーボード120等からの操作入力に応じて各種動作音が再生出力される。
モザイキング処理部132は、ハードディスク装置108に記憶された動画像をフレームに分解して連結するモザイキング処理を行い、合成画像(例えばパノラマ画像)を生成する。モザイキング処理部132は、モザイキング処理実行時の作業領域や、メモリ領域を含んでいる。
本発明のモザイキング処理部132は、動画像を分解して得られたフレーム全てを連結するのではなく、不要なフレーム、すなわちユーザが意図して撮影していないと考えられるフレームを除いた残りのフレームを連結する点に特徴がある。以下、モザイキング処理部132が、ユーザが意図して撮影していないと考えられるフレームを除いた残りのフレームを連結する処理について、図2のフローチャートを用いて説明する。
CPU102は、カメラ接続I/F114を介して撮像装置2に記憶された動画像を取得し、ハードディスク装置108に記憶する(ステップS10)。モザイキング処理部132は、ハードディスク装置108から動画像を取得し、各フレームに分解する(ステップS20)。
モザイキング処理部132は、分解した各フレームを連結するモザイキング処理を行う(ステップS30)。ステップS30で行うモザイキング処理は一般的なモザイキング処理であり、既に公知の様々な方法(例えば、特許文献1)を用いることができるため、詳細な説明を省略する。
モザイキング処理(ステップS30)の過程において、モザイキング処理部132は、図3に示すように、分解した各フレームに対して撮像された順番に番号をふる。また、モザイキング処理部132は、図3に示すように、1番目のフレーム(フレーム番号1がふられたフレーム)の左下の隅を原点にして各フレームの中心座標及び4隅の座標を取得する。中心座標及び4隅の座標の取得方法としては、(1)中心座標及び4隅の座標を直接取得する方法、(2)4隅の座標を取得して、取得した4隅の座標から中心座標を算出する方法、(3)所定の1つの隅の座標と中心座標とを取得して、取得した1つの隅の座標と中心座標とから残りの3つの隅の座標を算出する方法、(4)対角線上の所定の2つの隅の座標を取得し、取得した2つの隅の座標から残りの2つの隅の座標と中心座標とを算出する方法、(5)所定の1つの隅の座標とフレームの大きさとを取得し、取得した1つの隅の座標とフレームの大きさとから残りの3つの隅の座標と、中心座標とを算出する方法などがある。本実施の形態では、(1)中心座標及び4隅の座標を直接取得する方法を採用するが、どの方法を用いてもよいのは言うまでもない。また、座標を取得は、1番目のフレームの左下の隅を原点にしてもよいし、1番目のフレームの他の3つの隅の何れかを原点にとってもよいし、1番目のフレームの中心座標を原点にとってもよい。
このようにして取得された中心座標及び隅の座標は、図4に示すように、フレームの番号と関連付けてモザイキング処理部132のメモリ領域に記憶される。
次に、モザイキング処理部132は、フレームの中心座標に基づいて、ユーザが意図していないと考えられる箇所を抽出する(ステップS40)。ユーザが意図していないと考えられる箇所とは、ボタンの押下や、撮像装置2に設けられた手振れ補正機能では防ぎきれない大きな手振れなどが発生している箇所である。ユーザが意図していないと考えられる箇所を抽出する方法について、図5〜7を用いて説明する。図5〜7は、ステップS30で取得された各フレームの中心座標をx座標を横軸、y座標を縦軸にプロットしたものであり、中心座標がどのように変化するかを示す中心座標軌跡を表す図である。
図5は、動画の開始フレーム周辺領域の中心座標軌跡を示す。開始フレーム周辺領域とは、例えば開始フレームから1秒以内の範囲をいう。開始フレーム周辺領域においては、図5の○で囲まれた領域に示すように、中心座標軌跡が大きく変化している領域、すなわち周期が短く、振幅が所定の幅より大きいブレが発生している領域は、ボタンを押したことによるブレが発生している領域であると判断する。そして、中心座標軌跡が大きく変化している領域に含まれる全てのフレームを削除対象のフレーム群とする。フレーム群は、削除対象の最初のフレームの番号及び最後のフレームの番号で指定する。
図6は、動画の終了フレーム周辺領域の中心座標軌跡を示す。終了フレーム周辺領域とは、例えば終了フレームから1秒以内の範囲をいう。終了フレーム周辺領域においては、図6の○で囲まれた領域に示すように、終了フレーム周辺領域の前の数フレームの中心座標軌跡と大きく異なる傾きで推移している領域、例えば、終了フレーム周辺領域以前はほぼ右向きに中心座標軌跡が変化しているのに対し、終了フレーム周辺領域内に右斜め下向きに中心座標領域が変化している領域を、ボタンを押したことによるブレが発生している領域であると判断する。そして、終了フレーム周辺領域の前の数フレームの中心座標軌跡と大きく異なる傾きで推移している領域以降の全てのフレームを削除対象のフレーム群とする。
図7は、開始フレーム周辺領域、終了フレーム周辺領域以外の領域の中心座標軌跡を示す。開始フレーム周辺領域、終了フレーム周辺領域以外の領域では、図7の○で囲まれた領域に示すように、中心座標軌跡が大きく変化している領域、すなわち周期が短く、振幅が所定の幅より大きいブレが発生している領域は、手振れが発生している領域であると判断する。そして、中心座標軌跡が大きく変化している領域に含まれる全てのフレームを削除対象のフレーム群とする。
これにより、ユーザが意図していないと考えられる箇所を抽出する処理(ステップS40)を終了する。このように、ボタンを押したこと、手振れなどによる画像のブレがないフレームを用いて合成画像を生成するため、ユーザが意図していない合成画像を生成することを防止することができる。
その後、モザイキング処理部132は、ステップS40で抽出された削除対象のフレーム群を、ステップS30で生成された合成画像から削除する(ステップS50)。図8は、モザイキング処理部132が削除対象のフレーム群を合成画像から削除する処理(ステップS50)の処理の流れを示すフローチャートである。
ステップS30でモザイキング処理部132のメモリ領域に記憶された各フレームの4隅の座標(図4参照)に基づいて、ステップS40で削除対象とされたフレーム群の前後フレーム、すなわち隣接する合成対象のフレームに重なり部があるかどうかを判断する(ステップS51)。重なり分があるかどうかは、削除対象とされたフレーム群の前後フレーム、すなわち隣接する合成対象のフレームの4隅の座標からそれぞれのフレームの位置(領域)を求め、その領域が重なるか否かにより判断される。
削除対象とされたフレーム群の前後フレーム、すなわち隣接する合成対象のフレームに重なり部がない(ステップS51でNO)場合とは、例えば図9(a)に示すように、4枚の連続するフレームのうちの中央2枚の画像が削除対象のフレーム群とされた場合である。この場合に削除対象のフレーム群を用いないとすると、図9(b)に示すように、削除対象とされたフレーム群の前後フレームが重ならない。すなわちに隣接する合成対象のフレームに重なり部が無い。
したがって、削除対象とされたフレーム群の前後フレーム、すなわち隣接する合成対象のフレームに重なり部がない(ステップS51でNO)と判断された場合には、削除対象のフレーム群のうちの所望のフレームを1枚削除対象から除外して合成対象に加え、残りの画像を削除対象のフレーム群とする修正を行う(ステップS51)。例えば、図9(c)に示すように、削除対象のフレーム群(2枚目、3枚目のフレーム)のうちの最初の1枚(2枚目)のフレームを削除対象から外し、最初から合成対象であった最初のフレーム及び最後のフレームと、削除対象から外した2枚目のフレームとの3枚のフレームを合成対象のフレームとする。
そして、再度、隣接する合成対象のフレームに重なり部があるかどうかを判断する(ステップS51)。再び隣接する合成対象のフレームに重なり部がない(ステップS51でNO)と判断された場合には、再度削除対象のフレーム群のうちの所望のフレームを1枚削除対象から除外して合成対象に加える修正を行う(ステップS51)。例えば、図9(c)のように削除対象のフレーム群のうちの最初のフレームを合成対象とした場合においても、合成対象である1枚目、2枚目及び4枚目のフレームは互いに重ならない。そのため、削除対象のフレーム群のうち、削除対象から外すフレームを最初(2枚目)のフレームから最後のフレーム(3枚目)のフレームへ変更する。その結果、図9(d)に示すように、最初から合成対象であった最初のフレーム及び最後のフレームと、削除対象から外した3枚目のフレームとの3枚のフレームを合成対象のフレームとする。
そして、再度、隣接する合成対象のフレームに重なり部があるかどうかを判断する(ステップS51)。図9(d)に示す場合には、1枚目のフレームと3枚目のフレームとが重なり、3枚目のフレームと4枚目のフレームとが重なる(ステップS51でYES)ため、削除を実行するステップ(ステップS53)へ進む。また、図10(a)に示すように、削除対象とされたフレーム群の前後フレーム、すなわち隣接する合成対象のフレームに重なり部がある(ステップS51でYES)場合には、削除を実行するステップ(ステップS53)へ進む。
削除を実行するステップS53では、図9(e)に示すように、図9(d)において削除対象フレームとされた2枚目のフレームを除いた3枚の画像で合成処理を行う。また、図10(b)に示すように、重なり部のある隣接する合成対象のフレームで合成処理を行う。そのため、合成画像に穴があくことにより不自然な画像となることを防止することができる。
これにより、削除対象のフレーム群を合成画像から削除する処理(ステップS50)を終了し、ステップS30におけるモザイキング結果より削除対象のフレームを除いた合成画像が合成される。このように隣接する画素が重なり合うようにすることで、画像に穴が空くなどの不自然な合成画像が生成されることを防ぐことができる。
最後に、モザイキング処理部132はCPU102に合成画像を合成したことを示す情報を出力する。CPU102は、モザイキング処理部132がステップS10〜S50のステップを行うことにより生成した合成画像を、表示メモリ116を介してモニタ118に出力する(ステップS60)。これにより、モニタ118に合成画像が表示され、ユーザが合成画像を確認することができる。なお、合成画像の出力は、モニタ118に対して行なってもよいし、プリンタ3に対して行なってもよい。
本実施の形態によれば、ユーザが意図して撮影していないと考えられるフレームを抽出し、抽出されたフレームを含まない合成画像を生成することができる。そのため、モサイキングを行った結果、ユーザが意図していない結果になるのを防ぐことができる。
なお、本実施の形態では、撮像装置2から取得した動画像を用いて合成画像を生成したが、通信インターフェース部(通信I/F)を介して接続されたネットワークから取得した動画像を用いて合成画像を生成するようにしてもよい。
なお、本実施の形態では、撮像装置2から取得した動画像を用いて合成画像を生成したが、動画に限らず、連写などにより撮影された複数枚の静止画の連続写真などを用いて合成画像を生成することもできる。
また、本実施の形態では、図3に示すように、時間の経過と共にフレームが左から右へ移動し、それに伴いフレームの中心座標軌跡がほぼ右方向に変化する場合を例に説明したが、フレームの移動方向は左から右に限らず、右から左、上から下、下から上などの様々な方向を取りうるし、フレームの中心座標軌跡もほぼ右方向に限らず、左方向、下方向、上方向など様々な方向に変化しうる。
また、本実施の形態では、ステップS40において、フレームの中心座標に基づいてユーザが意図していないと考えられる箇所を抽出したが、ユーザが意図していないと考えられる箇所を抽出する場合に用いるのは中心座標に限定されず、例えばフレームの4隅の座標のうちの所望の座標を用いるようにしてもよい。フレームの回転を考慮する場合には、ステップS40に示したように、中心座標が最適であるが、フレームの回転が微小であり無視しても影響がほとんど無いような場合には、例えばフレームの左下の隅の座標に基づいてユーザが意図していないと考えられる箇所を抽出することもできる。また、被写体を追って撮影している場合には、フレームから特徴点等を用いて移動しない被写体を検出し、その移動しない被写体の重心位置に基づいてユーザが意図していないと考えられる箇所を抽出することもできる。
また、本実施の形態では、ステップS40において、動画の終了フレーム周辺領域(図6)の中心座標軌跡が大きく異なる傾きで推移している領域として、中心座標軌跡がほぼ右向きから右斜め下向きに変化している領域を抽出したが、中心座標軌跡が大きく異なる傾きで推移している領域はこれに限らず、所定の方向から当該所定の方向と異なる他の方向に変化する領域であればよい。
図6に示すように、上面にボタンが設けられたコンパクトデジタルカメラを用いた場合には、ボタンを押したことによるブレは、中心座標軌跡がほぼ右向きから右斜め下向きに変化している領域として抽出される。しかしながら、例えば、カメラを90度時計回りに回転させた場合にはボタンは右側面に設けられる。そのため、ボタンを押したことによるブレが発生している領域としては、中心座標軌跡がほぼ右向きからほぼ左向きに変化した領域を抽出すればよい。また、カメラを90度反時計回りに回転させた場合にはボタンは左側面に設けられる。そのため、ボタンを押したことによるブレが発生している領域としては、中心座標の間隔が広くなった領域を抽出すればよい。
また、ビデオカメラを用いた場合には、カメラ前面の端部に録画停止ボタンがついている場合がある。この場合には、ボタンを押すことによりカメラが上下方向に回転するような動き(ピッチ)が加えられるため、ボタンを押したことによるブレが発生している領域としては、中心座標軌跡がほぼ右向きから斜め上方向又は斜め下方向に変化した領域を抽出すればよい。
また、本実施の形態では、ステップS40において、開始フレーム周辺領域、終了フレーム周辺領域以外の領域の中心座標軌跡が大きく変化している領域、すなわち周期が短く、振幅が所定の幅より大きいブレが発生している領域を削除対象として抽出したが、削除対象として抽出する領域はこれに限らない。例えば、動画を撮影しながらズーミングを行うことが考えられる。裏面にワイド、テレボタンが設けられたコンパクトデジタルカメラを用いた場合には、ワイド、テレボタン操作によりカメラが左右方向に回転する用の動き(ヨー)又はカメラが上下方向に回転するような動き(ピッチ)が加えられる。したがって、ズーミングによるブレが発生している領域としては、中心座標軌跡がほぼ右向きからほぼ左向きに変化した領域、中心座標の間隔が広くなった領域、又は中心座標軌跡がほぼ右向きから斜め上方向若しくは斜め下方向に変化した領域を抽出すればよい。
また、最近では動画の撮影が可能なデジタル一眼レフカメラが提供されているが、この場合には前面のレンズを回転させてズーミングを行うため、カメラには同一面上で回転する動き(ロール)が加えられる。したがって、ズーミングによるブレが発生している領域としては、中心軌跡に回転方向の動きが発生した領域を抽出すればよい。
また、本実施の形態では、モザイキング処理を行なった後で削除対象フレーム群を抽出したが、ユーザが意図していないと考えられる画像を除いた合成画像が生成されるのであれば、先に削除対象のフレーム群を抽出し、その後合成対象のフレーム群のみを用いて合成画像を生成するようにしてもよい。
また、本実施の形態では、各フレームの座標のみを用いて、すなわち2次元座標系で削除対象フレーム群の抽出や画像の合成を行ったが、奥行きを考慮した3次元座標系で削除対象フレーム群の抽出や画像の合成を行うようにしてもよい。奥行きは、被写体の大きさなどを用いた相対的な補正を行なってもよいし、焦点距離などを用いた絶対的な補正を行ってもよい。例えば、ビデオカメラ前面に設けられた録画停止ボタンを操作する場合には、ボタン操作により奥行き方向にカメラが移動する場合が考えられる。この場合には、奥行き方向の座標を考慮し、奥行き方向に中心座標が移動した領域を削除対象フレーム群として抽出するようにしてもよい。
また、本実施の形態では、図9に示すように、合成対象の画像と重なるような1枚の画像を削除対象から外したが、削除対象から外す画像は1枚に限定されない。
なお、本発明は、PCに限らず、撮像装置、携帯情報端末のような装置にも適用が可能である。また、PCなどの装置に限らず、例えば、PC、撮像装置、携帯情報端末のような装置に適用するプログラムとして提供することもできる。
1:画像処理装置、2:撮像装置、3:プリンタ、102:中央処理装置(CPU)、104:バス1、106:主メモリ、108:ハードディスク装置、110:CD−ROM装置、112:プリンタインターフェース部(プリンタI/F)、114:カメラ接続インターフェース部(カメラ接続I/F)、116:表示メモリ、118:モニタ、120:キーボード、122:マウス、124:マウスコントローラ、126:オーディオ入出力回路、128:マイク、130:スピーカ、132:モザイキング処理部
Claims (9)
- 被写体を連続して撮像することにより得られた一連の画像を取得する取得手段と、
前記取得手段により取得された一連の画像を連結して1つの合成画像を生成するモザイキング処理手段と、
を備えた画像処理装置であって、前記モザイキング処理手段は、
前記取得手段により取得された一連の画像の各画像に対して当該画像の代表座標をそれぞれ取得する座標取得手段と、
前記座標取得手段により取得された各画像の代表座標の軌跡に基づいて、前記取得手段により取得された一連の画像からモザイキング処理の対象から除外する画像を抽出する抽出手段と、
前記抽出手段により抽出された画像を除外した前記一連の画像を連結した画像を前記合成画像として生成する合成画像生成手段と、で構成されたことを特徴とする画像処理装置。 - 前記抽出手段は、前記代表座標の軌跡が所定の大きさ以上で変化する領域に含まれる画像を前記除外する画像として抽出することを特徴とする請求項1に記載の画像処理装置。
- 前記抽出手段は、前記取得手段により取得された一連の画像の最後に撮像された画像から所定の範囲内の画像についての前記代表座標の軌跡において、当該代表座標の軌跡が所定の方向から当該所定の方向と異なる他の方向に変化する領域を求め、当該領域に含まれる画像以降の全ての画像を前記除外する画像として抽出することを特徴とする請求項1又は2に記載の画像処理装置。
- 前記座標取得手段は、前記一連の画像の各画像に対して当該画像の4隅の座標をそれぞれ取得し、
前記合成画像生成手段は、前記座標取得手段により取得された4隅の座標に基づいて、前記モザイキング処理の対象から除外する画像として抽出された画像以外の画像であって、当該抽出された画像に隣接する2枚の画像の少なくとも一部が重なるかどうかを判断する判断手段を有し、
前記合成画像生成手段は、前記判断手段により隣接する2枚の画像の少なくとも一部が重なると判断されると、当該隣接する2枚の画像を連結することを特徴とする請求項1から3のいずれかに記載の画像処理装置。 - 前記判断手段により隣接する2枚の画像の少なくとも一部が重ならないと判断されると、前記モザイキング処理の対象から除外する画像のなかから前記隣接する2枚の画像のいずれにも少なくとも一部が重なる画像を選択する手段を備え、
前記抽出手段は、前記モザイキング処理の対象から除外する画像から当該選択した画像を外し、残りの画像を前記モザイキング処理の対象から除外する画像とすることを特徴とする請求項4に記載の画像処理装置。 - 前記合成画像生成手段により生成された合成画像をモニタ又は紙媒体に出力する出力手段を備えたことを特徴とする請求項1から5のいずれかに記載の画像処理装置。
- 請求項1から6に記載の画像処理装置と、
被写体像を撮像する撮像手段と、
を備えたことを特徴とする撮像装置。 - 被写体を連続して撮像することにより得られた一連の画像を取得するステップと、
前記取得された一連の画像を連結して1つの合成画像を生成するステップと、
前記取得された一連の画像の各画像に対して当該画像の代表座標をそれぞれ取得するステップと、
前記取得された画像の代表座標がどのように変化するかを示す代表座標の軌跡に基づいて、前記取得手段により取得された一連の画像からモザイキング処理の対象から除外する画像を抽出するステップと、
前記生成された合成画像から前記抽出された画像を除外するステップと、
を含むことを特徴とする画像処理方法。 - 請求項8に記載の画像処理方法を演算装置に演算させることを特徴とするプログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008231941A JP2010068193A (ja) | 2008-09-10 | 2008-09-10 | 画像処理装置、撮像装置、画像処理方法及びプログラム |
EP09011559A EP2164039A1 (en) | 2008-09-10 | 2009-09-09 | Image processing apparatus, imaging apparatus, image processing method and computer program product for the same |
US12/556,951 US20100060750A1 (en) | 2008-09-10 | 2009-09-10 | Image processing apparatus, imaging apparatus, image processing method and computer program product for the same |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008231941A JP2010068193A (ja) | 2008-09-10 | 2008-09-10 | 画像処理装置、撮像装置、画像処理方法及びプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2010068193A true JP2010068193A (ja) | 2010-03-25 |
Family
ID=41171005
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008231941A Abandoned JP2010068193A (ja) | 2008-09-10 | 2008-09-10 | 画像処理装置、撮像装置、画像処理方法及びプログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US20100060750A1 (ja) |
EP (1) | EP2164039A1 (ja) |
JP (1) | JP2010068193A (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102100667B1 (ko) * | 2013-04-30 | 2020-04-14 | 삼성전자주식회사 | 휴대 단말기에서 이미지 데이터를 생성하는 장치 및 방법 |
US20170169576A1 (en) * | 2015-12-09 | 2017-06-15 | National Taiwan University | Crowd intelligence on flow velocity measurement |
US11074672B2 (en) * | 2017-04-19 | 2021-07-27 | Capsovision Inc. | Method of image processing and display for images captured by a capsule camera |
DE102022112743B4 (de) * | 2022-05-20 | 2024-02-01 | Audi Aktiengesellschaft | Verfahren zur Verbesserung der Qualität einer Audio- und/oder Videoaufzeichnung sowie Steuervorrichtung für ein mobiles Endgerät |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5649032A (en) * | 1994-11-14 | 1997-07-15 | David Sarnoff Research Center, Inc. | System for automatically aligning images to form a mosaic image |
US6075905A (en) * | 1996-07-17 | 2000-06-13 | Sarnoff Corporation | Method and apparatus for mosaic image construction |
JP2003009144A (ja) | 2001-06-27 | 2003-01-10 | Emaki:Kk | ビデオ画像をデジタル化されたパノラマ画像に変換し、それをデータベース化するシステム及びそのコンピュータ処理プログラム |
-
2008
- 2008-09-10 JP JP2008231941A patent/JP2010068193A/ja not_active Abandoned
-
2009
- 2009-09-09 EP EP09011559A patent/EP2164039A1/en not_active Withdrawn
- 2009-09-10 US US12/556,951 patent/US20100060750A1/en not_active Abandoned
Also Published As
Publication number | Publication date |
---|---|
US20100060750A1 (en) | 2010-03-11 |
EP2164039A1 (en) | 2010-03-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6167703B2 (ja) | 表示制御装置、プログラム及び記録媒体 | |
JP6970283B2 (ja) | 画像ステッチング方法および装置、記憶媒体 | |
JP5982884B2 (ja) | 表示制御装置、表示制御方法およびコンピュータ読み取り可能な記録媒体 | |
JP5218071B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
JP2012242821A (ja) | 表示画像生成方法 | |
JP2009071375A (ja) | 撮像装置および画像処理プログラム | |
JP5312256B2 (ja) | 撮像装置および撮像システム | |
JP2011023814A (ja) | 撮像装置 | |
JP2011119974A (ja) | パノラマ画像合成装置、パノラマ画像合成方法、及びプログラム | |
JP2005318177A (ja) | 資料提示装置 | |
JP2007049545A (ja) | 画像合成装置、画像合成方法及びプログラム | |
JP2010068193A (ja) | 画像処理装置、撮像装置、画像処理方法及びプログラム | |
JP5877329B2 (ja) | 撮像装置および画像処理装置 | |
JP5282530B2 (ja) | デジタルカメラ | |
JP5884723B2 (ja) | 画像合成装置、画像合成方法及びプログラム | |
JP4438870B2 (ja) | 指示システム、指示プログラム及び指示装置 | |
KR20140127131A (ko) | 영상 출력 방법 및 그 방법을 처리하는 전자장치 | |
JP2019036876A (ja) | 画像読取装置、画像形成装置、画像読取方法及び画像読取プログラム | |
JP2011182014A (ja) | 撮像装置、撮像処理方法及びプログラム | |
US20140078161A1 (en) | Image processing device for scrolling display of an image | |
JP2005252803A (ja) | 画像処理装置、画像処理方法、画像処理プログラムおよびそのプログラムを記録した記録媒体 | |
JP2005217721A (ja) | 静止画像生成装置および生成方法 | |
JP2005217902A (ja) | 画像処理装置および画像処理方法 | |
JP5448799B2 (ja) | 表示制御装置及び表示制御方法 | |
JP5585168B2 (ja) | 差分画像生成装置、プログラム及び差分画像生成方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110114 |
|
A762 | Written abandonment of application |
Free format text: JAPANESE INTERMEDIATE CODE: A762 Effective date: 20120704 |