JP2017143492A - 画像処理装置、撮像装置、画像処理方法、及びプログラム - Google Patents

画像処理装置、撮像装置、画像処理方法、及びプログラム Download PDF

Info

Publication number
JP2017143492A
JP2017143492A JP2016025203A JP2016025203A JP2017143492A JP 2017143492 A JP2017143492 A JP 2017143492A JP 2016025203 A JP2016025203 A JP 2016025203A JP 2016025203 A JP2016025203 A JP 2016025203A JP 2017143492 A JP2017143492 A JP 2017143492A
Authority
JP
Japan
Prior art keywords
frame
frames
image processing
moving
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016025203A
Other languages
English (en)
Other versions
JP6700831B2 (ja
Inventor
史明 高橋
Fumiaki Takahashi
史明 高橋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2016025203A priority Critical patent/JP6700831B2/ja
Priority to US15/427,383 priority patent/US10063779B2/en
Publication of JP2017143492A publication Critical patent/JP2017143492A/ja
Application granted granted Critical
Publication of JP6700831B2 publication Critical patent/JP6700831B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/73Deblurring; Sharpening
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681Motion detection
    • H04N23/6811Motion detection based on the image signal
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681Motion detection
    • H04N23/6815Motion detection by distinguishing pan or tilt from motion
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682Vibration or motion blur correction
    • H04N23/683Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20172Image enhancement details
    • G06T2207/20182Noise reduction or smoothing in the temporal domain; Spatio-temporal filtering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20172Image enhancement details
    • G06T2207/20201Motion blur correction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Computer Vision & Pattern Recognition (AREA)

Abstract

【課題】手振れの発生する条件下で撮影を行う場合であっても、静止領域の画像ブレを軽減しつつ、スローシャッター効果を持つ画像を生成することを可能にする技術を提供する。【解決手段】動画の画面に対応する領域を、被写体が移動している動領域と被写体が静止している静領域とに分割する分割手段と、前記動画に含まれる複数のフレームのうちのNフレーム(Nは1以上の整数)それぞれの前記静領域に対応する領域と、前記複数のフレームのうちのMフレーム(MはNより大きい整数)それぞれの前記動領域に対応する領域とを合成することにより、静止画を生成する生成手段と、を備えることを特徴とする画像処理装置を提供する。【選択図】図3

Description

本発明は、画像処理装置、撮像装置、画像処理方法、及びプログラムに関する。
カメラでの撮影手法の1つに、「スローシャッター」がある。この撮影手法は、別名、バルブ撮影又は長秒露光とも呼ばれる。この撮影手法は、通常撮影と比べて長時間(例えば10秒間)露光を行うことにより、動いている被写体に対して時間軸方向での合成効果を与え、通常撮影とは異なる映像表現を実現するものである。
また、十分な流し撮り効果を得るために、流し撮り撮影中に動きベクトル検出を行い、動いていると認識された背景領域のブレ量を増大させる技術も知られている(特許文献1参照)。
特開2006−80844号公報
カメラを手で持ってスローシャッター撮影を行う場合、露光中に手振れによりカメラ姿勢が変化しやすく、最終的に得られる画像において、動く被写体のみならず静止した被写体や背景までもがブレてしまう可能性が高い。そのため、スローシャッター撮影を行う際は、三脚を用いてカメラ姿勢を固定するのが一般的である。しかしながら、三脚を撮影場所まで持ち運んで設置することは、ユーザに大きな負担をかけるものであった。
また、特許文献1の技術は、露出条件に関わらずスローシャッター効果に似た効果を得ることを可能にするものであるが、この効果は被写体の実際の動きに対応するものではないため、スローシャッター撮影の代わりになるものではない。
本発明はこのような状況に鑑みてなされたものであり、手振れの発生する条件下で撮影を行う場合であっても、静止領域の画像ブレを軽減しつつ、スローシャッター効果を持つ画像を生成することを可能にする技術を提供することを目的とする。
上記課題を解決するために、本発明は、動画の画面を、被写体が移動している動領域と被写体が静止している静領域とに分割する分割手段と、前記動画に含まれる複数のフレームのうちのNフレーム(Nは1以上の整数)それぞれの前記静領域に対応する領域と、前記複数のフレームのうちのMフレーム(MはNより大きい整数)それぞれの前記動領域に対応する領域とを合成することにより、静止画を生成する生成手段と、を備えることを特徴とする画像処理装置を提供する。
なお、その他の本発明の特徴は、添付図面及び以下の発明を実施するための形態における記載によって更に明らかになるものである。
本発明によれば、手振れの発生する条件下で撮影を行う場合であっても、静止領域の画像ブレを軽減しつつ、スローシャッター効果を持つ画像を生成することが可能となる。
撮像装置の一例であるデジタルカメラ101の構成を示すブロック図。 画像処理装置の一例であるスマートフォン201の構成を示すブロック図。 スローシャッター効果処理のフローチャート。 処理対象フレーム選出処理(S302)の詳細を示すフローチャート。 S401の処理を例示する図。 手振れフレーム除外処理(S402)の詳細を示すフローチャート。 カメラ姿勢情報に基づいて手振れフレームを検出して除外する様子を例示する図。 動領域/静領域分割処理(S303)の詳細を示すフローチャート。 S801の処理を例示する図。 動きベクトル閾値処理(S802)を例示する図。 動きベクトル閾値処理(S802)の結果を例示する図。 動きベクトル強度合算処理(S803)を例示する図。 LPF処理(S804)の結果として得られる動きベクトル量マップを例示する図。 動静領域マップを例示する図。 静領域フレーム選択処理(S304)の詳細を示すフローチャート。 動領域フレーム合成処理(S305)の詳細を示すフローチャート。 結果画像を例示する図。 スマートフォン201の外観図。
以下、添付図面を参照して、本発明の実施形態を説明する。なお、本発明の技術的範囲は、特許請求の範囲によって確定されるのであって、以下の個別の実施形態によって限定されるわけではない。また、実施形態の中で説明されている特徴の組み合わせすべてが、本発明に必須とは限らない。
[第1の実施形態]
図1は、撮像装置の一例であるデジタルカメラ101の構成を示すブロック図である。デジタルカメラ101は、電源スイッチ102、撮像部103、姿勢センサ104、CPU105、画像処理プロセッサ106、及びメモリ107を備える。メモリ107は、制御プログラム領域108及び作業用メモリ領域109を含む。また、デジタルカメラ101は、通信部110、表示部111、入力部112、及びメモリカード113を備える。メモリカード113は、動画ファイル114を格納することができる。また、デジタルカメラ101は、デジタルカメラとして一般的なその他の構成(不図示)も備えるものとする。
ユーザが電源スイッチ102を操作することにより電源をONにすると、CPU105は、制御プログラム領域108に格納されたプログラムを実行することにより、デジタルカメラ101に備わった各種機能を制御する。これにより、デジタルカメラ101は、デジタルカメラとして動作するようになる。
ユーザが入力部112を介して撮影指示を入力すると、CPU105の制御に従い、撮像部103が撮像を行い、画像処理プロセッサ106が現像処理や圧縮エンコードなどを行う。CPU105は、こうして得られた動画を、動画ファイル114としてメモリカード113に記録する。この時、姿勢センサ104は、撮像中のデジタルカメラ101の姿勢情報(カメラ姿勢情報)を取得する。CPU105は、カメラ姿勢情報を動画ファイル114にメタデータとして記録する。これにより、動画ファイル114とカメラ姿勢情報とが関連付けられる。
表示部111は、ユーザが撮影済みの画像を確認したり、ユーザが入力部112を介して指示を入力したりする際に、ユーザインタフェースとして機能する。通信部110は、WiFiなどの無線通信により、スマートフォンなどの外部機器に対して、撮影済みの画像データを送信する。
図2は、画像処理装置の一例であるスマートフォン201の構成を示すブロック図である。スマートフォン201は、撮影済みの動画データからスローシャッター効果を持つ静止画(スローシャッター画像)を生成する機能を持つ。なお、本実施形態においては、動画データを生成する装置とスローシャッター画像を生成する装置とが別個の装置であるが、1つの装置が動画データの生成及びスローシャッター画像の生成の両方を実行するように構成されていてもよい。例えば、デジタルカメラ101が、スローシャッター画像を生成する機能を備えていてもよい。また、スマートフォン201の代わりに、パーソナルコンピュータが、スローシャッター画像を生成する機能を備えていてもよい。
スマートフォン201は、CPU202、及びメモリ203を備える。メモリ203は、制御プログラム領域204及び作業用メモリ領域205を含む。また、スマートフォン201は、通信部206、表示部207、入力部208、及びSSD209(Solid State Drive)を備える。SSD209は、動画ファイル210及びスローシャッター画像211(静止画ファイル)を格納することができる。また、スマートフォン201は、スマートフォンとして一般的なその他の構成(不図示)も備えるものとする。
ユーザが入力部208を介して動画ファイル210を指定し、スローシャッター効果処理の実行を指示すると、CPU202は、制御プログラム領域204に格納されたプログラムを実行することにより、スローシャッター効果処理を実行する。CPU202は、スローシャッター効果処理により生成された静止画データを、スローシャッター画像211として保存する。なお、ユーザは、スローシャッター効果処理の間に、スローシャッター効果を確認しながら、効果の調整を行うことができる。この場合、静止画データは、作業用メモリ領域205に一時的に格納され、表示部207に表示される。
図3は、スローシャッター効果処理のフローチャートである。本フローチャートの各ステップの処理は、特に断らない限り、スマートフォン201のCPU202が、制御プログラム領域204に格納されたプログラムを実行することにより実現される。
S301で、CPU202は、動画ファイル210を作業用メモリ領域205へと読み込む。スマートフォン201は、事前に動画ファイル114をデジタルカメラ101から取得して、SSD209に動画ファイル210として格納しているものとする。
S302で、CPU202は、動画ファイル210に含まれる全フレームの中から、スローシャッター効果処理に適したフレーム(処理対象フレーム)を選出する。処理対象フレーム選出処理の詳細については後述する。
S303で、CPU202は、動領域/静領域分割処理を行う。動領域/静領域分割処理は、動画の画面を、動領域(被写体が移動している領域)と静領域(被写体が静止している領域)とに分割する処理である。ここで、動画の画面は撮影画角に対応する領域であってもよいし、その領域から切り取られた一部の領域であってもよい。動領域/静領域分割処理の詳細については後述する。S304で、CPU202は、結果画像(スローシャッター効果処理により最終的に生成されるスローシャッター画像)の静領域に用いるフレームを選択するための、静領域フレーム選択処理を行う。静領域フレーム選択処理の詳細については後述する。
S305で、CPU202は、動領域フレーム合成処理を行う。動領域フレーム合成処理の詳細については後述する。S306で、CPU202は、結果画像を表示部207に表示させる。その後、CPU202は、本フローチャートの処理を終了する。
図4は、処理対象フレーム選出処理(S302)の詳細を示すフローチャートである。S401で、CPU202は、動画データの全フレームのうち、撮影期間における最初と最後の所定期間(例えば、数秒)に対応するフレームを処理対象から除外する。図5は、S401の処理を例示する図である。ここでは、最初と最後の1秒に相当するフレームを処理対象から除外するものとする。一般的に、動画撮影を開始するときと、終了するときには、開始指示及び終了指示のためのボタン操作などが発生し、カメラ姿勢が大きく変化してしまう。そのため、これらの期間におけるフレームにはブレが生じ、スローシャッター画像としては不適切な可能性が高い。そこで、これらのフレームを処理対象から除外する。
なお、ここでは、最初と最後の所定期間のフレームを除外することとしたが、本実施形態はこれに限定されない。例えば、最初又は最後の一方のみ、所定期間のフレームを除外してもよい。また、操作部材の工夫により手振れが発生しにくい場合には、この期間を短くしてもよい。或いは、除外期間(所定期間の長さ)をユーザが選択可能なユーザインタフェースを設け、ユーザ指示に従って除外期間を決定するように構成してもよい。
S402で、CPU202は、手振れフレーム除外処理を行う。図6は、手振れフレーム除外処理(S402)の詳細を示すフローチャートである。
S601で、CPU202は、動画ファイル210のメタデータとして、カメラ姿勢情報が存在するか否かを判定する。カメラ姿勢情報が存在する場合、CPU202は、処理をS602に進める。カメラ姿勢情報が存在しない場合、CPU202は、処理をS603に進める。
S602で、CPU202は、カメラ姿勢情報を参照し、各フレームの撮影時にカメラ姿勢が大きく変化したフレーム(姿勢変化量が第3の閾値以上のタイミングに撮影されたフレーム)を手振れフレームとして検出する。そして、CPU202は、検出された手振れフレームを処理対象から除外する。図7は、カメラ姿勢情報に基づいて手振れフレームを検出して除外する様子を例示する図である。図7に示すように、カメラ姿勢が大きく変化した期間のフレームが検出され、処理対象から除外される。
S603で、CPU202は、動画のフレーム間の動きベクトル量を画像解析により検出し、動きベクトル量に基づいて、手振れフレームを検出する。CPU202は、こうして検出した手振れフレームを、処理対象から除外する。
なお、本実施形態における動きベクトル検出の方式としては勾配法を用いることとするが、動きベクトル検出の方式はこれに限定されない。一例として、本実施形態では、CPU202は、各フレームごとに、フレーム内の複数の動きベクトルを方向と量に基づいてグループへの分類を行う。そして、CPU202は、一番数の多い動きベクトルを含むグループを、手振れによる動きベクトルのグループと判定する。そして、CPU202は、判定されたグループベクトルの長さが閾値以上の場合に、対応するフレームを手振れフレームとして検出する。
以上の処理により、動画の全フレームのうちの一部のフレームが、処理対象フレームとして選出される。即ち、これまでの処理により除外されなかったフレームが、最終的に処理対象フレームとして選出される。
次に、図8を参照して、動領域/静領域分割処理(S303)の詳細について説明する。S801で、CPU202は、処理対象の全フレームについて、隣接フレーム間の動きベクトルを検出する。ここでの動きベクトル検出処理は、S603における処理と同等である。そのため、CPU202は、S603において処理結果を作業用メモリ領域205に保持しておき、S801においてS603の処理結果を再利用してもよい。
図9は、S801の処理を例示する図である。図中の川の部分については、川の流れによる動領域の動きベクトルが比較的大きなベクトルとして検出されている。その他の静領域については、比較的小さい値の同じ大きさのベクトルが同一方向に多数存在することが検出されている。図9から理解できるように、CPU202は、動きベクトルを検出する際に、フレームの複数の領域それぞれについて検出を行う。検出対象の複数の領域の決定方法は特に限定されないが、領域の数が多いほど(各領域が小さいほど)静領域/動領域の分割精度が向上する。
S802で、CPU202は、動きベクトル閾値処理により、全処理対象フレームについて、手振れに起因する動きベクトル(手振れ動きベクトル)を削除する。
図10は、動きベクトル閾値処理(S802)を例示する図である。図10はヒストグラムであり、横軸はベクトルの大きさ成分(動き量)を示し、縦軸はベクトルの個数を示す。手振れ動きベクトルは、一定方向に一定の大きさを持つベクトルが多数発生する特徴を有する。また、S302の処理対象フレーム選出処理により、大きな手振れによる動きベクトルを持つフレームは処理対象から除外されているため、多数発生するベクトルのうち、比較的小さい(短い)ものが手振れ動きベクトルであると推定される。図10においては、ヒストグラムの2つの山のうち、大きい山(動き量が小さい山)が手振れ動きベクトルであると判定することができる。このピークから2倍の位置などを閾値(第2の閾値)として、大きさ成分がこの閾値未満のベクトルを削除することにより、動物体による動きベクトル(被写体動きベクトル)のみを検出することが可能になる。換言すると、CPU202は、動きベクトルの大きさ成分の度数分布に基づいて、手振れ動きベクトルを識別するための閾値(第2の閾値)を決定する。
なお、手振れ動きベクトルは、方向がほぼ一定であるという性質も持つ。そのため、CPU202は、動きベクトルを方向別にグループ化してもよい(例えば、方向を8分割する)。この場合、CPU202は、各グループについてヒストグラムを求め、大きさ成分が小さい位置への集中度合(小さい動きベクトルの集中度合)が最大のグループの方向を、手振れ方向と判定する。そして、CPU202は、判定された手振れ方向のグループの中から、大きさ成分の閾値に基づいて手振れ動きベクトルを識別する。
図11は、動きベクトル閾値処理(S802)の結果を例示する図である。図11に示されるように、動領域の動きベクトルのみが削除されずに残っている。
S803で、CPU202は、動きベクトル強度合算処理を行う。具体的には、CPU202は、全ての処理対象フレームの動きベクトル量(大きさ成分)を、領域ごとに合算する。この処理は、動領域と静領域とを分割するための処理であるため、CPU202は、ベクトルの方向成分については考慮せず、量(大きさ成分)のみの合算値を取得する。図12は、動きベクトル強度合算処理(S803)を例示する図である。図12においては、動きベクトル量が大きい位置ほど白く、小さい位置ほど黒く示されている。
S804で、CPU202は、合算強度に対してLPF処理(ローパスフィルタ処理)を実行する。なお、この処理は、動きベクトルの解像度が全ピクセルで無い場合などに、特に有効である。そのため、CPU202は、動ベクトル検出処理精度などに応じて、S804の処理を省略しても構わない。
図13は、LPF処理(S804)の結果として得られる動きベクトル量マップを例示する図である。図13においては、動きベクトル量が大きい位置ほど白く、小さい位置ほど黒く示されている。
S805で、CPU202は、閾値処理により動きベクトル量マップを二値化することにより、動静領域マップを生成する。ここで用いる閾値(第1の閾値)としては、動きベクトルを合算したフレーム数などに依存した値を用いるものとする。図14は、このようにして求められた動静領域マップを例示する図である。図14に示すように、動領域である川の部分が白で、静領域である他の部分が黒で表現される。即ち、CPU202は、大きさ成分の合算値が閾値以上の領域を動領域として判定し、大きさ成分の合算値が閾値未満の領域を静領域として判定する。
図15は、静領域フレーム選択処理(S304)の詳細を示すフローチャートである。静領域フレーム選択処理は、静領域に対応する領域における被写体の動きが最小のフレームを静領域フレームとして選択する処理である。
S1501で、CPU202は、処理対象フレームのインデックスNを1にセットする。S1502で、CPU202は、フレームNとフレームN+1との間の動きベクトルを算出する。
S1503で、CPU202は、動静領域マップ(図14)を参照し、静領域における複数の領域それぞれの動きベクトルの強度(大きさ成分)を合算する。S1504で、CPU202は、フレームNの合算値が、これまでのフレームの中で最小値か否かを判定する。合算値が最小値の場合((フレームNの合算値)<(これまでの最小値min)の場合)、CPU202は処理をS1505に進め、そうでない場合、CPU202は処理をS1506に進める。
S1505で、CPU202は、フレームNを静領域フレームとして選択する。S1506で、CPU202は、フレームNが処理対象フレームの中での最終フレームであるか否かを判定する。フレームNが最終フレームでない場合、CPU202は、S1507においてNを1つインクリメントした後、再度S1502へと処理を進める。フレームNが最終フレームの場合、CPU202は、本フローチャートの処理を終了して図3のフローチャートに戻る。この場合、S1505において最後に選択された静領域フレームが、S305の動領域フレーム合成処理において合成対象として使用される。
なお、図15においては、選択される静領域フレームは1フレームであるものとしたが、本実施形態はこれに限定されない。一般化すると、CPU202は、静領域フレームとしてXフレーム(Xは1以上の整数)を選択する。Xが2以上の場合、CPU202は、フレーム間で対応点を抽出し、シフト処理後、図15に従って選択される1フレームとの差分が最小の(X−1)フレームを追加的に選択する。この場合、CPU202は、後述する動領域フレーム合成処理(S305)において、静領域については、静領域フレームとして選択されたXフレームを合成する。これにより、ノイズの少ない静領域画像を生成することができる。この方法は、特に夜間撮影時など、暗部ノイズが顕著な場合には有効である。
図16は、動領域フレーム合成処理(S305)の詳細を示すフローチャートである。S1601で、CPU202は、S304において選択された静領域フレームを作業用メモリ領域205へと読み込む。S1602で、CPU202は、処理対象フレームのインデックスNを1にセットする。
S1603で、CPU202は、フレームNと静領域フレームとの間で対応点抽出処理を行い、フレームNを静領域フレームへと合成する際のシフト量を算出する。S1604で、CPU202は、S1603において算出したシフト量に基づいてフレームNをシフトして、フレームNの動領域を静領域フレームに合成する。このとき、CPU202は、動静領域マップ(図14)を参照することにより、フレームNの動領域を識別する。なお、合成処理時の画素値合算の比率については、本実施形態においては、日中撮影時の反射光に適したものとして、合成を行うフレーム数で割り算した値を用いることとする。しかしながら、画素値合算の比率はこれに限定されない。例えば、夜間撮影されたことが判定された場合には、動物体が発光体の場合に適した例として、フレーム数で割り算しない値を用いてもよい。
S1605で、CPU202は、フレームNが処理対象フレームの中での最終フレームであるか否かを判定する。フレームNが最終フレームでない場合、CPU202は、S1606においてNを1つインクリメントした後、再度S1603へと処理を進める。フレームNが最終フレームの場合、CPU202は、本フローチャートの処理を終了して図3のフローチャートに戻る。
なお、図16においては、全処理対象フレームそれぞれの動領域に対応する領域を合成することにより、結果画像の動領域に対応する領域を生成するものとしたが、本実施形態はこれに限定されない。一般化すると、CPU202は、処理対象フレームのうちのYフレーム(YはXより大きい整数)それぞれの動領域に対応する領域を合成することにより、結果画像の動領域に対応する領域を生成する。この場合でも、YがXより大きいので(即ち、動領域のための合成対象フレーム数が静領域のための合成対象フレーム数よりも多いので)、静領域の画像ブレの抑制と、動領域に対するスローシャッター効果とを両立することができる。
図17は、動領域フレーム合成処理により得られる結果画像を例示する図である。動静領域マップに従って、各フレームの動領域を静領域フレームに合成することにより、静領域についてはブレを生じさせずに解像感を維持したまま、動領域についてスローシャッター撮影のように滑らかに動きが表現されている結果画像を生成することができる。
以上説明したように、第1の実施形態によれば、スマートフォン201は、動画の撮影画角に対応する領域を動領域と静領域とに分割する。そして、スマートフォン201は、複数のフレームのうちのXフレーム(Xは1以上の整数)それぞれの静領域に対応する領域と、複数のフレームのうちのYフレーム(YはXより大きい整数)それぞれの動領域に対応する領域とを合成する。これにより、手振れの発生する条件下で撮影を行う場合であっても、静止領域の画像ブレを軽減しつつ、スローシャッター効果を持つ画像を生成することが可能となる。
[第2の実施形態]
第2の実施形態では、スマートフォン201がユーザからの入力を受け付けることで、ユーザがスローシャッター効果処理の各種処理パラメータを変更可能とする構成について説明する。本実施形態において、スマートフォン201の基本的な構成は第1の実施形態と同様であるものとする(図2参照)。以下、主に第1の実施形態と異なる点について説明する。
図18は、スマートフォン201の外観図である。図18において、1801は、スマートフォンの筐体を示す。1802は、結果画像表示エリアを示す。結果画像表示エリア1802には、スローシャッター効果処理により得られる結果画像が表示される。1803は、動領域明度調整スライダーであり、ユーザは、動領域明度調整スライダー1803を操作することにより、動領域の明るさを調整することができる。内部処理としては、S1604において各フレームを静領域フレームに合成する際の、全体の明るさ及び合成比率が変化する。1804は、静領域明度調整スライダーであり、ユーザは、静領域明度調整スライダー1804を操作することにより、静領域の明るさを調整することができる。内部処理としては、動領域明度調整スライダー1803と同様、S1604おいて各フレームを静領域フレームに合成する際の、全体の明るさ及び合成比率が変化する。1805は、手振れ強度指定スライダーであり、ユーザは、手振れ強度指定スライダー1805を操作することにより、S802の動きベクトル閾値処理の閾値(第2の閾値)を変更することができる。静領域であるべきエリアが動領域として処理され、解像感が失われた場合、ユーザは、手振れ強度指定スライダー1805を右に動かすことにより、誤判定された動領域を静領域に修正し、解像感を回復することができる。逆に、動領域であるべきエリアが静領域として処理され、川の流れにスローシャッター効果が不足している際には、ユーザは、手振れ強度指定スライダー1805を左に動かすことにより、誤判定された静領域を動領域に修正することができる。これにより、川の流れに適切なスローシャッター効果を付与することができる。1806は、静領域フレーム選択スライダーであり、ユーザは、静領域フレーム選択スライダー1806を操作することにより、処理対象フレームをスキャンし、所望の1フレームを静領域フレームとして選択することができる。特に、夜間撮影で動画撮影の各フレームの露光時間が長い場合に、静領域について手振れが目立つ場合に、ユーザは、静領域フレーム選択スライダー1806を操作することにより、手振れの少ないフレームを選択することができる。
なお、第1の実施形態において説明した通り、静領域フレームの数は2以上であってもよい。この場合、静領域フレーム選択スライダー1806を介したユーザ指示により選択される1フレーム以外の静領域フレームについては、第1の実施形態において説明した方法で選択される。或いは、ユーザが複数の静領域フレームを選択可能なように、静領域フレーム選択スライダー1806を構成してもよい。
以上説明したように、第2の実施形態によれば、スローシャッター効果処理の各種処理パラメータがユーザの好みに合わない場合に、ユーザがこれを変更することを可能にする。これにより、ユーザの好みに合致するスローシャッター効果を持つ画像を生成することが可能となる。
[第3の実施形態]
第3の実施形態では、スローシャッター効果処理を流し撮り撮影に適用した例について説明する。本実施形態において、スマートフォン201の基本的な構成は第1の実施形態と同様であるものとする(図2参照)。以下、主に第1の実施形態と異なる点について説明する。
S303の動領域/静領域分割処理は、デジタルカメラ101の撮影画角に対応する領域を、相対的に動領域と静領域とに分割する。そのため、流し撮りを行った際には、動いている物体が静領域として判定され、流れる背景が動領域として判定される。この背景に対して長秒期間に渡るフレーム合成を行うことにより、背景がなめらかに流れる効果を得ることが可能である。但し、本実施形態においては、S402の手振れフレーム除外処理において、CPU202は、カメラ姿勢が大きく変化するフレームを除外しない。より具体的には、S602による処理を行わないことにより、流し撮りのような撮影に対してもスローシャッター効果を得ることができる。本実施形態においては、CPU202は、動画ファイル210にメタデータとして記録されたカメラ姿勢情報に基づき、動画が流し撮りにより撮影されたか否かを判定する。例えば、CPU202は、カメラ姿勢が同一角速度で変化する場合などに、動画が流し撮りにより撮影されたと判定することができる。動画が流し撮りにより撮影されたと判定された場合、CPU202は、S602の処理を行わないようにし、そうでない場合に、S602の処理を行う。
以上説明したように、第3の実施形態によれば、流し撮り撮影により得られた動画データからも、背景がなめらかに流れるスローシャッター効果を持つ画像を生成することができる。
[その他の実施形態]
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
201…スマートフォン、202…CPU、203…メモリ、204…制御プログラム領域、205…作業用メモリ領域、206…通信部、207…表示部、208…入力部、209…SSD

Claims (18)

  1. 動画の画面を、被写体が移動している動領域と被写体が静止している静領域とに分割する分割手段と、
    前記動画に含まれる複数のフレームのうちのXフレーム(Xは1以上の整数)それぞれの前記静領域に対応する領域と、前記複数のフレームのうちのYフレーム(YはXより大きい整数)それぞれの前記動領域に対応する領域とを合成することにより、静止画を生成する生成手段と、
    を備えることを特徴とする画像処理装置。
  2. 前記分割手段は、
    前記複数のフレームそれぞれの複数の領域それぞれについて動きベクトルを検出する検出手段と、
    前記検出された動きベクトルのうち、前記動画の撮影時の手振れに起因する手振れ動きベクトルを識別する識別手段と、
    前記検出された動きベクトルのうち、前記手振れ動きベクトルを除いた被写体動きベクトルの大きさ成分を、領域ごとに合算する合算手段と、
    前記合算により得られる合算値が第1の閾値以上の領域を前記動領域として判定し、前記合算値が前記第1の閾値未満の領域を前記静領域として判定する判定手段と、
    を含むことを特徴とする請求項1に記載の画像処理装置。
  3. 前記識別手段は、前記検出された動きベクトルの大きさ成分の度数分布に基づいて第2の閾値を決定し、前記検出された動きベクトルのうち、大きさ成分が前記第2の閾値未満の動きベクトルを、前記手振れ動きベクトルとして識別する
    ことを特徴とする請求項2に記載の画像処理装置。
  4. 前記識別手段は、ユーザ指示に従って第2の閾値を決定し、前記検出された動きベクトルのうち、大きさ成分が前記第2の閾値未満の動きベクトルを、前記手振れ動きベクトルとして識別する
    ことを特徴とする請求項2に記載の画像処理装置。
  5. 前記識別手段は、
    前記検出された動きベクトルを方向別に複数のグループに分類し、
    前記複数のグループそれぞれについて、前記検出された動きベクトルの大きさ成分の度数分布に基づいて、小さい動きベクトルの集中度合が最大のグループを識別し、
    前記識別されたグループの中から前記手振れ動きベクトルの識別を行う
    ことを特徴とする請求項3又は4に記載の画像処理装置。
  6. 前記Xフレームを選択する選択手段であって、前記複数のフレームのうち、前記静領域に対応する領域における被写体の動きが最小の1フレームを少なくとも選択する選択手段
    を更に備えることを特徴とする請求項1乃至5のいずれか1項に記載の画像処理装置。
  7. 前記選択手段は、前記複数のフレームのうち、前記静領域に対応する複数の領域それぞれの動きベクトルの大きさ成分の合算値が最小のフレームを、前記1フレームとして選択する
    ことを特徴とする請求項6に記載の画像処理装置。
  8. 前記Xフレームを選択する選択手段であって、少なくとも1フレームをユーザ指示に従って選択する選択手段
    を更に備えることを特徴とする請求項1乃至5のいずれか1項に記載の画像処理装置。
  9. Xが2以上の場合、前記選択手段は、前記複数のフレームのうち、前記1フレームとの差分が最小の(X−1)フレームを更に選択する
    ことを特徴とする請求項6乃至8のいずれか1項に記載の画像処理装置。
  10. 前記動画に含まれる全フレームのうちの一部を前記複数のフレームとして選出する選出手段
    を更に備えることを特徴とする請求項1乃至9のいずれか1項に記載の画像処理装置。
  11. 前記選出手段は、前記全フレームのうち、前記動画の撮影期間における最初又は最後の所定期間に対応するフレームを除いたフレームを、前記複数のフレームとして選出する
    ことを特徴とする請求項10に記載の画像処理装置。
  12. 前記選出手段は、ユーザ指示に従って前記所定期間の長さを決定する
    ことを特徴とする請求項11に記載の画像処理装置。
  13. 前記選出手段は、
    前記全フレームの中から、撮影時に手振れが生じた手振れフレームを検出し、
    前記全フレームのうち、前記手振れフレームを除いたフレームを、前記複数のフレームとして選出する
    ことを特徴とする請求項10乃至12のいずれか1項に記載の画像処理装置。
  14. 前記動画には、前記動画の撮影期間における、前記動画を撮影した撮像装置の姿勢を示す姿勢情報が関連付けられており、
    前記選出手段は、前記姿勢情報に基づき、前記全フレームの中から、前記姿勢の変化量が第3の閾値以上のタイミングに撮影されたフレームを前記手振れフレームとして検出する
    ことを特徴とする請求項13に記載の画像処理装置。
  15. 前記選出手段は、
    前記姿勢情報に基づき、前記動画が流し撮りにより撮影されたか否かを判定し、
    前記動画が流し撮りにより撮影されていないと判定された場合に、前記姿勢情報に基づき、前記全フレームの中から、前記姿勢の変化量が前記第3の閾値以上のタイミングに撮影されたフレームを前記手振れフレームとして検出する
    ことを特徴とする請求項14に記載の画像処理装置。
  16. 請求項1乃至15のいずれか1項に記載の画像処理装置と、
    前記動画を撮影する撮影手段と、
    を備えることを特徴とする撮像装置。
  17. 画像処理装置が実行する画像処理方法であって、
    動画の画面を、被写体が移動している動領域と被写体が静止している静領域とに分割する分割工程と、
    前記動画に含まれる複数のフレームのうちのXフレーム(Xは1以上の整数)それぞれの前記静領域に対応する領域と、前記複数のフレームのうちのYフレーム(YはXより大きい整数)それぞれの前記動領域に対応する領域とを合成することにより、静止画を生成する生成工程と、
    を備えることを特徴とする画像処理方法。
  18. コンピュータを請求項1乃至15のいずれか1項に記載の画像処理装置の各手段として機能させるためのプログラム。
JP2016025203A 2016-02-12 2016-02-12 画像処理装置、撮像装置、画像処理方法、及びプログラム Active JP6700831B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2016025203A JP6700831B2 (ja) 2016-02-12 2016-02-12 画像処理装置、撮像装置、画像処理方法、及びプログラム
US15/427,383 US10063779B2 (en) 2016-02-12 2017-02-08 Image processing apparatus, image capturing apparatus, image processing method, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016025203A JP6700831B2 (ja) 2016-02-12 2016-02-12 画像処理装置、撮像装置、画像処理方法、及びプログラム

Publications (2)

Publication Number Publication Date
JP2017143492A true JP2017143492A (ja) 2017-08-17
JP6700831B2 JP6700831B2 (ja) 2020-05-27

Family

ID=59561933

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016025203A Active JP6700831B2 (ja) 2016-02-12 2016-02-12 画像処理装置、撮像装置、画像処理方法、及びプログラム

Country Status (2)

Country Link
US (1) US10063779B2 (ja)
JP (1) JP6700831B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022512125A (ja) * 2018-12-06 2022-02-02 華為技術有限公司 長時間露光画像を撮影するための方法及び電子デバイス
WO2022108235A1 (ko) * 2020-11-17 2022-05-27 삼성전자 주식회사 슬로우 셔터를 제공하기 위한 방법, 장치 및 저장 매체

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109756681A (zh) * 2019-01-30 2019-05-14 Oppo广东移动通信有限公司 图像合成方法、装置、电子设备及可读存储介质
CN110796041B (zh) * 2019-10-16 2023-08-18 Oppo广东移动通信有限公司 主体识别方法和装置、电子设备、计算机可读存储介质
CN112804245B (zh) * 2021-01-26 2023-09-26 杨文龙 适用于视频传输的数据传输优化方法、装置及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002094932A (ja) * 2000-09-14 2002-03-29 Canon Inc 撮像装置、撮像方法および記憶媒体
JP2005135091A (ja) * 2003-10-29 2005-05-26 Seiko Epson Corp 画像処理装置及び画像処理方法
JP2010136058A (ja) * 2008-12-04 2010-06-17 Nikon Corp 電子カメラおよび画像処理プログラム
JP2010258710A (ja) * 2009-04-23 2010-11-11 Canon Inc 動きベクトル検出装置およびその制御方法、ならびに撮像装置
JP2014206772A (ja) * 2013-03-21 2014-10-30 株式会社日立国際電気 画像処理装置、撮像装置、監視システム、符号化装置、画像処理方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006080844A (ja) 2004-09-09 2006-03-23 Nikon Corp 電子カメラ
TW200623897A (en) * 2004-12-02 2006-07-01 Seiko Epson Corp Image display method, image display device, and projector
JP4893758B2 (ja) * 2009-01-23 2012-03-07 ソニー株式会社 画像処理装置、画像処理方法および撮像装置
JP5687553B2 (ja) * 2011-04-25 2015-03-18 オリンパス株式会社 画像合成装置、画像合成方法及び画像合成プログラム
JP2013162287A (ja) * 2012-02-03 2013-08-19 Sony Corp 画像処理装置、画像処理方法、およびプログラム
WO2016021147A1 (ja) * 2014-08-04 2016-02-11 日本電気株式会社 画像から移動体の滞留を検出するための画像処理システム、画像処理方法及び記録媒体
JP6577703B2 (ja) * 2014-08-05 2019-09-18 キヤノン株式会社 画像処理装置及び画像処理方法、プログラム、記憶媒体
JP6582926B2 (ja) * 2015-11-27 2019-10-02 カシオ計算機株式会社 移動情報取得装置、移動情報取得方法、及び、プログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002094932A (ja) * 2000-09-14 2002-03-29 Canon Inc 撮像装置、撮像方法および記憶媒体
JP2005135091A (ja) * 2003-10-29 2005-05-26 Seiko Epson Corp 画像処理装置及び画像処理方法
JP2010136058A (ja) * 2008-12-04 2010-06-17 Nikon Corp 電子カメラおよび画像処理プログラム
JP2010258710A (ja) * 2009-04-23 2010-11-11 Canon Inc 動きベクトル検出装置およびその制御方法、ならびに撮像装置
JP2014206772A (ja) * 2013-03-21 2014-10-30 株式会社日立国際電気 画像処理装置、撮像装置、監視システム、符号化装置、画像処理方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022512125A (ja) * 2018-12-06 2022-02-02 華為技術有限公司 長時間露光画像を撮影するための方法及び電子デバイス
WO2022108235A1 (ko) * 2020-11-17 2022-05-27 삼성전자 주식회사 슬로우 셔터를 제공하기 위한 방법, 장치 및 저장 매체

Also Published As

Publication number Publication date
JP6700831B2 (ja) 2020-05-27
US10063779B2 (en) 2018-08-28
US20170237904A1 (en) 2017-08-17

Similar Documents

Publication Publication Date Title
US9648229B2 (en) Image processing device and associated methodology for determining a main subject in an image
CN109565551B (zh) 对齐于参考帧合成图像
JP6700831B2 (ja) 画像処理装置、撮像装置、画像処理方法、及びプログラム
US20140293074A1 (en) Generating a composite image from video frames
JP6131948B2 (ja) 表示制御装置、表示制御方法、プログラム
US10455154B2 (en) Image processing device, image processing method, and program including stable image estimation and main subject determination
US9380206B2 (en) Image processing apparatus that combines images
JP5569357B2 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
CN109997171B (zh) 显示装置以及存储有程序的记录介质
JP2016201662A (ja) 撮像装置およびその制御方法
US11818466B2 (en) Notifying apparatus, image capturing apparatus, notifying method, image capturing method, and storage medium
JP6261205B2 (ja) 画像処理装置
CN110958361B (zh) 能够进行hdr合成的摄像设备及其控制方法和存储介质
JP2017098829A (ja) 動きベクトル検出装置およびその制御方法、撮像装置
JP2010154306A (ja) 撮像制御装置、撮像制御プログラム及び撮像制御方法
JP2020009099A (ja) 画像処理装置、画像処理方法、及びプログラム
JP6529269B2 (ja) 画像処理装置、情報処理方法及びプログラム
JP2022175606A (ja) 画像処理装置、画像処理装置の制御方法、および、プログラム
JP6545229B2 (ja) 画像処理装置、撮像装置、画像処理装置の制御方法およびプログラム
JP6667372B2 (ja) 画像処理装置、撮像装置、画像処理方法、及びプログラム
JP6584173B2 (ja) 画像処理装置及び画像処理方法
JP2014154979A (ja) 撮像装置およびその制御方法
KR102211760B1 (ko) 과거 촬영 이미지에 기초한 촬영 방식 추천 장치 및 방법
JP6833772B2 (ja) 画像処理装置、撮像装置、画像処理方法およびプログラム
JP2009038670A (ja) フリッカ補正装置及びフリッカ補正方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190207

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190926

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191004

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191128

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200323

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200501

R151 Written notification of patent or utility model registration

Ref document number: 6700831

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151