JP2013141090A - 撮影装置及びその処理方法 - Google Patents

撮影装置及びその処理方法 Download PDF

Info

Publication number
JP2013141090A
JP2013141090A JP2011289890A JP2011289890A JP2013141090A JP 2013141090 A JP2013141090 A JP 2013141090A JP 2011289890 A JP2011289890 A JP 2011289890A JP 2011289890 A JP2011289890 A JP 2011289890A JP 2013141090 A JP2013141090 A JP 2013141090A
Authority
JP
Japan
Prior art keywords
moving image
sound source
camera shake
source position
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2011289890A
Other languages
English (en)
Other versions
JP2013141090A5 (ja
JP5954987B2 (ja
Inventor
Kyohei Kitazawa
恭平 北澤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2011289890A priority Critical patent/JP5954987B2/ja
Publication of JP2013141090A publication Critical patent/JP2013141090A/ja
Publication of JP2013141090A5 publication Critical patent/JP2013141090A5/ja
Application granted granted Critical
Publication of JP5954987B2 publication Critical patent/JP5954987B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Television Signal Processing For Recording (AREA)
  • Studio Devices (AREA)

Abstract

【課題】撮影装置に手振れ補正機能が付いている場合であっても、撮影された動画像上において音源位置を正確な位置に表示できるようにした技術を提供する。
【解決手段】撮影装置は、動画像を撮影する撮像手段と、前記動画像の撮影時の手振れを補正する手振れ補正手段と、前記動画像の撮影時に複数のマイクロフォンにより収音された音声信号と前記複数のマイクロフォンの配置情報とに基づいて前記動画像上における音源位置を検出する音源位置検出手段と、前記手振れ補正手段により補正された手振れ補正量に応じて前記動画像上において前記検出された音源位置の表示位置を補正する表示位置補正手段と、前記手振れ補正手段により補正された動画像を表示器に表示するとともに、前記表示位置補正手段により補正された音源位置を当該動画像上に表示する表示処理手段とを具備する。
【選択図】図1

Description

本発明は、撮影装置及びその処理方法に関する。
空間に配置されたマルチチャンネルのマイクロフォンの出力信号から各マイクロフォンへの音声の到達時間差を算出し、音声の音源位置を検出する方法が知られている。また、工場などにおいては、撮影装置(カメラなど)と組み合わせることによって騒音源を探す音源探査システムとして実装され、画像上に音源位置を表示する技術が知られている(特許文献1)。或いは、発生する騒音の音質に着目し、騒音の発生する騒音源の位置を探し出せるようにした技術も知られている(特許文献2)。
近年、日常の様々な場面において簡単且つ気軽に動画像の撮影が行なえるデジタルビデオカメラを使用するユーザが急激に増えてきている。それに伴って、撮影される動画像や音声に対する高臨場感への要求が高まっている。音声信号においては、例えば、サラウンド録音やデジタル処理による指向性制御などの機能を実現するため、マルチチャンネルのマイクを組み込んだビデオカメラなどが発売されている。
このようにマルチチャンネルのマイクロフォンを組み込んだビデオカメラに対して、上述した特許文献1の技術を適用した場合、例えば、撮影時に動画像上へ音源位置を表示したり、編集時に動画像上へ音源位置の表示したりすることができる。
特開2003−111183号公報 特開2008−268176号公報
近年、撮影装置(特に、デジタルビデオカメラなど)においては、手振れ補正機能が備わっている。手振れ補正は、撮影装置の振動、例えば、撮影者の手振れによる画像振れを防ぐための機能である。
手振れ補正では、画像振れを抑制するために、撮影装置の光学系の光軸(以下、単に光軸)の方向を変え、撮影装置の向きからずらしている。例えば、光学式の手振れ補正は、レンズや撮影素子を変位させ光軸の向きを変えている。
一方で、音源位置は、マイクロフォンを基準とする音響座標系で音源位置を算出しており、一般に、マイクロフォンは、撮影装置に固定されているため、その座標系は撮影装置の向きと対応する。
つまり、光軸(光学座標系)と音響座標系との関係性は常に一定ではなく、手振れ補正が行なわれると、2つの座標系に差異が生じる。そのため、手振れ補正によって光軸の向きを変えられた光学系で撮影した動画像上に音源位置をそのまま表示すると位置関係がずれてしまう。
図14(a)〜図14(e)を用いて具体的に説明すると、手振れの無い場合は、図14(a)に示すように、光軸と撮影装置の向きとが一致し、図14(b)に示すように、撮影した動画像上の正確な位置に音源位置を表示することができる。
しかし、手振れが発生した場合、光学系に対して手振れ補正がなされるため、図14(c)に示すように、光軸と撮影装置の向きとにずれが生じる。そのため、音源は、図14(d)に示す位置として認識されてしまい、図14(e)に示すように、音源位置が誤った位置に表示されてしまう。このように手振れ補正機能を持つ撮影装置において撮影した動画像上に音源位置を表示する場合には、動画像と音源位置とが正しい位置関係で表示されないことがあった。
本発明は、上記課題に鑑みてなされたものであり、撮影装置に手振れ補正機能が付いている場合であっても、撮影された動画像上において音源位置を正確な位置に表示できるようにした技術を提供することを目的とする。
上記課題を解決するため、本発明の一態様は、動画像を撮影する撮像手段と、前記動画像の撮影時の手振れを補正する手振れ補正手段と、前記動画像の撮影時に複数のマイクロフォンにより収音された音声信号と前記複数のマイクロフォンの配置情報とに基づいて前記動画像上における音源位置を検出する音源位置検出手段と、前記手振れ補正手段により補正された手振れ補正量に応じて前記動画像上において前記検出された音源位置の表示位置を補正する表示位置補正手段と、前記手振れ補正手段により補正された動画像を表示器に表示するとともに、前記表示位置補正手段により補正された音源位置を当該動画像上に表示する表示処理手段とを具備する。
本発明によれば、撮影装置に手振れ補正機能が付いている場合であっても、撮影された動画像上において音源位置を正確な位置に表示できる。
本発明の一実施の形態に係わる撮影装置10の構成の一例を示す図。 手振れ量の概要を説明するための図。 音源位置の表示の概要を説明するための図。 撮影装置10の処理の流れの一例を示すフローチャート。 実施形態2に係わる撮影装置10の構成の一例を示す図 実施形態2に係わる撮影装置10の処理の流れの一例を示すフローチャート。 実施形態3に係わる撮影装置10の構成の一例を示す図。 実施形態3に係わる撮影装置10の外観構成の一例を示す図。 実施形態3に係わる撮影装置10の処理の流れの一例を示すフローチャート。 実施形態4に係わる撮影装置10の構成の一例を示す図。 実施形態4に係わる撮影装置10の処理の流れの一例を示すフローチャート。 図11のS404に示す音声編集処理の詳細を説明するための図。 変形例の一例を示す図。 従来技術の一例を示す図。
以下、図面を参照して本発明の好適な実施形態について詳細に説明する。
(実施形態1)
図1は、本発明の一実施の形態に係わる撮影装置10の構成の一例を示す図である。
撮影装置10は、例えば、デジタルビデオカメラ等で実現され、光学式の手振れ補正機能を有する。撮影装置10は、撮影時に音声が発せられた場合に、その音源位置を表示器(表示部18)に表示することができる。なお、光学式の手振れ補正とは、撮影装置の光学系のレンズや撮影素子を動かし、光軸の向きを変えることで手振れ補正を行なう方式である。
ここで、撮影装置10は、その機能的な構成として、撮像部11と、手振れ検出部12と、手振れ補正部13と、収音部14と、音源位置検出部15と、表示位置補正部16と、表示処理部17と、表示部18と、記憶部19とを具備して構成される。
撮像部11は、例えば、レンズ、撮影素子、AF駆動部等から構成され、被写体の動画像を撮影し、撮影した動画像及び撮影時の画角を出力する。
手振れ検出部12は、撮影中の手振れを検出し、当該検出した手振れ量を手振れ補正部13に出力する。本実施形態においては、手振れとは、撮影装置10の角度振れを指し、手振れ量とは、角度振れの中でも、図2(a)に示す縦回転(以下、ピッチング)と、図2(b)に示す横回転(以下、ヨーイング)との量を指す。すなわち、手振れ検出部12は、例えば、角速度センサ等から構成され、撮影中の撮影装置10のピッチング及びヨーイングの角速度を検出する。
手振れ補正部13は、手振れ検出部12により検出された手振れを打ち消すように撮像部11の光軸の向きを変化させる。光軸の向きは、撮像部11の光学系の中のレンズの位置をシフトさせることにより変化させれば良い。
また、手振れ補正部13は、手振れ補正量(光軸の角度変位量)を出力する。より具体的には、手振れ補正部13は、角度変位量として、画角の縦方向及び横方向の角度変位量をそれぞれ出力する。
収音部14は、複数のマイクロフォン等から構成され、撮影装置10周辺の音声を収音し、マルチチャンネルの音声信号を出力する。ここで、複数のマイクロフォンは、無指向性であることが好ましい。また、複数のマイクロフォンの配置位置の幾何中心は、手振れ補正部13において光軸の向きを変える支点(回転中心)とほぼ同じであることが好ましい。
音源位置検出部15は、収音部14のマイクロフォンの配置情報と、収音された音声信号とに基づいて、音声の到達時間差などを求め、音源位置を検出する。ここで、撮影装置10においては、マイクロフォンの配置情報を予め保持している。本実施形態においては、音源位置とは、撮影装置10の撮影方向を基準とした仰角と回転角とで表される方向を表す。
表示位置補正部16は、音源位置検出部15により検出された音源位置に対して、当該音源位置を表示部18(動画像上)に表示した際のずれを補正(表示位置補正)し、その結果(音源方向)を出力する。この位置補正は、音源位置に光軸の角度変位量を加算することで行なえば良い。
例えば、音源位置検出部15により検出された縦方向及び横方向それぞれの音源方向を(β0_x,β0_y)とし、手振れ補正量を(θ_x,θ_y)とすると、表示位置補正部16が出力する音源方向(β_x,β_y)は、以下の式で表すことができる。
β_x=β0_x+θ_x・・・(1)
β_y=β0_y+θ_y・・・(2)
表示部18は、例えば、液晶モニタ等から構成され、各種情報を表示する。表示処理部17は、各種情報を表示部18に表示させる。表示処理部17では、例えば、撮像部11により撮影された動画像を表示部18に表示させる。そのとき、動画像上に、表示位置補正部16によって補正された音源位置を表示させる。なお、音源位置は、例えば、検出した音源位置を中心とする円などで表示すれば良い。
ここで、例えば、撮影時の画角を(α_x,α_y)とし、表示位置補正部16による補正後の音源方向を(β_x,β_y)とし、画像サイズを(W,H)とすると、画像中心を原点とした表示位置(x,y)はそれぞれ以下の式で表すことができる。
Figure 2013141090
なお、図3には、X方向(画像横方向)についての画角、音源方向、表示位置、画像サイズの関係を示す概要が示されている。
記憶部19は、各種データを記憶する。記憶部19には、例えば、撮影された動画像、撮影時の画角の情報及び収音されたマルチチャンネルの音声信号、検出された音源位置、補正された表示位置及び手振れ補正量などが記憶される。なお、記憶部19は、内蔵メモリで実現されても良いし、例えば、メモリカードのような取り外し可能な外部メモリで実現されても良い。
次に、図4を用いて、図1に示す撮影装置10の処理の流れの一例について説明する。 ユーザによって撮影開始が指示(例えば、撮影開始ボタンが押下)されると、この処理は開始する。この処理が開始すると、撮影装置10は、手振れ検出部12において、手振れがあるか否かの検出を開始する(S101)。この処理では、角速度センサにより角速度を検出した場合、手振れありと判定し、角速度センサが反応していない場合、手振れなしと判定する。なお、手振れの判定基準として、閾値を用いても良く、例えば、角速度が所定の範囲内であれば手振れを検出しないようにしても良い。
判定の結果、手振れが検出された場合(S101でYES)、撮影装置10は、手振れ補正部13において、手振れ検出部12により検出された手振れ量に応じて撮像部11のレンズをシフトさせ、光軸の向きを変更する。すなわち、光学式の手振れ補正により、動画像の手振れを抑制させる。手振れ補正部13は、手振れ補正量として光軸の角度変位量を出力する。
手振れ補正が済むと、撮影装置10は、撮像部11において、手振れ補正された光学系で被写体を撮影し、撮影した動画像と撮影時の画角の情報とを出力する。また、収音部14において、撮影装置10周辺の音声を複数のマイクロフォンによって収音し、マルチチャンネルの音声信号として出力する(S103)。
ここで、撮影装置10は、音源位置検出部15において、S103の処理で収音されたマルチチャンネルの音声信号とマイクロフォンの配置情報とを用いて、撮影装置10の向きを基準とした音源位置の検出を行なう(S104)。例えば、収音したマルチチャンネルの音声信号に対してビームフォーマ法に基づいて回転角方向と仰角方向とを走査することで音源位置を検出する。音源位置検出部15は、音源の方向として撮影装置の向きを基準とした回転角と仰角とを出力する。
続いて、撮影装置10は、表示位置補正部16において、S104の処理で検出された音源位置を、S102の処理で得られた手振れ補正量(光軸の角度変位量)を用いて補正する(S105)。
また、S101の手振れ検出の結果、手振れが検出されなかった場合(S101でNO)、撮影装置10は、撮像部11において、手振れ補正が行なわれていない光学系で被写体を撮影し、撮影した動画像と撮影時の画角の情報とを出力する。また、収音部14において、撮影装置10周辺の音声を複数のマイクロフォンによって収音し、マルチチャンネルの音声信号として出力する(S106)。そして、上記S104と同様にして音源位置の検出を行なう(S107)。
S105又はS107の処理が済むと、撮影装置10は、表示処理部17において、S103又はS106の処理で撮影した動画像を表示部18に表示する。このとき、当該動画像上には、S105の処理で位置補正された音源位置、又はS107の処理で検出された音源位置が表示される(S108)。
また、撮影装置10は、記憶部19において、動画像を記憶する(S109)。この処理では、S103又はS106の処理で撮影された動画像と撮影時の画角の情報と、S103又はS106の処理で収音されたマルチチャンネルの音声信号と、S102の処理で補正された手振れ補正量及びS105で補正された音源位置等が記憶される。
その後、撮影装置10は、撮影の終了が指示されたか否かの判定を行なう(S110)。例えば、撮影終了ボタンが押される等した場合に、撮影の終了が指示されたと判定する。撮影終了指示がなければ(S110でNO)、撮影装置10は、再度、S101の処理に戻り、撮影終了が指示されれば(S110でYES)、撮影装置10は、この処理を終了する。
以上説明したように本実施形態によれば、手振れ補正量を考慮して、検出した音源位置の表示位置を補正する。これにより、撮影装置に手振れ補正機能が付いている場合であっても、撮影された動画像上において音源位置を正確な位置に表示できる。
(実施形態2)
次に、実施形態2について説明する。実施形態2においては、電子式の手振れ補正機能を有する撮影装置において、音源位置の表示を行なう場合について説明する。
電子式の手振れ補正は、撮影素子の全画素領域に対して有効画素領域を小さめに予め設定しておき、ある時点の画像をそれ以外の画像と比較し、有効画素領域を移動させることで手振れ補正を行なう手法である。電子式の手振れ補正方法は、撮影中のみに限らず、撮影後に行なうこともできる。
ここで、図5は、実施形態2に係わる撮影装置10の構成の一例を示す図である。
撮影装置10は、その機能的な構成として、撮像部11と、手振れ検出部12と、手振れ補正部13と、収音部14と、音源位置検出部15と、マッピング部20と、表示処理部17と、表示部18と、記憶部19とを具備して構成される。なお、収音部14、音源位置検出部15、表示部18、記憶部19は、実施形態1と同様の機能を果たすため、ここではその説明については省略する。
撮像部11は、例えば、レンズ、撮影素子、AF駆動部等から構成され、被写体の動画像を(画像を連続して)撮影し、撮影した動画像を出力する。
手振れ検出部12は、撮像部11により連続して撮影した画像(例えば、1つ前のフレームと、現フレームと)を比較することで手振れを検出し、手振れ量を出力する。すなわち、動画像を構成する時間的に連続する複数の画像を比較し手振れがあるか否かを検出する。なお、本実施形態において、手振れ量は、有効画素領域の移動量を指す。
手振れ補正部13は、手振れ検出部12により検出された手振れを抑制するように、有効画素領域を選択し、当該選択した有効画素領域を手振れ補正後の動画像として出力する。手振れ補正部13においては、この手振れ補正後の動画像(有効画素領域のデータ)とともに、有効画素領域の画角を出力する。
マッピング部20は、音源位置検出部15により検出された音源位置を全画素領域に対してマッピングし、音源位置に対応する画素情報を出力する。ここで、マッピングとは、音源位置と全画素領域上の画素とを対応付けることを指す。マッピング部20においては、例えば、画素に対しそれぞれ番号を割り振り、その番号を出力する。
次に、図6を用いて、実施形態2に係わる撮影装置10の処理の流れの一例について説明する。
ユーザによって撮影開始が指示(例えば、撮影開始ボタンが押下)されると、この処理は開始する。この処理が開始すると、撮影装置10は、撮像部11において、被写体を撮影し、当該撮影した動画像を出力する。また、収音部14において、撮影装置10周辺の音声を複数のマイクロフォンによって収音し、マルチチャンネルの音声信号として出力する(S201)。
撮影装置10は、音源位置検出部15において、S201の処理で収音されたマルチチャンネルの音声信号とマイクロフォンの配置情報とを用いて、撮影装置10の向きを基準とした音源位置の検出を行なう(S202)。
続いて、撮影装置10は、マッピング部20において、S202の処理で検出された音源位置を全画素領域上に配置する。すなわち、手振れ補正によって有効画素領域が選択される前の全画素領域に対して音源位置の対応付けを行なう。これにより、マッピング部20は、例えば、音源位置に対応した画素に割り振られた画素番号Nを出力する(S203)。
マッピングが済むと、撮影装置10は、手振れ検出部12において、S201の処理で連続して撮影された画像同士を比較し手振れの検出を行なう。例えば、連続撮影された前後の画像の相関演算を行ない、相関が最大となる平行移動量を求める。この平行移動量が所定の画素以上の場合、手振れであると判定するようにしても良い(S204)。
手振れが検出された場合(S204でYES)、撮影装置10は、手振れ補正部13において、手振れが検出された画像に対し、手振れを補正するため有効画素領域を選択し、有効画素領域の移動量を出力する(S205)。そして、当該検出した移動量の分だけ有効画素領域を移動して画像データを出力する(S206)。
また、S204の判定の結果、手振れが検出されなかった場合(S204でNO)、撮影装置10は、全画素領域の中央部を有効画素領域の画像データとして出力する(S206)。
その後、撮影装置10は、表示処理部17において、撮影した動画像を表示部18に表示する。このとき、音源位置と対応した画素がある場合、そこを音源位置として表示する。例えば、有効画素領域の中からS203の処理で出力された画素番号Nの画素があるか否かを検出し、当該画素番号Nの画素が有効画素領域内にあれば、画素番号Nの画素を中心とする円を画像上に表示する(S207)。
また、撮影装置10は、記憶部19において、動画像を記憶する(S208)。この処理では、有効画素領域の連続画像とその画角の情報、収音したマルチチャンネルの音声信号、音源位置に対応した画素情報、検出した有効画素領域の移動量などを記憶する。
その後、撮影装置10は、撮影の終了が指示されたか否かの判定を行なう(S209)。例えば、撮影終了ボタンが押下される等した場合に、撮影の終了が指示されたと判定する。撮影終了指示がなければ(S209でNO)、撮影装置10は、再度、S201の処理に戻り、撮影終了が指示されれば(S209でYES)、撮影装置10は、この処理を終了する。
以上説明したように実施形態2によれば、撮影した動画像上に音源位置を対応付けた後、電子式の手振れ補正を行なう。これにより、電子式の手振れ補正を行なった動画像上においても、音源位置を正確な位置に表示できる。
なお、上述した説明においては、動画像として、連続した画像として説明したが、連続した画像は、容量が大きくなってしまうため、記憶部19に記憶する際に動画圧縮処理などを行なっても良い。
また、電子式の手振れ補正は、撮影後に行なうことができるため、記憶されたデータに対して上述した補正を行なうようにしても良い。
また、上述した説明においては、有効画素領域を選択する前に全画素領域に対して音源位置の対応付けを行なう場合について説明したが、実施形態1のように、表示位置補正部を設け、有効画素領域の移動量を用いて表示位置補正を行なうようにしても良い。
(実施形態3)
次に、実施形態3について説明する。実施形態3においては、光学式の手振れ補正機能を有する撮影装置において、収音部を可動式とした場合について説明する。
ここで、図7は、実施形態3に係わる撮影装置10の構成の一例を示す図である。
撮影装置10は、その機能的な構成として、撮像部11と、手振れ検出部12と、手振れ補正部13と、収音部位置補正部21と、可動式収音部22と、音源位置検出部15と、表示処理部17と、表示部18と、記憶部19とを具備して構成される。なお、撮像部11、手振れ検出部12、手振れ補正部13、音源位置検出部15、表示部18、記憶部19は、実施形態1と同様の機能を果たすため、ここではその説明については省略する。
可動式収音部22は、例えば、複数のマイクロフォンから構成され、撮影装置10周辺の音声を収音し、マルチチャンネルの音声信号を出力する。ここで、複数のマイクロフォンは無指向性であることが好ましい。また、複数のマイクロフォンの幾何中心は、手振れ補正部13において光軸の向きを変える支点(回転中心)とほぼ同じであることが好ましい。
ここで、実施形態3に係わる複数のマイクロフォンは可動式であり、収音部位置補正部21によってその位置を制御される。例えば、複数のマイクロフォンは、電気制御によって回転角及び仰角を制御できるパン・チルト雲台に固定されており、光軸の角度変位に応じてその方向が調整される。
収音部位置補正部21は、手振れ補正部13から出力される光軸の角度変位量に応じて可動式収音部22の向きを補正する。この補正は、マイクロフォンを基準とする音響座標系と光軸(光学座標系)との差異が最小となるように可動式収音部22を駆動させることで行なわれる。
撮影装置10は、例えば、図8のような外観構成となる。可動式収音部22は、マイクロフォン22aとパン・チルト雲台22bとから構成される。収音部位置補正部21は、パン・チルト雲台を回転させ、光軸の角度変位量と同じだけマイクロフォンアレイを傾ける。
次に、図9を用いて、実施形態3に係わる撮影装置10の処理の流れの一例について説明する。
ユーザによって撮影開始が指示(例えば、撮影開始ボタンが押下)されると、この処理は開始する。この処理が開始すると、撮影装置10は、実施形態1と同様に、手振れ検出を行ない、手振れがなければ(S301でNO)、撮影及び収音を行なう(S306)。また、手振れを検出すれば(S301でYES)、手振れ補正をした後(S302)、撮影を行なう(S303)。
続いて、撮影装置10は、収音部位置補正部21において、可動式収音部22の位置補正を行なう(S304)。具体的には、S302の処理による手振れ補正によって変位した光軸の向きに合わせて、可動式収音部22の向きを回転させる。
可動式収音部22の位置補正が行なわれると、撮影装置10は、当該位置補正後の可動式収音部22において、撮影装置10周辺の音声を複数のマイクロフォンによって収音し、マルチチャンネルの音声信号を出力する。
続いて、撮影装置10は、音源位置検出部15において、S305の処理で収音されたマルチチャンネルの音声信号とマイクロフォンの配置情報とを用いて、音源位置の検出を行なう(S307)。その後、撮影装置10は、実施形態1と同様に、当該検出した音源位置等を表示部18に表示するとともに(S308)、各種データを記憶部19に記憶した後(S309)、撮影を終了するか否かの判定を行なう。
以上説明したように実施形態3によれば、収音部を可動式とし、光軸の変位に応じて収音部の向きを変える。これにより、可動式の収音部を有する撮影装置により手振れ補正された動画像上においても、音源位置を正確な位置に表示できる。
また、上述した説明においては、マイクロフォンアレイが1つのパン・チルト雲台に固定されるものとした。これは、複数のマイクロフォンと光軸との位置関係が一定であるようにマイクロフォンの位置を移動することを目的したものである。そのため、このような位置関係を維持又は把握できるのであれば、個々のマイクロフォンが個別に変位するような機構を持っていても良い。
(実施形態4)
次に、実施形態4について説明する。実施形態4においては、撮影中ではなく、撮影終了後の撮影データにおける音源位置を表示する場合について説明する。
ここで、図10は、実施形態4に係わる撮影装置10の構成の一例を示す図である。
撮影装置10は、その機能的な構成として、表示処理部17と、表示部18と、記憶部19と、編集部23と、音声出力部29と、指示入力部30とを具備して構成される。なお、ここでは、撮影データの編集に係わる構成についてのみ図示している。
記憶部19は、撮影データを記憶する。撮影データには、例えば、撮影された動画像、撮影時の画角情報及び収音したマルチチャンネルの音声信号、マイクロフォンの配置情報、手振れ補正量の情報が含まれる。
音声出力部29は、例えば、スピーカや外付けのヘッドフォン等で構成され、音声を出力する。例えば、編集時の音声信号の確認やデータの再生時に使用される。指示入力部30は、例えば、表示部18と一体構成されるタッチパネル等で構成され、ユーザからの編集指示を装置内に入力する。
編集部23は、撮影データの編集処理を行なう。編集部23には、音源位置補正部24と、音源位置検出部25と、音源分離部26と、音声編集部27と、レンダリング部28とが具備される。
音源位置補正部24は、音源位置検出部25により検出された音源位置に対して、位置補正を行なう。位置補正は、記憶部19に格納された手振れ補正量に応じて行なわれる。音源位置補正部24は、補正後の音源位置を出力する。
音源位置検出部25は、記憶部19に格納されたマルチチャンネルの音声信号及びマイクロフォンの配置情報に基づいて音源位置を検出し、当該検出した音源位置を出力する。
音源分離部26は、記憶部19に格納されたマルチチャンネルの音声信号に対して音源分離処理を行なう。例えば、音源位置検出部25から出力された音源位置の情報を用いて、幾何制約付き音源分離(GSS)やビームフォーマなどの手法により音源位置に対応した音源を分離する。これにより、音源分離部26は、音源位置毎に分離された複数の音声信号を出力する。
音声編集部27は、指示入力部30からのユーザの指示に基づいて、音源分離部26から出力された音声信号に対して編集を行なう。例えば、ユーザによって選択された音源位置に対応する音声信号の音響処理を行なう。
表示処理部17は、編集中の動画像を表示部18に表示させるとともに、動画像上に音源位置補正部24により補正された音源位置を表示する。例えば、ユーザは、指示入力部30を介して表示部18に表示された音源位置に対応する円を指定し、これにより、編集対象の音源を選択する。音声編集部27は、分離した音声信号の中から選択された音源に対応する音声信号に対しボリューム調整などの音響処理を行なう。
レンダリング部28は、音声編集部27により編集された音声信号に対して、ユーザの音響再生環境に合わせたレンダリングを行なう。例えば、一般的なステレオスピーカに対しては分離音源の音源位置を考慮して、撮影時のステレオ感が損なわれないようにミキシング等の処理を行なう。
次に、図11を用いて、実施形態4に係わる撮影装置10の処理の流れの一例について説明する。
この処理が開始すると、撮影装置10は、音源位置検出部25において、音源位置の検出を行なう(S401)。より具体的には、音源位置検出部25は、マルチチャンネルの音声信号及びマイクロフォンの配置情報に基づいて、音源位置を検出し出力する。
撮影装置10は、音源位置補正部24において、音源位置の補正を行なう(S402)。より具体的には、音源位置補正部24は、手振れ補正量に基づいてS401の処理で検出された音源位置を補正し、当該補正した音源位置を出力する。
続いて、撮影装置10は、音源分離部26において、S401の処理で検出された音源位置を用いて音源分離処理を行なう(S403)。ここで、音源分離処理に使用される音源位置の情報は、S402の処理で補正された音源位置ではなく、S401の処理で検出された音源位置の情報が使用される。この処理により、音源分離部26は、各音源位置に対応した音声信号をそれぞれ出力する。
撮影装置10は、音声編集部27において、音声編集を行なう(S404)。この音声編集は、ユーザからの指示入力部30を介した編集指示に応じて行なわれる。なお、音声編集の詳細については後述する。
音声編集が終わると、撮影装置10は、レンダリング部28において、音声のレンダリングを行なう(S405)。ユーザによって、例えば、ステレオ(2.0ch)やサラウンド(5.1ch)といった出力方法が選択された場合には、当該選択された出力方法に応じたレンダリングを行なう。分離した音声は、音源位置が分かっているので、音源位置に応じた音声信号の合成などが行なわれる。
最後に、撮影装置10は、記憶部19において、編集結果を記憶した後(S406)、この処理を終了する。すなわち、動画像と編集後の音声信号とを記憶部19に記憶される。
次に、図12(a)及び図12(b)を用いて、図11のS404に示す音声編集処理の詳細について説明する。
音声編集が開始すると、撮影装置10は、表示処理部17において、編集画面を表示部18に表示する(S501)。例えば、図12(b)に示すように、表示部18には、編集中の動画像の1コマが表示されるとともに、音源位置Aも重畳されて表示される(この場合、音源位置を中心とする円で表示)。なお、図12(b)では、音源位置を示す円は、分かり易いように大きめに表示されており、実際にはこれよりも小さく表示される。また、表示される動画像の1コマは、ユーザが動画像の任意のタイミングの1コマを選べるようになっており(スライダーBによって動画像内の任意の一コマを選択可)、選択された1コマに対応する音源位置が表示される。
ユーザは、指示入力部30を介して編集指示を入力する(S502)。例えば、ユーザが表示部18に表示された音源位置Aを指定すると、画面上にボリューム変更ボタンCが表示される。すると、ユーザは、そのボタンで音源位置に対応する音声信号のボリュームを調整する(例えば、上矢印ボタンで音量が大きくなり、下矢印で音量が小さくなる)。ここで、音声信号の編集は、当然、ボリューム調整だけでなく、フェードやイコライジングといった音響特性の調整ができるようになっていても良い。
続いて、撮影装置10は、表示処理部17において、編集結果を確認するための確認画面を表示部18に表示する(S503)。これにより、例えば、ユーザは、動画像を見ながら、当該調整した音声信号のボリュームや音声全体のバランスを確認することができる。S501〜S503の処理が繰り返し行なわれ(S504でNO)、編集が終了すると(S504でYES)、この処理は終了する。
以上説明したように実施形態4によれば、音声編集処理のような既に記憶された動画像上に音源位置を表示する場合においても、動画像及びマルチチャンネルの音声信号に加えて手振れ補正量を記憶しておくことで、音源位置を正確ない地に表示できる。
なお、上述した説明においては、撮影後に撮影装置本体で編集を行なう場合について説明したが、これに限られない。例えば、撮影データをPC(Personal Computer)に移動し、PCで編集を行なうようにしても良い。また、記憶部19や編集部23は、ネットワーク上に設けられていても良い(クラウドシステム)。
また、電子式の手振れ補正は、撮影後に行なうこともできるので、記憶部19には、手振れ補正の行なわれていないデータを格納し、記憶部19から読みだした動画像に対して電子式の手振れ補正を行なう手段を設けても良い。
また、編集前のデータと編集前のデータとを別々の記憶部に格納するようにしても良い。例えば、編集前のデータは、メモリカードに記憶し、編集後のデータは、ハードディスクに記憶するようにしても良い。
また、表示部18に表示される音源位置は、同一音源の位置の時間的な変化を軌跡として画像上に表示されても良い。また更に、編集部23に実現される機能構成は、その一部が別の資源上で実現されても良い。例えば、音源位置検出や音源位置補正は、撮影装置で行ない、音源分離、音声編集はネットワーク上のコンピュータで行ない、レンダリングは、PCで行なうといった形態であっても良い。
また、レンダリング部28においては、立体音響のレンダリングを行なえても良い。例えば、レンダリング部28は、音源分離部26によって分離された音源位置が分かっている音声信号に対して、各音源位置に対応する頭部伝達関数(HRTF)を畳みこむことによって、バイノーラル信号に変換しても良い。
また、記憶された撮影データのうち音声信号のみを編集対象としていたが、この編集機能は、例えば、映像編集アプリケーションの一部の機能で実現されても良く、別途、動画編集部が設けられていても良い。
以上が本発明の代表的な実施形態の一例であるが、本発明は、上記及び図面に示す実施形態に限定することなく、その要旨を変更しない範囲内で適宜変形して実施できるものである。
例えば、上述した説明においては、手振れ量がピッチングとヨーイングとである場合について説明したが、これに限られない。例えば、回転振れ(ローリング)やシフト振れをも検出し、補正するようにしても良い。このような構成においても、撮影装置の向きと光軸との差を検出し、表示位置の補正を行なうようにすれば上記同様の処理を行なえる。
また、上述した説明においては、光学式の手振れ補正を行なう方法として、レンズをシフトさせる方式について説明したが、これに限られない。すなわち、光軸の向きを変えて手振れ補正する方法であれば良くどのような方法であっても良い。例えば、撮影素子をシフトさせるセンサシフト方式でも良いし、その他の光学式の手振れ補正を用いても良い。
また、上述した撮像部11は、画角の拡大縮小を行なうズーム機能を備えていても良い。手振れの影響は、ズームの倍率が大きいほど、つまり、画角が小さいほど大きくなる。そのため、ズーム倍率が所定の倍率以上の場合に、上述した表示位置補正(又は収音部位置補正等)を行なうようにしても良い。
また、上述した説明では、収音部14の複数のマイクロフォンの幾何中心が光軸の支点(回転中心)と一致する場合について説明したが、これに限られない。例えば、収音部14の複数のマイクロフォンの幾何中心が光軸の支点(回転中心)と異なる場合には、音源位置検出部15において、検出した音源位置から光学系を中心とした音源位置に変換処理を行なうようにすれば良い。例えば、音源位置検出部15において、仰角、回転角と合わせて音源までの距離を算出し、音源位置の光軸からの方向を算出する。ここで、収音部14が、同一平面上にない4つ以上のマイクロフォンからなるマイクロフォンアレイとすれば、音源までの距離は、各マイクロフォンまでの音の到達時間差を用いて収音部14と音源との相対位置を取得することができる。
音源及び収音部14の相対位置と、収音部14及び光軸の相対位置とが分かれば画角に対する音源位置の表示位置を算出することができる。例えば、図13に示すように、収音部14が撮影装置10の外部(例えば、外付け)にあるような場合が考えられる。収音部14が光軸からy(縦)方向に距離Dの位置にあり、検出したy方向の音源方向がβ_y、音源までの距離をRとすると、画角に対する音源の表示方向γ_yは、以下の式(5)のように表すことができる。
Figure 2013141090
このようにすれば、収音部14が光軸から離れていた場合であっても、上記同様の音源位置の表示が可能となる。
ここで、音の到達時間差を用いた音源までの距離検出精度は、音源までの距離が遠くなるほど低くなってしまう。しかし、収音部14と光軸との間の距離Dに比べ、音源位置が十分に遠い場合、音源方向β_y及び表示方向γ_yの角度差は、ほとんど無視できるため特に問題ない。
また、上述した説明においては、撮影装置の向きを基準としてビームフォーマの走査を行なうことにより音源位置の検出を行なう場合について説明したが、これに限られない。例えば、音源位置検出部15に対して手振れ補正によって角度変位した光軸の向きを入力し、光軸を基準に音源位置の走査を行なうようにしても良い。音源位置が光軸の変更に合わせて変更されるような構成であれば良く、その検出の仕方等はどのような方法で行なわれても良い。
また、上述した説明においては、円を用いて音源位置を示す場合について説明したが、この円は、音源のパラメータによって表示形式を変化させるようにしても良い。例えば、音量や周波数帯域によって円の大きさや色を変えるようにしても良い。また、音源位置は、例えば、矢印や点や四角などの他の文字や形で示しても良く、音源位置を明示できるものであれば何でも良い。また、音源位置は、同一音源の位置の時間的な変化を軌跡として動画像上に表示するようにしても良い。
また、上述した記憶部19には、全てのデータを記憶する必要はなく、記憶するデータは、ユーザが選択できるようになっていても良い。例えば、全て記憶するモードや、動画及び音声のみ記憶するモードなどいくつかのモードを設け、ユーザが選択できるようにしても良い。
なお、本発明は、例えば、システム、装置、方法、プログラム若しくは記憶媒体等としての実施態様を採ることもできる。具体的には、複数の機器(例えば、ホストコンピュータ、インタフェース機器、撮影装置、webアプリケーション等)から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。
(その他の実施形態)
本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(又はCPUやMPU等)がプログラムを読み出して実行する処理である。

Claims (12)

  1. 動画像を撮影する撮像手段と、
    前記動画像の撮影時の手振れを補正する手振れ補正手段と、
    前記動画像の撮影時に複数のマイクロフォンにより収音された音声信号と前記複数のマイクロフォンの配置情報とに基づいて前記動画像上における音源位置を検出する音源位置検出手段と、
    前記手振れ補正手段により補正された手振れ補正量に応じて前記動画像上において前記検出された音源位置の表示位置を補正する表示位置補正手段と、
    前記手振れ補正手段により補正された動画像を表示器に表示するとともに、前記表示位置補正手段により補正された音源位置を当該動画像上に表示する表示処理手段と
    を具備することを特徴とする撮影装置。
  2. 前記動画像と、該動画像の撮影時の画角及び手振れ補正量と、該動画像の撮影時に複数のマイクロフォンにより収音された音声信号と、該動画像の撮影時の複数のマイクロフォンの配置情報とを記憶する記憶手段
    を更に具備し、
    前記音源位置検出手段は、
    前記記憶手段により記憶された前記動画像の撮影時の前記音声信号及び前記配置情報に基づいて前記音源位置を検出し、
    前記表示位置補正手段は、
    前記記憶手段により記憶された前記動画像の撮影時の前記手振れ補正量に基づいて前記音源位置の前記表示位置の補正を行なう
    ことを特徴とする請求項1記載の撮影装置。
  3. 前記撮像手段は、画角の拡大縮小を行なうズーム機能を有し、
    前記表示位置補正手段は、
    前記ズームの倍率が所定の倍率以上のときに前記表示位置の補正を行なう
    ことを特徴とする請求項1又は2に記載の撮影装置。
  4. 動画像を撮影する撮像手段と、
    前記動画像の撮影時の手振れを補正する手振れ補正手段と、
    前記手振れ補正手段により補正された手振れ補正量に応じて、複数のマイクロフォンからなる可動式の収音手段を駆動させ、前記可動式の収音手段の方向を調整する位置補正手段と、
    前記動画像の撮影時に前記複数のマイクロフォンにより収音された音声信号と前記複数のマイクロフォンの配置情報とに基づいて前記動画像上における音源位置を検出する音源位置検出手段と、
    前記手振れ補正手段により補正された動画像を表示器に表示するとともに、前記音源位置検出手段により検出された音源位置を当該動画像上に表示する表示処理手段と
    を具備することを特徴とする撮影装置。
  5. 前記可動式の収音手段は、
    前記複数のマイクロフォンとそれらを固定するパン・チルト雲台とから構成される
    ことを特徴とする請求項4記載の撮影装置。
  6. 前記手振れ補正手段は、
    前記撮像手段の光学系における支点を中心にして光軸の向きを変えることにより手振れの補正を行なう
    ことを特徴とする請求項1から5のいずれか1項に記載の撮影装置。
  7. 動画像を撮影する撮像手段と、
    前記動画像の撮影時に複数のマイクロフォンにより収音された音声信号と前記複数のマイクロフォンの配置情報とに基づいて前記動画像上における音源位置を検出する音源位置検出手段と、
    前記音源位置を前記動画像上にマッピングするマッピング手段と、
    前記動画像を構成する時間的に連続する複数の画像を比較し手振れがあるか否かを検出する手振れ検出手段と、
    前記手振れが検出された場合、その手振れ補正量に基づいて前記音源位置がマッピングされた前記動画像から有効画素領域を選択し、当該選択した有効画素領域を手振れ補正後の動画像として出力する手振れ補正手段と、
    前記手振れ補正手段により補正された動画像を表示器に表示するとともに、前記マッピングされた音源位置を当該動画像上に表示する表示処理手段と
    を具備することを特徴とする撮影装置。
  8. 前記複数のマイクロフォンは、
    その配置位置の幾何中心が前記撮像手段の光学系における支点の中心と一致するように配置される
    ことを特徴とする請求項1から7のいずれか1項に記載の撮影装置。
  9. 撮影装置の処理方法であって、
    撮像手段が、動画像を撮影する工程と、
    手振れ補正手段が、前記動画像の撮影時の手振れを補正する工程と、
    音源位置検出手段が、前記動画像の撮影時に複数のマイクロフォンにより収音された音声信号と前記複数のマイクロフォンの配置情報とに基づいて前記動画像上における音源位置を検出する工程と、
    表示位置補正手段が、前記手振れ補正手段により補正された手振れ補正量に応じて前記動画像上において前記検出された音源位置の表示位置を補正する工程と、
    表示処理手段が、前記手振れ補正手段により補正された動画像を表示器に表示するとともに、前記表示位置補正手段により補正された音源位置を当該動画像上に表示する工程と
    を含むことを特徴とする処理方法。
  10. 撮影装置の処理方法であって、
    撮像手段が、動画像を撮影する工程と、
    手振れ補正手段が、前記動画像の撮影時の手振れを補正する工程と、
    位置補正手段が、前記手振れ補正手段により補正された手振れ補正量に応じて、複数のマイクロフォンからなる可動式の収音手段を駆動させ、前記可動式の収音手段の方向を調整する工程と、
    音源位置検出手段が、前記動画像の撮影時に前記複数のマイクロフォンにより収音された音声信号と前記複数のマイクロフォンの配置情報とに基づいて前記動画像上における音源位置を検出する工程と、
    表示処理手段が、前記手振れ補正手段により補正された動画像を表示器に表示するとともに、前記音源位置検出手段により検出された音源位置を当該動画像上に表示する工程と
    を含むことを特徴とする処理方法。
  11. 撮影装置の処理方法であって、
    撮像手段が、動画像を撮影する工程と、
    音源位置検出手段が、前記動画像の撮影時に複数のマイクロフォンにより収音された音声信号と前記複数のマイクロフォンの配置情報とに基づいて前記動画像上における音源位置を検出する工程と、
    マッピング手段が、前記音源位置を前記動画像上にマッピングする工程と、
    手振れ検出手段が、前記動画像を構成する時間的に連続する複数の画像を比較し手振れがあるか否かを検出する工程と、
    手振れ補正手段が、前記手振れが検出された場合、その手振れ補正量に基づいて前記音源位置がマッピングされた前記動画像から有効画素領域を選択し、当該選択した有効画素領域を手振れ補正後の動画像として出力する工程と、
    表示処理手段が、前記手振れ補正手段により補正された動画像を表示器に表示するとともに、前記マッピングされた音源位置を当該動画像上に表示する工程と
    を含むことを特徴とする処理方法。
  12. コンピュータを、請求項1から8のいずれか1項に記載の撮影装置として機能させるためのプログラム。
JP2011289890A 2011-12-28 2011-12-28 撮影装置及びその処理方法 Active JP5954987B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011289890A JP5954987B2 (ja) 2011-12-28 2011-12-28 撮影装置及びその処理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011289890A JP5954987B2 (ja) 2011-12-28 2011-12-28 撮影装置及びその処理方法

Publications (3)

Publication Number Publication Date
JP2013141090A true JP2013141090A (ja) 2013-07-18
JP2013141090A5 JP2013141090A5 (ja) 2015-02-12
JP5954987B2 JP5954987B2 (ja) 2016-07-20

Family

ID=49038177

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011289890A Active JP5954987B2 (ja) 2011-12-28 2011-12-28 撮影装置及びその処理方法

Country Status (1)

Country Link
JP (1) JP5954987B2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016163181A (ja) * 2015-03-02 2016-09-05 キヤノン株式会社 信号処理装置及び信号処理方法
JP2017092732A (ja) * 2015-11-11 2017-05-25 株式会社国際電気通信基礎技術研究所 聴覚支援システムおよび聴覚支援装置
JPWO2021038752A1 (ja) * 2019-08-28 2021-03-04

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004248171A (ja) * 2003-02-17 2004-09-02 Fuji Photo Film Co Ltd 動画記録装置、動画再生装置、及び動画記録再生装置
JP2006109060A (ja) * 2004-10-05 2006-04-20 Sharp Corp 画像符号化情報を利用した手ぶれ補正方法及び装置
JP2006261900A (ja) * 2005-03-16 2006-09-28 Casio Comput Co Ltd 撮像装置、撮像制御プログラム
JP2007208866A (ja) * 2006-02-06 2007-08-16 Nikon Corp カメラ
JP2008172309A (ja) * 2007-01-09 2008-07-24 Fujifilm Corp 電子式手振れ補正方法及びその装置並びに電子式手振れ補正プログラムと撮像装置
JP2010154259A (ja) * 2008-12-25 2010-07-08 Victor Co Of Japan Ltd 画像音声処理装置
JP2010251916A (ja) * 2009-04-13 2010-11-04 Nec Casio Mobile Communications Ltd 音データ処理装置、及び、プログラム
JP2011252852A (ja) * 2010-06-03 2011-12-15 Toyota Motor Corp 音源方向推定装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004248171A (ja) * 2003-02-17 2004-09-02 Fuji Photo Film Co Ltd 動画記録装置、動画再生装置、及び動画記録再生装置
JP2006109060A (ja) * 2004-10-05 2006-04-20 Sharp Corp 画像符号化情報を利用した手ぶれ補正方法及び装置
JP2006261900A (ja) * 2005-03-16 2006-09-28 Casio Comput Co Ltd 撮像装置、撮像制御プログラム
JP2007208866A (ja) * 2006-02-06 2007-08-16 Nikon Corp カメラ
JP2008172309A (ja) * 2007-01-09 2008-07-24 Fujifilm Corp 電子式手振れ補正方法及びその装置並びに電子式手振れ補正プログラムと撮像装置
JP2010154259A (ja) * 2008-12-25 2010-07-08 Victor Co Of Japan Ltd 画像音声処理装置
JP2010251916A (ja) * 2009-04-13 2010-11-04 Nec Casio Mobile Communications Ltd 音データ処理装置、及び、プログラム
JP2011252852A (ja) * 2010-06-03 2011-12-15 Toyota Motor Corp 音源方向推定装置

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016163181A (ja) * 2015-03-02 2016-09-05 キヤノン株式会社 信号処理装置及び信号処理方法
JP2017092732A (ja) * 2015-11-11 2017-05-25 株式会社国際電気通信基礎技術研究所 聴覚支援システムおよび聴覚支援装置
JPWO2021038752A1 (ja) * 2019-08-28 2021-03-04
WO2021038752A1 (ja) * 2019-08-28 2021-03-04 株式会社ソニー・インタラクティブエンタテインメント 画像処理装置、システム、画像処理方法および画像処理プログラム
US20220308157A1 (en) * 2019-08-28 2022-09-29 Sony Interactive Entertainment Inc. Image processing apparatus, system, image processing method, and image processing program
JP7304955B2 (ja) 2019-08-28 2023-07-07 株式会社ソニー・インタラクティブエンタテインメント 画像処理装置、システム、画像処理方法および画像処理プログラム

Also Published As

Publication number Publication date
JP5954987B2 (ja) 2016-07-20

Similar Documents

Publication Publication Date Title
US20230353869A1 (en) Imaging apparatus and setting screen thereof
US10848662B2 (en) Image processing device and associated methodology for determining a main subject in an image
EP2779621B1 (en) Image generation device, image generation method and program
JP4695972B2 (ja) 画像処理装置、撮像装置および画像処理方法
JP5397751B2 (ja) カメラおよび画像補正方法
JP2013515432A (ja) 傾斜又は遠近修正能力を有する画像捕獲装置
JPWO2008114499A1 (ja) 撮影装置および撮影方法
KR20110038313A (ko) 영상촬영장치 및 그 제어방법
JP2009302785A (ja) 情報処理装置、撮像システム、再生制御方法、録画制御方法、及びプログラム
JP2015149634A (ja) 画像表示装置および方法
US20150070526A1 (en) Display control device, display control method, and program
JP2012199752A (ja) 画像処理装置と画像処理方法およびプログラム
JP5425305B2 (ja) 立体画像制御装置ならびにその動作制御方法およびその動作制御プログラム
CN113574856A (zh) 图像处理设备、图像处理方法和程序
TW201351980A (zh) 影像處理裝置、影像處理方法、程式
JP5954987B2 (ja) 撮影装置及びその処理方法
US20110032371A1 (en) Image capturing device
KR20180017591A (ko) 카메라 장치, 디스플레이 장치 및 그 장치에서 움직임을 보정하는 방법
JP2010193476A (ja) 撮像装置及び画像再生装置
JP2003264900A (ja) 音響提示システムと音響取得装置と音響再生装置及びその方法並びにコンピュータ読み取り可能な記録媒体と音響提示プログラム
JP2010283706A (ja) ビデオカメラ
JP2017063276A (ja) 映像表示装置、映像表示方法、及びプログラム
JP2010130403A (ja) 映像制御装置およびそれを備えた撮像装置、表示装置
JP2009065319A (ja) 画像音声記録装置及び画像音声再生装置
JP2021002803A (ja) 画像処理装置、その制御方法、プログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20141217

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20141217

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150915

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20151005

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20151111

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160308

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160420

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160516

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160614

R151 Written notification of patent or utility model registration

Ref document number: 5954987

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151