JP2011151709A - 撮像装置 - Google Patents

撮像装置 Download PDF

Info

Publication number
JP2011151709A
JP2011151709A JP2010012995A JP2010012995A JP2011151709A JP 2011151709 A JP2011151709 A JP 2011151709A JP 2010012995 A JP2010012995 A JP 2010012995A JP 2010012995 A JP2010012995 A JP 2010012995A JP 2011151709 A JP2011151709 A JP 2011151709A
Authority
JP
Japan
Prior art keywords
angle
view
information
motion
trajectory
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2010012995A
Other languages
English (en)
Inventor
Akihiro Kubota
明広 窪田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2010012995A priority Critical patent/JP2011151709A/ja
Publication of JP2011151709A publication Critical patent/JP2011151709A/ja
Withdrawn legal-status Critical Current

Links

Images

Abstract

【課題】 撮りたい被写体を肉眼で見ながら、その構図を直感的に指示できる小型で携帯可能な撮像装置等を提供すること。
【解決手段】 撮像装置100は、モーションセンサ200を有する撮像装置であって、モーションセンサ200からのセンサ情報を取得するセンサ情報取得部161と、取得されたセンサ情報に基づいて、モーションセンサ200の軌跡を算出する軌跡算出部163と、算出された軌跡に基づいて、画角特定情報を算出する画角特定情報算出部165と、画角特定情報に基づいて画角を調整する画角調整部180とを含む。
【選択図】 図1

Description

本発明は、撮像装置等に関する。
デジタルカメラ、ビデオカメラ等の撮像装置には構図を決めるユーザーインタフェースとしてファインダー機能が通常装備されている。ファインダーとしての重要な役割は、撮影したい背景や被写体の位置・画角などを確認しながら撮影者の意図する構図となるようにするフレーミング操作である。その方式も光学ビューファインダー(OVF、Optical Viewfinder)方式から電子的なビューファインダー(EVF、Electronic Viewfinder)方式などが存在している。
その他にも背面液晶パネル(LCD、Liquid Crystal Display)方式だけの表示装置のものも存在しており、EVF方式と同様に、モニター機能のほかにタッチパネルなどの操作入力装置が一体化されたものなどもあり、撮影画像を見ながらカメラの撮影制御のための操作を行うことが可能なものなども存在している。
しかし、一方でファインダーを覗きこみながらのカメラ操作や、フレーミング操作には熟練が必要となる。ムービー撮影においては更にその状態を維持し続けなければならない。撮像装置がブレない様に保持するなど、撮影者には負担の大きな操作となる。
更に撮影時においてファインダー越しや背面液晶を通して被写体を確認することになる。或いはファインダーが表示する範囲内を通した画角しか見えないので、人間の肉眼で観察できるはずの広範囲の視野の像を観察することができない、つまり撮影中はその場の雰囲気を生で味わう(肉眼で観察)ことが出来ない。
カメラの既存のスイッチ操作を、モーションセンサを用いた直感的な操作に変換し、カメラ操作のハードルを低くする例として特許文献1がある。
また、直感的な操作で撮影時のズーム操作ができる例として特許文献2には、カメラから撮影者までの距離を赤外線等で測定してズームする方式が開示されている。
また、内視鏡においては撮像部と操作部は離れており、操作者は被験者の体外にある操作部にある各種スイッチ等のインターフェースを通して体内にある撮像部の方向やズームの操作を行っている。この時操作者は操作部付近にあるEVFやモニターに撮像画像を表示しながら操作を行っている。
特開2000−125184号公報 特開2003−195145号公報
特許文献1は、既存のスイッチ操作をモーションコマンドに変換したのでスイッチ操作の煩雑さはなくなるが、構図を決めるための操作について従来と何ら変わらない。
特許文献2は、腕の曲げ伸ばしによる操作でズームが変倍するので直感的な操作ではあるが、構図はファインダーやLCD等で確認しなければならないので、その場の雰囲気を生で味わう(肉眼で観察)ことが出来ないという課題は解決していない。
また、内視鏡操作では手元の操作が煩雑であるという問題点があった。
本発明の幾つかの態様によれば、モーションセンサの移動を検出し、移動の軌跡を算出し、軌跡から画角特定情報を算出する。そして算出した画角特定情報に基づいて、画角を調整する撮像装置等を提供することができる。
また、本発明の幾つかの態様によれば、ファインダーを覗いたり、見たりすることなく、撮りたい被写体を肉眼で見ながら、その構図を直感的に指示できる小型で携帯可能な撮像装置等を提供することができる。また、内視鏡においては操作部を直感的に移動することで操作をすることにより煩雑な操作を簡略化することができる。
本発明の一態様は、モーションセンサを有する撮像装置であって、前記モーションセンサからのセンサ情報を取得するセンサ情報取得部と、取得された前記センサ情報に基づいて、前記モーションセンサの軌跡を算出する軌跡算出部と、算出された前記軌跡に基づいて、画角特定情報を算出する画角特定情報算出部と、前記画角特定情報に基づいて画角を調整する画角調整部と、を含む撮像装置に関係する。
本発明の一態様では、モーションセンサからセンサ情報が取得され、センサ情報から軌跡が算出される。そして軌跡から画角特定情報が算出され、画角特定情報に基づいて画角が調整される。これにより、モーションセンサを動かすことにより、画角を調整することが可能になり、直感的な操作で撮像装置を動作させることができる。
また、本発明の一態様では、前記画角調整部は、前記モーションセンサの軌跡が撮像装置の光軸に対して垂直状態であると評価された場合に、前記画角特定情報に基づいて画角を調整してもよい。
このようにすれば、モーションセンサの軌跡が撮像装置の光軸に対して垂直であると評価された場合に、モーションセンサの動きをモーションとして検出し、画角を調整することが可能になる。
また、本発明の一態様では、前記画角特定情報算出部は、前記モーションセンサの軌跡を直線として算出する場合には、光軸に垂直な方向の軌跡における距離bを前記画角特定情報として算出してもよい。
このようにすれば、軌跡を直線として算出するモードにおいては、軌跡(直線)の距離の情報を画角特定情報として算出することが可能になる。よって直線のモーションにより画角を決めることができる。
また、本発明の一態様では、撮影者から撮像装置までの距離aの情報を取得する撮影者距離情報取得部を含み、前記画角調整部は、画角θ=2×arctan(b/2a)になるように画角を調整してもよい。
このようにすれば、撮影者距離aの情報と、画角特定情報として算出されたbとから、画角を求めることが可能になり、求めた値に実際に画角を調整することができる。
また、本発明の一態様では、撮像装置から被写体までの距離cの情報を取得する被写体距離情報取得部を含み、前記画角調整部は、画角θ'=2×arctan(((a+c)/c)×(b/2a))になるように画角を調整してもよい。
このようにすれば、被写体距離cの情報を求めた上で、撮像装置の位置を基準とした、より精度の高い画角を求めることが可能になる。
また、本発明の一態様では、前記モーションセンサのセンサ情報に基づいて、前記モーションセンサの動きを検出する動き検出部を含み、前記動き検出部は、光軸方向であるZ軸の方向のモーションセンサの移動と、前記Z軸に直交する、X軸及びY軸の方向でのモーションセンサの移動を少なくとも検出し、前記モーションセンサの軌跡の前記X軸方向での成分をx、前記Y軸方向での成分をyとした場合に、前記画角特定情報算出部は、x>yの場合は、xを画角特定情報bとし、y>xの場合は、yを画角特定情報bとしてもよい。
このようにすれば、モーションセンサの軌跡がX軸もしくはY軸に平行にならなかった場合にも、画角特定情報を算出することが可能になる。
また、本発明の一態様では、前記画角特定情報算出部は、前記モーションセンサの軌跡を円形状として算出する場合には、前記円形状の大きさを表す情報φを、前記画角特定情報として算出してもよい。
このようにすれば、軌跡を円形状として算出するモードにおいては、軌跡(円形状)の大きさを表す情報を画角特定情報として算出することが可能になる。よって円形状のモーションにより画角を決めることができる。
また、本発明の一態様では、前記画角特定情報算出部は、前記モーションセンサの軌跡が円形状であると評価された場合に、前記円形状から円の直径情報を前記円形状の大きさを表す情報として算出してもよい。
このようにすれば、円形状と評価されたモーションが得られた場合には、モーションの軌跡の直径情報を円形状の大きさを表す情報として算出することが可能になる。
また、本発明の一態様では、前記画角特定情報算出部は、前記モーションセンサの軌跡が非円形状であると評価された場合に、軌跡の経路距離を円周長とする円を設定し、設定した前記円の直径を前記円形状の大きさを表す情報として算出してもよい。
このようにすれば、非円形状のモーションであっても、円形状の大きさを表す情報を算出することが可能になる。つまりは非円形状のモーションからも画角の決定が可能になる。
また、本発明の一態様では、撮影者から撮像装置までの距離aの情報を取得する撮影者距離情報取得部を含み、前記画角調整部は、画角θ=2×arctan(φ/2a)になるように前記画角を調整してもよい。
このようにすれば、撮影者距離aの情報と画角特定情報として算出されたφとから、画角を求めることが可能になり、求めた値に実際に画角を調整することができる。
また、本発明の一態様では、撮像装置から被写体までの距離cの情報を取得する被写体距離情報取得部を含み、前記画角調整部は、画角θ'=2×arctan(((a+c)/c)×(φ/2a))になるように前記画角を調整してもよい。
このようにすれば、被写体距離cの情報を求めた上で、撮像装置の位置を基準とした、より精度の高い画角を求めることが可能になる。
また、本発明の一態様では、前記画角特定情報算出部は、前記モーションセンサの軌跡が円形状であると評価された場合に、前記軌跡である円形状を内接円とする四角形の情報を前記画角特定情報として算出してもよい。
このようにすれば、円形状と評価されたモーションが得られた場合には、モーションの軌跡を内接円とする四角形の情報を画角特定情報として算出することが可能になる。
また、本発明の一態様では、前記画角特定情報算出部は、前記モーションセンサの軌跡が非円形状であると評価された場合に、軌跡の経路距離を円周長とするような円を設定し、設定した前記円を内接円とする四角形の情報を前記画角特定情報として算出してもよい。
このようにすれば、非円形状のモーションであっても、画角特定情報を算出することが可能になる。つまりは非円形状のモーションからも画角の決定が可能になる。
また、本発明の一態様では、前記画角調整部は、前記画角特定情報である四角形の情報を含めた領域を撮影範囲とするように画角を調整してもよい。
このようにすれば、画角特定情報として算出した四角形を少なくとも含む領域を撮影範囲にすることができ、撮影者の望む範囲を含む領域を撮影可能となる。
また、本発明の一態様では、前記画角調整部は、前記撮像装置が対応可能な複数のアスペクト比のうち、前記画角特定情報算出部で求めた四角形の情報のアスペクト比に最も近いアスペクト比を持つ四角形を設定し、設定した四角形を撮影範囲とするように画角を調整してもよい。
このようにすれば、画角特定情報として算出した四角形のアスペクト比に最も近いアスペクト比を撮影範囲として設定可能になる。従って撮影者が意図しなかった領域が撮影範囲に多く入ってしまう事態を抑止できる。
また、本発明の一態様では、前記モーションセンサのセンサ情報に基づいて、前記モーションセンサの動きを検出する動き検出部を含み、前記動き検出部は、光軸に対して垂直状態と評価された第1の軌跡上での、モーションセンサの第1の移動が終了した後、光軸に対して垂直状態と評価された第2の軌跡上での、モーションセンサの第2の移動を検出し、前記画角調整部は、前記第2の移動が検出された場合に、画角を調整してもよい。
このようにすれば、画角を決定する第1のモーションと、中心への移動である第2のモーションとを明確に区別し、その上で第2のモーションを画角調整のトリガーとして利用できる。
また、本発明の一態様では、モーションセンサの移動開始状況、移動中状況、移動終了状況のうち、少なくとも1つの状況を入力する状況入力部を含んでもよい。
このようにすれば、撮影者が明示的にモーションの開始や終了を指示することが可能になる。
また、本発明の一態様では、前記モーションセンサの軌跡を直線として扱うか、円形状として扱うかの選択指示を行う選択入力部を含み、前記軌跡算出部は、直線として扱う選択がされた場合には、前記モーションセンサの軌跡を直線として算出し、円形状として扱う選択がされた場合には、前記モーションセンサの軌跡を円形状として算出してもよい。
このようにすれば、撮影者が明示的に直線モードか円モードかを指定することが可能になり、より撮影者の意図が反映された構図を特定することができる。
本実施形態の撮像装置の構成例。 モーションセンサ(加速度センサ)の例。 モーションセンサを撮像装置に内蔵する場合の例。 本実施形態における撮影のためのモーションの説明図。 時間と加速度の関係図。 時間と速度の関係図。 時間と変位の関係図。 軌跡が斜めになった場合に画角特定情報bを特定する手法の説明図。 モーションの軌跡の説明図。 撮影者距離情報aと画角特定情報bとから画角θを求める手法の説明図。 被写体距離情報cと撮影者距離情報aと画角特定情報bとから画角θ’を求める手法の説明図。 被写体距離情報cの求め方の例。 本実施形態の処理を説明するためのフローチャート。 軌跡算出処理を説明するためのフローチャート。 画角特定処理を説明するためのフローチャート。 画角特定処理を説明するための他のフローチャート。 内視鏡システムの構成例。 内視鏡システムにおいて画角を調整する手法の説明図。 本実施形態における撮影のための他のモーションの説明図。 円形状を描く際の理想的な撮像装置の移動の説明図。 円形状を描く際にひねりが入る場合の撮像装置の移動の説明図。 時間と加速度の関係図。 時間と速度の関係図。 時間と変位の関係図。 モーションの軌跡の説明図。 画角特定処理を説明するための他のフローチャート。 画角特定処理を説明するための他のフローチャート 撮影範囲に撮影者の意図しない余白が入ってしまう状況の説明図。 アスペクト比を考慮した場合の外接四角形と撮影領域の説明図。
以下、本実施形態について説明する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。
1.第1の実施形態
まず、本実施形態の手法の概要について説明する。従来の手法では画角の決定(構図の決定、ズーム倍率の決定)はボタンやレバーにより操作する必要があった。また、現在の構図を確認するためにファインダーやモニター画面が必須となる。そのため、被写体を肉眼で観察しながら構図を決定することができなかった。
そこで、本出願人は直感的な方法で画角を調整する手法を提案する。具体的には後述する図4のような方法である。被写体の左端から右端へと撮像装置(厳密にはモーションセンサ)を移動させることで、被写体が撮影画面に収まるように画角を調整する。
画角を求める方法を後述する図10に示す。撮影者の位置を基準とした画角θは、左端から右端までの移動距離を表す画角特定情報b及び、撮影者と撮像装置間の距離情報aとから、後述する式(2)により求めることができる。
また、さらに撮像装置と被写体間の距離情報cを取得することにより、撮像装置の位置を基準とした、より正確な画角であるθ’を求めることも可能である。この場合後述する式(4)または(5)を用いる。
以上の方法を第1の実施形態において詳細に説明する。また画角を決定するモーションは直線上のものに限られない。第2の実施形態及び第3の実施形態においては、円状のモーションにより画角を決定する方法について説明する。ここで、第2の実施形態においては円状データの直径情報φに基づいて画角を求める方法を説明し、第3の実施形態においては、円状データに外接する四角形を撮影領域とする方法について説明する。
図1は、本実施形態に係る撮像装置100の概略的構成を説明するブロック図である。撮像装置100は、撮影レンズ110と、撮像素子120と、画像処理部130と、I/F部140と、記憶部150と、モーション処理部160と、レンズ駆動モータ(AFモータ、ズームモータ)170と、画角調整部180と、距離情報取得部190と、モーションセンサ200とを備えている。なお、これらの一部の構成要素を省略したり、他の構成要素を追加するなどの種々の変形実施が可能である。
なお、図示していないが撮像装置100には、背面液晶パネル等の表示装置やフラッシュ機構等の一般のデジタルカメラに装備される機器が設けられていてもよい。
撮影レンズ110は、CCDあるいはCMOSイメージセンサで構成される撮像素子120の撮像面上に被写体像を形成する焦点距離可変のズームレンズである。本明細書中では、撮像素子120は内部にCDS、A/D変換等の処理ブロックを有してディジタルの画像信号を出力可能なCMOSイメージセンサであるものとして説明をする。
撮像素子120から出力されるディジタルの画像信号は、記憶部150に一時的に保管される。記憶部150は、画像処理部130が画像処理を行う際のバッファメモリとしても用いられるので、書き込み・読み出しの速度が速いことが望ましく、例えばDRAM、SRAM等で構成することが可能である。記憶部150へは、システムバスを介して撮像素子120、画像処理部130、モーション処理部160、距離情報取得部190がアクセス可能に構成される。記憶部150は、上述した構成要素からのメモリアクセス要求を調停する機能を有する。
画像処理部130は、特定用途向けの集積回路(ASIC)等で構成することが可能である。この画像処理部130は、撮像素子120から出力されて記憶部150に一時的に保管されたディジタルの画像信号に同時化(デモザイク処理)、ホワイトバランス調整、階調・レベル補正、アンシャープマスク、シェーディング補正等の処理をしてディジタルの画像データを生成する。
画像処理部130が画像記録処理を行う際には、画像処理部130によって生成された画像データが必要に応じてJPEG圧縮され、I/F部140を介して記憶媒体(不図示)に記録される。この記憶媒体としては様々なものを用いることが可能である。一例として、記憶媒体はフラッシュメモリで、撮像装置100に内蔵されるものであってもよいし、撮像装置100に対して着脱可能に構成されるものであってもよい。
モーション処理部160は、モーションセンサ200からの信号を受信して、モーションに関する処理を行う。
モーション処理部160は、センサ情報取得部161と、軌跡算出部163と、画角特定情報算出部165と、動き検出部169を含む。なお、これらの一部の構成要素を省略したり、他の構成要素を追加するなどの種々の変形実施が可能である。
モーション処理部160のセンサ情報取得部161は、モーションセンサ200からの信号であるセンサ情報を取得する。
軌跡算出部163は、センサ情報取得部161が取得したセンサ情報に基づいて、撮像装置(モーションセンサ)の移動の軌跡を算出する。軌跡の算出方法については後述する。
画角特定情報算出部165は、軌跡算出部163が算出した軌跡に基づいて、画角を特定するための画角特定情報を算出する。第1の実施形態においては、直線上の軌跡に対して、その直線の長さを画角特定情報として算出する。
また、画角特定情報算出部165は、直径情報算出部166と、四角形情報算出部167を含む。
画角特定情報算出部165の直径情報算出部166は、円形状の軌跡を算出するモードにおいて、円形状(略円形状を含む)の軌跡が得られた場合には、得られた軌跡である円形状の直径を画角特定情報として算出する。また円形状の軌跡が得られなかった場合には、軌跡の長さ(経路距離)を円周長とする円を設定し、設定した円の直径を画角特定情報として算出する。詳細については第2の実施形態において説明する。
四角形情報算出部167は、円形状の軌跡を算出するモードにおいて、円形状(略円形状を含む)の軌跡が得られた場合には、得られた軌跡である円形状を内接円とするような四角形を画角特定情報として算出する。また円形状の軌跡が得られなかった場合には、軌跡の長さ(経路距離)を円周長とする円を設定し、設定した円を内接円とするような四角形を画角特定情報として算出する。詳細については第3の実施形態において説明する。
動き検出部169は、センサ情報取得部161が取得した信号が、モーションであるかどうかを判断する。またモーションであった場合には、モーションの開始及び終了を検出する。具体的には、ある閾値を用意して、モーションセンサからの信号値が閾値以下であった場合には、撮影者の手のブレや意図しない動きであると判断して、モーションとして非検出にする。閾値以上であった場合には、モーションであると判断し、モーションの開始を検出する。モーションの終了の検出は、例えば加速度もしくは速度から判断する。詳細については図5、図6の説明にあわせて後述する。
レンズ駆動モータ170は、AFモータやズームモータから構成される。ズームモータは、画角調整部180からの画角調整情報を受信し、適切な画角になるように撮影レンズ110の位置を調整する。また、AFモータは画角調整の終了後に、被写体に対して自動的にフォーカスをあわせるAF(オートフォーカス)を実行する。具体的にはズームモータと同様に撮影レンズ110の位置を調整する。
画角調整部180は、モーション処理部160からの画角特定情報及び距離情報取得部190からの距離情報を取得して、適切な画角を算出し、画角調整情報をレンズ駆動モータ170に送信する。ここで、画角特定情報、距離情報及び画角の算出方法については後述する。
距離情報取得部190は、撮影者距離情報取得部192及び被写体距離情報取得部194から構成される。撮影者距離情報取得部192は、撮像装置100と撮影者との距離である撮影者距離情報aを取得する。また、被写体距離情報取得部194は、撮像装置100と被写体との距離である被写体距離情報cを取得する。撮影者距離情報a及び被写体距離情報cの取得方法については後述する。
次にモーションセンサ200について説明する。
図2はモーションセンサの一例である加速度センサの平面図である。この加速度センサは、X軸、Y軸及びZ軸方向の加速度を検出し、その検出した加速度に対応した電圧信号を出力するもので、ピエゾ抵抗RX1〜RX4、RY1〜RY4、RZ1〜RZ4を有している。尚、これらのピエゾ抵抗RX1〜RX4、RY1〜RY4、RZ1〜RZ4は、それぞれブリッジに構成されている。
ここで、X軸方向からのみ加速度センサに加速度が加わった場合には、全てのピエゾ抵抗RX1〜RX4、RY1〜RY4、RZ1〜RZ4は引張応力を受け、ピエゾ抵抗RX1、RX3の抵抗値が減少し、他のピエゾ抵抗の抵抗値は増加する。これにより、X軸方向の加速度を検出するブリッジからのみ出力が得られ、Y軸方向、Z軸方向の加速度を検出するブリッジの出力は0となる。
同様に、Y軸方向又はZ軸方向からのみ加速度が加わった場合には、Y軸方向又はZ軸方向の加速度を検出するブリッジの出力のみ得られ、他の2つのブリッジの出力は0となる。従って、この加速度センサ(200)は、3軸方向の加速度をそれぞれ独立して検出することができる。
なお、モーションセンサは、加速度センサであっても、ジャイロセンサであっても、地磁気センサであっても、気圧、水圧等の圧力センサであっても、GPSや携帯電話、無線LAN(Local Area Network)、Bluetooth(登録商標)、PHS、RFID(無線タグ)等無線による位置検出センサであってもよく、画像処理による位置検出手段であってもよい。また、上記複数の組合せであってもよい。
図3は、図2のモーションセンサを撮像装置に配置した模式図である。モーションセンサを撮像装置に必ずしも内蔵させる必要はないが、本実施例では一例として内蔵タイプとする。よって以下ではモーションセンサの移動と撮像装置の移動は同義である。
上記モーションセンサによって得られる各軸方向の加速度を示す電圧信号はモーション処理部160に送信される。モーション処理部160の動き検出部169では、撮影者が意図しないモーションを感知しないようにモーションの閾値が設定されている。
図2のモーションセンサの配置でX方向ある程度の加速度があった場合に、動き検出部169は撮像範囲を設定するモーションと判断する。そして、動き検出部169の判断に基づいて、軌跡算出部163及び画角特定情報算出部165はそれぞれ算出処理を開始する。
また、閾値で撮像範囲を設定するモーションと判断する以外に、撮影領域設定モーション開始ボタン等を撮像装置に付与し、モーションの開始や終了を撮影者側から指示してもよい。
具体的には例えば、移動開始時と移動終了時にボタンを押すという操作が考えられる。また、移動開始時にボタンを押して、移動中はボタンを押し続け、移動終了時にボタンをはなすといった操作も考えられる。
図4は、撮像装置を直線移動することにより撮影領域を設定するモーションを示している。
本実施形態では、撮影者が腕を伸ばして撮像装置を構え、肉眼で見た被写体(図4の例ではクルマ)に対して左端から右端へ撮像装置を移動している。次に折り返して撮影領域の中心点(略中心を含む)に撮像装置を移動して静止する。
つまり、被写体の左端から右端への撮像装置の移動(以下、適宜モーション1と表記する)により構図(画角)を決定し、その後、中心点への移動(以下、適宜モーション2と表記する)をトリガーとして、撮影処理を行うことになる。
ここで中心点とは、撮影者が判断してもよく、また、撮像装置の軌跡算出部163により判断されてもよい。
撮影者が判断する場合には、撮影者自身が中心だと思う点に撮像装置を移動させ、モーションを終了させる(前述したように静止させるだけの場合もあれば、ボタンで指示する場合もある)。中心点は厳密に求める必要はないので、撮影者の感覚に任せても十分な精度が得られると考えられる。
また、軌跡算出部163により判断することも可能である。この場合、撮像装置はモーション1に対応する軌跡を記憶部150に保存しておく。そしてモーション2に対応する軌跡を算出し、記憶部150に記憶しておいたモーション1の軌跡と比較し、モーション2の軌跡がモーション1の軌跡の半分の長さになるような位置を中心点と判断する。
軌跡算出部163による算出の場合は、ある閾値を用意しておいてもよい。中心点からのずれが閾値以下であれば、中心点においてモーションが終了したと判断して撮影処理を行う。閾値以上であった場合は撮影者に対して、中心点からずれている旨を警告したり、モーションを再度やり直すよう促したりしてもよい。中心点の判定については、図5〜図9の説明の箇所において、具体例を挙げながら詳述する。
図5は、図4のモーションが行われた場合の、撮像装置のX軸方向における加速度と時間の関係図の一例である。
最初に0.5秒の間、加速度a1=0.4m/s2で正方向に等加速度運動をし、そして1.5秒の間、等速度で運動する。その後に0.5秒の間、加速度a2=-0.4m/s2で負方向に等加速度運動をする。以下、適宜上記期間をT1と表記する。
次に0.5秒の間、加速度a3=-0.4m/s2で負方向に等加速度運動をし、そして0.5秒の間、等速度で運動する。その後に0.5秒の間、加速度a4=0.4m/s2で正方向に等加速度運動をする。以下、適宜上記期間をT2と表記する。
図6は、加速度と時間の関係図から、速度と時間の関係図に変換した図の一例であり、図5のデータを時間積分することで得られる。
最初に0.5秒間で速度v=0.2m/sに達し、1.5秒間等速で移動し、その後0.5秒間で静止する。次に0.5秒間で速度v=-0.2m/sに達し、0.5秒間等速で移動し、その後0.5秒間で静止する。
モーションの終了の検出は、加速度もしくは速度に基づいて行われる。具体的には図5においては、a2とa3の間の加速度が小さくなる瞬間を検知する。これはa2とa3の境界において、運動方向が180度変化するため、人が操作する以上、連続的な等加速度運動は難しいとの考えによるものである。
また、図6においては速度v=0となる点が検出されたらモーションの終了とすればよい。
図7は、速度と時間の関係図から、変位と時間の関係図に変換した図の一例であり、図6のデータを時間積分することで得られる。
モーション1での移動距離(本実施形態においては画角特定情報bに相当)は図7から明らかなように、b=0.4(m)となる。
図8は、撮像装置の移動方向がX、Y軸から角度がずれた場合の処理方法の図である。X、Y軸に近い方を距離bとするように換算することにより補正できる。
また、図示していないが、X、Yそれぞれの移動距離から軌跡のベクトルを求め、ベクトル値をXあるいはYの値に置き換えても良い。
また、モーション2での移動距離dは、図7から明らかなように、d=−0.2(m)であると求められる。移動距離dは構図(画角)の特定には用いられないが、前述したように撮影処理のトリガーとなる、中心点への移動の判定に用いることもできる。この場合、モーション2の軌跡は、モーション1の軌跡の逆方向であり、長さは半分となる。これを図示すると図9のようになり、確かに中心点に戻っていることがわかる。閾値としては例えば0.05(m)を設定したとすると、xが0.15〜0.25(m)の間で静止した場合に中心点に戻ったと判断する。この条件を一般的な式で表すと下式(1)となる。
-(b/2 + th) < d < -(b/2 - th) ・・・・・(1)
b、dは前述したように、それぞれモーション1での移動距離、モーション2での移動距離を表す(負方向の移動は負の値となる)。thは設定した閾値である。上式(1)を満たす場合に中心点に戻ったと判断し、満たさない場合は中心点ではないと判断し、警告を発する等の処理を行う。
ここで、T2の期間に行われる処理について説明する。T2は撮像装置を撮影領域の中心に持ってくるモーションの期間である。そこで、T2終了時にスムーズに撮影処理に移行できるように、構図の決定(画角をθに変更)する処理はT2の間に行われる。
図10は画角を決めるための概略図(上面図)である。
まず、撮影者から撮像装置までの距離(撮影者の腕の長さに相当)を撮影者距離情報取得部192により求める。ここではa=0.6mとする。この値は固定としても、撮影者が撮像装置を操作して入力できるようにしてもよい。また、赤外線による距離測定センサ等を用いて測定してもよい。
画角θはa及び前述の方法で求めたbから、下式(2)によって求められる。
θ=2×arctan(b/2a) ・・・・・(2)
上述したθは図10に示したように、撮影者の位置を基準とした角度である。しかし実際には撮像装置の位置を基準として画角は求められるべきであり、その場合の画角θ’は撮影者の腕の長さaの分だけ、θとは異なる値になる。
図11は画角θ’を決めるための概略図(上面図)である。
図11に示すように、θ’を求めるには、撮像装置と被写体の間の距離cを取得する必要がある。距離cは例えば図12の位相差AF手段を用いて、被写体距離情報取得部194により、下式(3)で求められる。
c=ktanα ・・・・・(3)
また、距離cは、他の撮像装置の機能から求めても、撮影者が値を設定しても良い。
a、b、cより、下式(4)あるいは(5)で画角θ’を求めることができる。
θ'=2×arctan(((a+c)tanθ/2)/c) ・・・・・(4)
θ'=2×arctan(((a+c)/c)×(b/2a)) ・・・・・(5)
なお、画角調整手段は光学ズームであっても、電子ズームであっても、画像合成であっても良い。
また、T2終了時に行われる撮影処理のシーケンスとして、自動露出(AE、Auto Exposure)、オートフォーカス(AF、Auto Focus)、オートホワイトバランス(AWB、Auto White Balance)、ストロボチャージ、シャッター操作等の各操作がある。これらの処理は撮影者が手動で行ってもよいし、撮像装置によって自動に行われてもよい。
自動で行われる場合にも、どの段階の処理まで行うかは、撮像装置の設計思想に応じて自由に変えることが考えられる。あるいは撮影者が選択できるようにしてもよい。
なぜならば以下のように自動化レベルによりそれぞれのメリットがあるからである。
まず、シャッター操作まで自動処理する場合には、撮影まで簡単に完了できるメリットがある。また、ストロボチャージまで自動処理すれば、撮影する前に画像を確認や(背面LCD等がある場合)、撮影領域の微調整ができるメリットがある。そして、撮影領域を決めるだけ(自動処理を行わない)なら、撮影領域の再設定が素早くできるメリットがある。
以上の処理の詳細を、フローチャートを用いて説明する。
図13は処理全体の流れを表したフローチャートである。この処理が開始されると、まず電源スイッチが入れられる(S301)。これは省エネルギーモード等からの復帰も含まれる。次に自動構図決定機能(本実施形態の機能)を使用するかどうかの判定を行う(S302)。自動構図決定機能を使用しない場合は、通常の撮影に移行する(S303)。
自動構図決定機能を使用する場合の処理について説明する。まず、モーションの開始を検出する(S304)。前述したように、閾値を設けて、加速度の大きさが閾値を超えたか否かで判断を行う。このステップはスタートボタンを押すことで実現してもかまわない。次にセンサ情報取得部161がセンサからの信号値を取得して、加速度の測定を行う(S305)。動き検出部169がモーションの終了(静止)を検知したら(S306)、軌跡算出部163は軌跡の算出を行う(S307)。S307の軌跡算出処理の詳細については後述する。以上が前述したモーション1に対応する部分であり、本実施形態においては、被写体の左端から右端へ撮像装置を移動させることに対応する。
次に再びモーション(モーション2)が開始されたことを検出したら(S308)、画角特定処理を行う(S309)。画角特定処理の詳細については後述する。モーション2の終了を検出したら、撮像装置100が中央に戻ってきたかどうかの判定を行う(S310)。中央でない場合は、例えば再度モーション1からやり直す。撮影者に警告等を発してもよい。
中央に戻った場合には、撮影処理(具体的にはAE、AF、AWB等)を行い(S311)、シャッターを切り(S312)、画像を記録する(S313)。そして電源がOFFにされた場合は処理を終了し、そうでない場合はS302に戻り、再度撮影を行う。
図14は軌跡算出処理S307の詳細を表したフローチャートである。この処理が開始されると、まず加速度に基づいて速度が算出される(S401)。これは具体的には図5から図6を求める処理に相当する。次に速度に基づいて軌跡を算出する。これは具体的には図6から図7(もしくは図9)を求める処理に相当する。
軌跡が求められたら、光軸方向(Z軸方向)の変位が、閾値Zth以下であるかの判定を行う(S403)。本実施形態のモーションは、理想的にはXY平面上で行われ、Z軸方向の変位は0のはずである。よってZ軸方向の変位があまりにも大きいものは、モーションではないと判断し、モーションフラグをOFFにする(S407)。
Z軸方向の変位が閾値以下であった場合は、XY平面上での軌跡を取得し(S404)、モード判定に移行する。軌跡が直線状であるか、円形状であるかの判断を行い(S405、S406)、どちらかに当てはまる場合は対応するモードのフラグをONにする(S408、S409)。どちらにも当てはまらない場合はモーションではなかったと判断し、モーションフラグをOFFにする(S407)。
このとき、どんなモーションでも必ず直線か円かに分類してしまう方法もある。その場合S406からS407へ進むことはなく、必ずS408かS409へ移行する。またここでは、軌跡の形状情報からモードを判定したが、I/F部140から撮影者があらかじめモードを入力してもよい。
次に画角特定処理S309の詳細について説明する。ここでは第1の実施形態に対応する、直進モードが選択された場合(図14において直進フラグがONになった場合)について説明する。
図15は画角特定処理S309の詳細を表したフローチャートである。この処理が開始されると、まず画角特定情報算出部165により、画角特定情報bが算出される(S501)。次に撮影者距離情報取得部192により、撮影者距離情報aが算出される(S502)。そしてaとbとから上述した式(2)を用いて画角θを決定し、画角を調整する(S503)。
図16は画角特定処理S309の他の例の詳細を表したフローチャートである。この処理が開始されると、まず画角特定情報算出部165により、画角特定情報bが算出される(S601)。次に撮影者距離情報取得部192により、撮影者距離情報aが算出される(S602)。さらに被写体距離情報取得部194により、被写体距離情報cが算出される(S603)。そしてaとbとcとから上述した式(4)もしくは(5)を用いて画角θ’を決定し、画角を調整する(S604)。
なお、撮像装置は、デジタルカメラのように携帯可能なものであっても、監視カメラのように固定カメラであっても、内視鏡や顕微鏡等のように撮像部分と操作部分が分離している撮像装置であっても良い。
図17を用いて、撮像装置が内視鏡である例について説明する。図17に示すように、内視鏡においては、撮像素子と操作部が分離している。この場合にモーションセンサが搭載されるのは操作部である。
つまり、図18に示すように、例えば右手で挿入部を操作し、左手で操作部(例えばリモコン)を操作している場合には、左手でリモコンを直線上に移動させることによって画角を調整(ズーム操作)することが可能になる。従来のシステムにおいては、リモコンを持った手でボタン操作を強いられており、ズーム操作等はわずらわしく、困難なものであったが、本実施形態によれば、直感的な動作により簡単に操作を行うことができる。
この場合、どの程度の移動距離(画角特定情報bの大きさ)がどの程度のズームに相当するのか、わかりにくい可能性がある。そこで、本実施形態と同様に被写体の左端から右端への移動により、構図を決定することが考えられる。このときの被写体とはモニターに映し出される画像を対象にすればよい。しかし内視鏡の場合、操作者と操作部と被写体が直線上に位置しない(すなわち操作者の視界に操作部が位置しない)ことも有り得る。このような場合には、モニター上にモニターに対する操作部の相対位置を示すポインタを表示し、モニター上に映し出される画像に対してポインタを見ながら操作部を左右あるいは円状に移動することで構図を決定することができる。ここで、操作部の移動量は、ポインタの動きを追跡し、この軌跡情報から画像処理を用いて求めても良いし、あるいは、操作部に載せた加速度センサからの情報を用いて求めても良い。
以上の本実施形態では、撮像装置100はモーションセンサ200を有し、モーションセンサ200からのセンサ情報を取得するセンサ情報取得部161と、センサ情報に基づいて軌跡を算出する軌跡算出部163と、算出された軌跡に基づいて画角特定情報を算出する画角特定情報算出部165と、画角特定情報に基づいて画角を調整する画角調整部180とを含む。
ここで軌跡とはモーションセンサ200の移動した経路を示すものであり、図9に対応する。また、画角特定情報とは画角(構図、ズーム倍率)を特定するための情報であり、本実施形態においては、具体的には前述した軌跡の距離情報bに相当する。
これにより、センサ情報から軌跡を、軌跡から画角特定情報を算出し、画角特定情報から画角を調整することが可能になる。よって、例えば被写体の左端から右端へ撮像装置100を移動させるような直感的な操作により、ズーム操作を行うこと等ができる。
また、画角調整部180は、モーションセンサの軌跡が撮像装置100の光軸に対して垂直(略垂直含む)である場合に、画角特定情報に基づいて画角を調整してもよい。
これにより、光軸に対して垂直な平面上でのモーションのみを検出することが可能になる。本実施形態が想定しているモーションは、撮影者にとって横又は縦の移動であり、奥に押し出したり手前に引いたりするモーションは想定していない。そのため、垂直であるかどうかの判断を行うことで、想定外の動きはモーションとして非検出にすることが可能になる。
また、画角特定情報算出部165は、モーションセンサ200の軌跡を直線として算出する直線モードにおいては、光軸に垂直な方向の軌跡における距離bを前記画角特定情報として算出する。
これにより、被写体の左端から右端へ撮像装置100を移動させるような直感的な操作から、画角を特定する情報を算出することが可能になる。
また、撮像装置100は、撮像装置100と撮影者の間の距離である撮影者距離情報aを取得する撮影者距離情報取得部192を含む。そして画角調整部180は、aとbとに基づいてθ=2×arctan(b/2a)となるθに画角を調整する。
これにより、撮影者距離情報a及び画角特定情報bを適切に取得した上で、aとbとに基づいて画角θを特定することが可能になる。よって、撮影者の位置を基準とした画角を、後述するθ’を求める場合に比べて少ない情報及び計算量に基づいて求めることができる。
また、撮像装置100は、撮像装置100と被写体の間の距離である被写体距離情報cを取得する被写体距離情報取得部194を含んでもよい。そして画角調整部180はaとbとcとに基づいてθ’=2×arctan(((a+c)/c)×(b/2a))となるθ’に画角を調整してもよい。
これにより、撮影者距離情報a、画角特定情報b及び被写体距離情報cを適切に取得した上で、aとbとcとに基づいて画角θ’を求めることが可能になる。よって、撮像装置100の位置を基準とした画角を求めることができるため、前述したθを用いた場合に比べ、より撮影者の求める構図に近い構図を設定することが可能になる。
また、撮像装置100は、動き検出部169を含む。動き検出部169は、光軸方向であるZ軸と、Z軸に垂直なX軸及びY軸の、3軸の方向でのモーションセンサの移動を、少なくとも検出する。そして、モーションセンサの軌跡のX軸方向の成分をx、Y軸方向の成分をyとしたとき、x>yの場合はb=xとし、y>xの場合はb=yとする。
これにより、本実施形態ではX軸もしくはY軸に平行なモーションを想定しているが、図8に示すように軌跡がX軸もしくはY軸に平行にならなかった場合にも、画角特定情報bを適切に算出することが可能になる。xまたはyの値を比較するだけなので、画角特定情報を少ない計算量で求められるというメリットもある。
また、動き検出部169は、前述したモーション1(構図決定モーション)及びモーション2(中心への移動及び撮影処理のトリガーとなるモーション)を検出する。そして画角調整部180は、モーション2が検出されたことを条件に、画角の調整を行う。
これにより、モーション1は画角(構図)の決定、モーション2は中心点(撮影点)への移動及び画角調整実行のトリガー、というモーションの役割の切り分けが可能になる。これは、モーションの開始と終了を適切に検出し、各モーションがどの操作を行うためのモーションであるかの判断が可能になることを意味する。
また、撮像装置100は、モーションセンサの移動開始状況・移動中状況・移動終了状況のうち、少なくとも1つの状況を入力する、状況入力部を含んでもよい。
これにより、前述したように動き検出部169によりモーションの開始や終了を検出する手法だけでなく、撮影者からボタンやレバー等を用いて明示的にモーションの開始や終了等を指示する手法を採用することも可能になる。この場合、撮影者の明示的な指示があるため、モーションの開始や終了等の検出の精度が向上することが期待できる。
2.第2の実施形態
次に、本発明の第2の実施形態を図19〜図27を用いて説明する。前述したように、第2の実施形態では、円形状のモーションを検出し、その軌跡の直径情報φを画角特定情報とすることにより、画角を調整する手法について説明する。なお、動き検出部169により閾値を用いてモーションを判断するほかに、ボタン等により撮影者側からモーションの開始・終了を指示してもよい点は第1の実施形態と同様である。
図19に示すように、3軸加速度センサあるいは3軸加速度センサとジャイロセンサを組み合わせたモーションセンサ内蔵の撮像装置を円形状(略円状含む)に移動させることで撮影範囲を設定している。次に撮影領域の中心点(略中心を含む)に撮像装置を移動して静止する。
つまり、被写体を含むような円形状の撮像装置の移動(以下、適宜モーション3と表記する)により構図(画角)を決定し、その後、中心点への移動(以下、適宜モーション4と表記する)をトリガーとして、撮影処理を行うことになる。
ここで中心点とは、第1の実施形態と同様に、撮影者が判断してもよく、また、撮像装置100の軌跡算出部163及び画角特定情報算出部165により判断されてもよい。
軌跡算出部163により判断する場合、撮像装置100はモーション3(円形状の撮像装置の移動)に対応する軌跡を記憶部150に記憶しておく。画角特定情報算出部165(狭義には直径情報算出部166)は記憶部150に記憶されたモーション3の軌跡から直径情報φを算出する。そして軌跡算出部163はモーション4(中心点への移動)に対応する軌跡を算出し、モーション4の軌跡がφの半分の長さになるような位置を中心点と判断する。中心点からずれたときに閾値判断をしたり、撮影者に警告を出したりしてもよい点は、第1の実施形態と同様である。
ジャイロセンサを採用する理由を図20及び図21に示す。撮像装置100の移動(厳密にはモーションセンサの移動)は、理想的には被写体に対して垂直な平面内で行われる。つまり、図20に示すように撮像装置100の向きを一定に保った状態で円形状に移動させる。しかし、円を描く動作を自然に行った場合、図21に示すように、ひねりの動作が入ってしまうことが考えられる。この場合には、3軸の加速度センサだけではなく、角速度を検出可能な(つまりはひねりを検出可能な)ジャイロセンサを使用することで、円形状の検出の精度を高めることが可能になる。
図22はX軸、Y軸における加速度と時間の関係を表した図の一例である。ここでは簡単のため3軸加速度センサの例のみ示す。第1の実施形態と同様に、図22を積分することで速度と時間の関係図である図23が求められ、速度と時間の関係図を積分することで変位と時間の関係図である図24が求められる。撮像装置100の軌跡は図24から求められる。
具体的な軌跡を図25に示す。軌跡が円形状(略円形状を含む)であると評価された場合には、その円の直径をφとする。例えば中心を通る弦のうち、最も長いものをφとすることが考えられる。ここで直径情報φは厳密に求める必要はない。計算量も考慮して適当な精度で求めればよい。
また、軌跡が円形状でなかった場合は、軌跡の長さ(経路距離)を円周長とするような円を考え、その円の直径を直径情報φとする。
ここで、軌跡が円形状であるか否かの判断方法としては、始点と終点の一致を判断することが考えられる。始点と終点の距離がある閾値以下であれば、始点と終点が一致したとして、その軌跡は円形状であると判断し、閾値以上であれば円形状でないと判断する。
撮影者距離情報aは第1の実施形態と同様の方法で求められる。よってaとφとから、画角θは、下式(6)で決定される。
θ=2×arctan(φ/2a) ・・・・・(6)
φは第1の実施形態における、移動距離(被写体の長さ)bに相当するものである。
また、撮像装置と被写体間の距離情報cを取得することにより撮像装置の位置を基準とした画角θ’を求めることも可能である。cの取得方法は第1の実施形態と同様である。a、φ、cから、下式(7)あるいは(8)により、θ’が決定される。
θ'=2×arctan(((a+c)tanθ/2)/c) ・・・・・(7)
θ'=2×arctan(((a+c)/c)×(φ/2a)) ・・・・・(8)
以上の処理の詳細を、フローチャートを用いて説明する。
全体の処理及び軌跡算出処理S307は第1の実施形態と同様である。ここでは軌跡算出処理S307において、円形状モードが選択された場合(円フラグがONになった場合)の画角特定処理S309の詳細について説明する。
図26は画角特定処理S309の詳細を表したフローチャートである。この処理が開始されると、まず画角特定情報算出部165の直径情報算出部166により、画角特定情報φが算出される(S701)。次に撮影者距離情報取得部192により、撮影者距離情報aが算出される(S702)。そしてaとφとから上述した式(7)を用いて画角θを決定し、画角を調整する(S703)。
図27は画角特定処理S309の他の例の詳細を表したフローチャートである。この処理が開始されると、まず画角特定情報算出部165の直径情報算出部166により、画角特定情報φが算出される(S801)。次に撮影者距離情報取得部192により、撮影者距離情報aが算出される(S802)。さらに被写体距離情報取得部194により、被写体距離情報cが算出される(S803)。そしてaとφとcとから上述した式(7)もしくは(8)を用いて画角θ’を決定し、画角を調整する(S804)。
なお、円形状として楕円が描かれた場合は、楕円の長軸を直径情報φとすることで撮影者の意図に合った撮影領域が求められる。その際、楕円の形状が横長か縦長かによって撮影装置を縦向き、横向きにするように撮影者に知らせても良い。具体的には、例えば撮像装置100のアスペクト比が16:9等の横長だった場合に、縦長の楕円が描かれたら、撮影者は縦長の被写体を撮影しようとしていると判断し、撮像装置を90度回転させるように知らせることなどが考えられる。
また、撮像装置100としてアスペクト比が1:1の撮像素子を持つものを採用してもよい。このようにすればモーションセンサの軌跡が縦長円等の場合にも、撮像装置を回転させることなく、撮影が可能になる。
以上の本実施形態では、画角特定情報算出部165は、モーションセンサの軌跡が円形状(略円形状含む)である場合に、円形状の大きさを表す情報φを画角特定情報として算出する。
これにより、画角を決定するモーションとして、直進のみならず円状のモーションも採用することが可能になる。この場合、被写体を囲むように円を描くため、被写体の幅の情報だけでなく、高さの情報もあわせて考慮することが可能になる。言い換えれば1次元的に被写体をとらえていた第1の実施形態に比べ、本実施形態では面で被写体をとらえることが可能になり、撮影者が撮りたいと考えている範囲をより直感的に指定することができる。
また、画角特定情報算出部165は、モーションセンサの軌跡が円形状(略円形状含む)である場合には、円形状の直径情報を円形状の大きさを表す情報として算出する。
これにより、軌跡が円形状である場合には直径情報を円形状の大きさを表す情報として扱うことが可能になる。なお、楕円が描かれた場合には、その楕円全体を撮影範囲に含むように画角を設定する必要があり、直径情報とは楕円の長軸となる。
また、画角特定情報算出部165は、モーションセンサの軌跡が非円形状である場合には、軌跡の経路距離(道のり)を円周長とする円を設定し、設定した円の直径を円形状の大きさを表す情報としてもよい。
これにより、円がうまく描けなかったとき(これは、撮影者がモーションを失敗した場合も考えられるし、モーションセンサがセンシングを失敗した場合も考えられる)でも、円形状の大きさを表す情報を算出することが可能になる。その際、ランダムな値を設定したり、経路距離をそのまま用いたりせず、一度円を設定し、その直径を用いることで、比較的精度の高い近似を行うことができる。
また、撮像装置100は、撮像装置100と撮影者の間の距離である撮影者距離情報aを取得する撮影者距離情報取得部192を含む。そして画角調整部180は、aとφとに基づいてθ=2×arctan(φ/2a)となるθに画角を調整する。
これにより、撮影者距離情報a及び円形状の大きさを表す情報φを適切に取得した上で、aとφとに基づいて画角θを特定することが可能になる。よって、撮影者の位置を基準とした画角を、後述するθ’を求める場合に比べて少ない情報及び計算量に基づいて求めることができる。
また、撮像装置100は、撮像装置100と被写体の間の距離である被写体距離情報cを取得する被写体距離情報取得部194を含んでもよい。そして画角調整部180はaとφとcとに基づいてθ’=2×arctan(((a+c)/c)×(φ/2a))となるθ’に画角を調整してもよい。
これにより、撮影者距離情報a、画角特定情報φ及び被写体距離情報cを適切に取得した上で、aとbとcとに基づいて画角θ’を求めることが可能になる。よって、撮像装置100の位置を基準とした画角を求めることができるため、前述したθを用いた場合に比べ、より撮影者の求める構図に近い構図を設定することが可能になる。
3.第3の実施形態
次に、本発明の第3の実施形態について説明する。前述したように、第3の実施形態では、円状のモーションを検出して、その軌跡を内接円とする四角形により、画角を調整する手法について説明する。なお、動き検出部169により閾値を用いてモーションを判断するほかに、ボタン等により撮影者側からモーションの開始・終了を指示してもよい点は第1の実施形態と同様である。
図25に示すように、3軸加速度センサあるいは3軸加速度センサとジャイロセンサを組み合わせたモーションセンサ内蔵の撮像装置を略円形状に移動させることで撮影範囲を設定し、次に撮影領域の中心点(略中心を含む)に撮像装置を移動して静止する点は、第2の実施形態と同様である。また、中心点の判断及びジャイロセンサを使用する理由も同様である。
図22はX軸、Y軸における加速度と時間の関係を表した図の一例である。ここでは簡単のため3軸加速度センサの例のみ示す。第1の実施形態と同様に、図22を積分することで速度と時間の関係図がもとめられ、速度と時間の関係図を積分することで変位と時間の関係図が求められる。撮像装置100の軌跡は変位と時間の関係図から求められる。
具体的な軌跡を図25に示す。画角特定情報算出部165(狭義には四角形情報算出部167)は、軌跡が円形状(略円形状を含む)であると評価された場合には、その円を内接円とする四角形を求める。
また、軌跡が円形状(略円形状含む)でなかった場合は、軌跡の長さ(経路距離)を円周長とするような円を考え、その円を内接円とするような四角形を求める。
ここで、軌跡が円形状であるか否かの判断方法としては、始点と終点の一致を判断することが考えられる。始点と終点の距離がある閾値以下であれば、始点と終点が一致したとして、その軌跡は円形状であると判断し、閾値以上であれば円形状でないと判断する。
四角形が求められたら、その四角形(ないしは四角形を含む領域)を撮影領域とするように画角を調整すればよい。
ただし、撮像装置100の撮像素子120によっては、撮影可能なアスペクト比が複数存在するものもある。その場合、どのアスペクト比で撮影を行うのか判断する必要がある。もちろん撮影前(モーション前)に設定しておき、設定されたアスペクト比をそのまま使うことも考えられるが、場合によっては被写体が写っていない余白部分が大きくなってしまう可能性がある。具体的には4:3のアスペクト比が選択されているときに、非常に横長の楕円が描かれた場合などは、図28に示すように上下に大きな余白ができてしまう。
そのため、複数のアスペクト比が設定可能な撮像素子120を有する撮像装置100では、画角特定情報算出部165(四角形情報算出部167)により算出された四角形のアスペクト比に応じて、撮像素子120側のアスペクト比も変更することが考えられる。具体的には図29に示すように、円状の軌跡及びその円を内接円とする四角形が求められたら、四角形のアスペクト比を算出し、算出されたアスペクト比に最も近い、撮像素子120が対応可能なアスペクト比を用いて撮影を行えばよい。また、先ほど示した図28の例においては、利用可能なアスペクト比の中でより横長のアスペクト比(具体的には例えば16:9等)を用いるようにすればよい。
以上の、第1〜第3の実施形態では、軌跡が直進か円形状かは、軌跡算出部163が算出した軌跡の形状に基づいて判断されていた。具体的には例えば、始点と終点が一致したものを円と判断し、それ以外を直進と判断する。または、軌跡の始点付近・中点付近・終点付近の3点から、3点を通る円弧を持つ円を設定し、仮の円周長を求め、仮の円周長が2m以下の場合は円と判断し、2m以上であれば直進と判断することも考えられる。
しかし、円か直進かの判断は、軌跡の形状から求められる必要はなく、I/F部140を介して撮影者が指示を行ってもよいことは当業者には容易に理解可能であろう。
以上の本実施形態では、画角特定情報算出部165(狭義には四角形情報算出部167)は、モーションセンサの軌跡が円形状(略円形状含む)である場合には、円形状を内接円とする四角形を画角特定情報として算出する。
これにより、図29に示すように、円形状の外接四角形を含む領域を画角特定情報として設定することが可能になる。外接四角形を求めるためには、xの最大値/最小値及びyの最大値/最小値を求めるだけでよく、計算量が少なくてすむというメリットがある。
また、画角特定情報算出部165は、モーションセンサの軌跡が非円形状である場合には、軌跡の経路距離(道のり)を円周長とする円を設定し、設定した円を内接円とする四角形を画角特定情報としてもよい。
これにより、円がうまく描けなかったとき(これは、撮影者がモーションを失敗した場合も考えられるし、モーションセンサがセンシングを失敗した場合も考えられる)でも、画角特定情報を算出することが可能になる。その際、ランダムな値を設定したり、経路距離をそのまま用いたりせず、一度円を設定し、その直径を用いることで、比較的精度の高い近似を行うことができる。このとき単純に真円のみを設定するのではなく、そのときの撮影モードのアスペクト比に応じた楕円を設定してもよい。例えばアスペクト比が4:3ならば、長軸:短軸=4:3となる楕円を設定する。
また、画角調整部180は、画角特定情報である四角形の情報を含めた領域を、撮影範囲とするように画角を調整する。
これにより、撮影者が円形状を意図して行ったモーションにより指定した範囲を、少なくとも含むような領域を撮影範囲とするように、画角を調整することが可能になる。
また、画角調整部180は、撮像装置が対応可能な複数のアスペクト比のうち、画角特定情報である四角形のアスペクト比に最も近いアスペクト比を撮影に用いてもよい。
これにより、図28に示すような、上下(ないしは左右)に撮影者は撮ろうとしていない大きな余白が生じてしまう事態を抑止することが可能になる。
また、撮像装置100は、モーションセンサの軌跡を直線として扱うか、円形状として扱うかの選択指示を行う選択入力部を含んでもよい。そして軌跡算出部は、直線モードではモーションセンサの軌跡を直線として算出し、円モードではモーションセンサの軌跡を円として算出する。
以上、本発明を適用した3つの実施形態1〜3及びその変形例について説明したが、本発明は、各実施形態1〜3やその変形例そのままに限定されるものではなく、実施段階では、発明の要旨を逸脱しない範囲内で構成要素を変形して具体化することができる。また、上記した各実施形態1〜3や変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、各実施形態1〜3や変形例に記載した全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施形態や変形例で説明した構成要素を適宜組み合わせてもよい。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能である。
また、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語(例えば、画角の調整等)と共に記載された用語(例えば、ズーム操作、構図の決定等)は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。
100 撮像装置、110 撮影レンズ、120 撮像素子、130 画像処理部、
140 I/F部、150 記憶部、160 モーション処理部、
161 センサ情報取得部、163 軌跡算出部、165 画角特定情報算出部、
166 直径情報算出部、167 四角形情報算出部、169 動き検出部、
170 レンズ駆動モータ、180 画角調整部、190 距離情報取得部、
192 撮影者距離情報取得部、194 被写体距離情報取得部、
200 モーションセンサ

Claims (18)

  1. モーションセンサを有する撮像装置であって、
    前記モーションセンサからのセンサ情報を取得するセンサ情報取得部と、
    取得された前記センサ情報に基づいて、前記モーションセンサの軌跡を算出する軌跡算出部と、
    算出された前記軌跡に基づいて、画角特定情報を算出する画角特定情報算出部と、
    前記画角特定情報に基づいて画角を調整する画角調整部と、
    を含むことを特徴とする撮像装置。
  2. 請求項1において、
    前記画角調整部は、
    前記モーションセンサの軌跡が撮像装置の光軸に対して垂直状態であると評価された場合に、前記画角特定情報に基づいて画角を調整することを特徴とする撮像装置。
  3. 請求項2において、
    前記画角特定情報算出部は、
    前記モーションセンサの軌跡を直線として算出する場合には、光軸に垂直な方向の軌跡における距離bを前記画角特定情報として算出することを特徴とする撮像装置。
  4. 請求項3において、
    撮影者から撮像装置までの距離aの情報を取得する撮影者距離情報取得部を含み、
    前記画角調整部は、
    画角θ=2×arctan(b/2a)
    になるように画角を調整することを特徴とする撮像装置。
  5. 請求項4において、
    撮像装置から被写体までの距離cの情報を取得する被写体距離情報取得部を含み、
    前記画角調整部は、
    画角θ'=2×arctan(((a+c)/c)×(b/2a))
    になるように画角を調整することを特徴とする撮像装置。
  6. 請求項4又は5において、
    前記モーションセンサのセンサ情報に基づいて、前記モーションセンサの動きを検出する動き検出部を含み、
    前記動き検出部は、
    光軸方向であるZ軸の方向のモーションセンサの移動と、前記Z軸に直交する、X軸及びY軸の方向でのモーションセンサの移動を少なくとも検出し、
    前記モーションセンサの軌跡の前記X軸方向での成分をx、前記Y軸方向での成分をyとした場合に、
    前記画角特定情報算出部は、
    x>yの場合は、xを画角特定情報bとし、y>xの場合は、yを画角特定情報bとすることを特徴とする撮像装置。
  7. 請求項2において、
    前記画角特定情報算出部は、
    前記モーションセンサの軌跡を円形状として算出する場合には、前記円形状の大きさを表す情報φを、前記画角特定情報として算出することを特徴とする撮像装置。
  8. 請求項7において、
    前記画角特定情報算出部は、
    前記モーションセンサの軌跡が円形状であると評価された場合に、前記円形状から円の直径情報を前記円形状の大きさを表す情報として算出することを特徴とする撮像装置。
  9. 請求項7において、
    前記画角特定情報算出部は、
    前記モーションセンサの軌跡が非円形状であると評価された場合に、軌跡の経路距離を円周長とする円を設定し、設定した前記円の直径を前記円形状の大きさを表す情報として算出することを特徴とする撮像装置。
  10. 請求項7乃至9のいずれかにおいて、
    撮影者から撮像装置までの距離aの情報を取得する撮影者距離情報取得部を含み、
    前記画角調整部は、
    画角θ=2×arctan(φ/2a)
    になるように画角を調整することを特徴とする撮像装置。
  11. 請求項10において、
    撮像装置から被写体までの距離cの情報を取得する被写体距離情報取得部を含み、
    前記画角調整部は、
    画角θ'=2×arctan(((a+c)/c)×(φ/2a))
    になるように画角を調整することを特徴とする撮像装置。
  12. 請求項2において、
    前記画角特定情報算出部は、
    前記モーションセンサの軌跡が円形状であると評価された場合に、前記軌跡である円形状を内接円とする四角形の情報を前記画角特定情報として算出することを特徴とする撮像装置。
  13. 請求項2において、
    前記画角特定情報算出部は、
    前記モーションセンサの軌跡が非円形状であると評価された場合に、軌跡の経路距離を円周長とするような円を設定し、設定した前記円を内接円とする四角形の情報を前記画角特定情報として算出することを特徴とする撮像装置。
  14. 請求項12又は13において、
    前記画角調整部は、
    前記画角特定情報である四角形の情報を含めた領域を撮影範囲とするように画角を調整することを特徴とする撮像装置。
  15. 請求項12又は13において、
    前記画角調整部は、
    前記撮像装置が対応可能な複数のアスペクト比のうち、前記画角特定情報算出部で求めた四角形の情報のアスペクト比に最も近いアスペクト比を持つ四角形を設定し、設定した四角形を撮影範囲とするように画角を調整することを特徴とする撮像装置。
  16. 請求項1乃至15のいずれかにおいて、
    前記モーションセンサのセンサ情報に基づいて、前記モーションセンサの動きを検出する動き検出部を含み、
    前記動き検出部は、
    光軸に対して垂直状態と評価された第1の軌跡上での、モーションセンサの第1の移動が終了した後、光軸に対して垂直状態と評価された第2の軌跡上での、モーションセンサの第2の移動を検出し、
    前記画角調整部は、
    前記第2の移動が検出された場合に、画角を調整することを特徴とする撮像装置。
  17. 請求項1乃至16のいずれかにおいて、
    前記モーションセンサの移動開始状況、移動中状況、移動終了状況のうち、少なくとも1つの状況を入力する状況入力部を含むことを特徴とする撮像装置。
  18. 請求項1乃至17のいずれかにおいて、
    前記モーションセンサの軌跡を直線として扱うか、円形状として扱うかの選択指示を行う選択入力部を含み、
    前記軌跡算出部は、
    直線として扱う選択がされた場合には、前記モーションセンサの軌跡を直線として算出し、円形状として扱う選択がされた場合には、前記モーションセンサの軌跡を円形状として算出することを特徴とする撮像装置。
JP2010012995A 2010-01-25 2010-01-25 撮像装置 Withdrawn JP2011151709A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010012995A JP2011151709A (ja) 2010-01-25 2010-01-25 撮像装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010012995A JP2011151709A (ja) 2010-01-25 2010-01-25 撮像装置

Publications (1)

Publication Number Publication Date
JP2011151709A true JP2011151709A (ja) 2011-08-04

Family

ID=44538289

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010012995A Withdrawn JP2011151709A (ja) 2010-01-25 2010-01-25 撮像装置

Country Status (1)

Country Link
JP (1) JP2011151709A (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014086977A (ja) * 2012-10-25 2014-05-12 Nippon Telegr & Teleph Corp <Ntt> 画像撮影装置及びその制御方法
JP2016180616A (ja) * 2015-03-23 2016-10-13 ラピスセミコンダクタ株式会社 半導体装置、携帯端末装置および運動検出方法
JPWO2015098251A1 (ja) * 2013-12-24 2017-03-23 ソニー株式会社 情報処理装置、記録媒体および情報処理方法
CN110717435A (zh) * 2019-09-30 2020-01-21 成都市喜爱科技有限公司 拍摄设备管理方法、装置、电子设备及存储介质
JP2023176050A (ja) * 2022-05-31 2023-12-13 常雄 竹内 空間に文字を書くように器具を動かすことで、動きの軌跡を取得し、文字認識の後文字入力する方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014086977A (ja) * 2012-10-25 2014-05-12 Nippon Telegr & Teleph Corp <Ntt> 画像撮影装置及びその制御方法
JPWO2015098251A1 (ja) * 2013-12-24 2017-03-23 ソニー株式会社 情報処理装置、記録媒体および情報処理方法
JP2016180616A (ja) * 2015-03-23 2016-10-13 ラピスセミコンダクタ株式会社 半導体装置、携帯端末装置および運動検出方法
CN110717435A (zh) * 2019-09-30 2020-01-21 成都市喜爱科技有限公司 拍摄设备管理方法、装置、电子设备及存储介质
CN110717435B (zh) * 2019-09-30 2023-04-14 成都市喜爱科技有限公司 拍摄设备管理方法、装置、电子设备及存储介质
JP2023176050A (ja) * 2022-05-31 2023-12-13 常雄 竹内 空間に文字を書くように器具を動かすことで、動きの軌跡を取得し、文字認識の後文字入力する方法

Similar Documents

Publication Publication Date Title
EP2563009B1 (en) Method and electric device for taking panoramic photograph
US11252321B1 (en) Method and apparatus for selecting multiple directions of interest
JP2010183150A (ja) 定点撮影が可能なカメラ
JP2008035308A (ja) 電子カメラ及びレンズユニット
US20170111574A1 (en) Imaging apparatus and imaging method
JP2011151709A (ja) 撮像装置
JP2007104198A (ja) 撮像装置およびプログラム
US20080266405A1 (en) Imaging apparatus
JP5724057B2 (ja) 撮像装置
JP2011166497A (ja) 撮像装置
JP5917061B2 (ja) 撮像装置及びその制御方法、プログラム、並びに記憶媒体
JP2006343645A (ja) 像ぶれ補正装置、光学機器、カメラおよび撮影レンズ
JP2010026057A (ja) 光学装置
JP2009130592A (ja) カメラ
JP2012253451A (ja) 撮像装置及びプログラム
JP6836306B2 (ja) 撮像制御装置、その制御方法、プログラム及び記録媒体
TWI639338B (zh) 影像擷取裝置及其影像平順縮放方法
JP2011234310A (ja) 撮像装置
JP5027029B2 (ja) 拡大表示機能付きカメラおよびカメラの制御方法
JP6455139B2 (ja) 撮影システム
US20240048837A1 (en) Image pickup apparatus
JP2013128165A (ja) 撮像装置
JP2011043764A (ja) 撮像装置及び撮像装置の制御方法
US20230305294A1 (en) Control apparatus, lens apparatus, image pickup apparatus, camera system, control method, and storage medium
US20240019661A1 (en) Lens apparatus and image pickup apparatus

Legal Events

Date Code Title Description
A300 Application deemed to be withdrawn because no request for examination was validly filed

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20130402