JP2021192492A - 電子機器およびその制御方法ならびにプログラム - Google Patents
電子機器およびその制御方法ならびにプログラム Download PDFInfo
- Publication number
- JP2021192492A JP2021192492A JP2020098884A JP2020098884A JP2021192492A JP 2021192492 A JP2021192492 A JP 2021192492A JP 2020098884 A JP2020098884 A JP 2020098884A JP 2020098884 A JP2020098884 A JP 2020098884A JP 2021192492 A JP2021192492 A JP 2021192492A
- Authority
- JP
- Japan
- Prior art keywords
- image
- display
- subject
- electronic device
- angle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims description 50
- 238000003384 imaging method Methods 0.000 claims abstract description 27
- 230000008569 process Effects 0.000 claims description 36
- 230000003287 optical effect Effects 0.000 claims description 24
- 230000007246 mechanism Effects 0.000 claims description 11
- 238000001514 detection method Methods 0.000 claims description 5
- 230000006641 stabilisation Effects 0.000 claims description 5
- 238000011105 stabilization Methods 0.000 claims description 5
- 230000001133 acceleration Effects 0.000 description 6
- 230000008859 change Effects 0.000 description 6
- 230000005484 gravity Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 230000006866 deterioration Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 101100507312 Invertebrate iridescent virus 6 EF1 gene Proteins 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/682—Vibration or motion blur correction
- H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/682—Vibration or motion blur correction
- H04N23/685—Vibration or motion blur correction performed by mechanical compensation
- H04N23/687—Vibration or motion blur correction performed by mechanical compensation by shifting the lens or sensor position
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
- H04N9/73—Colour balance circuits, e.g. white balance circuits or colour temperature control
Abstract
【課題】被写体が画角からはみ出す程度に移動する場合であっても、被写体の捕捉を容易にすることが可能な電子機器を提供する。【解決手段】開示に係る電子機器は、第1の画像を取得する第1の撮像手段と、第1の画像よりも画角の広い第2の画像を取得可能な第2の撮像手段と、ユーザの一方の目に対応する第1の表示手段とユーザの他方の目に対応する第2の表示手段とのそれぞれに対し、第1の画像又は第2の画像に基づく画像を表示するように制御する制御手段と、を有し、制御手段は、第1の画像から被写体が存在しなくなった場合、第2の画像を第1の表示手段と第2の表示手段の少なくともいずれかに表示させる。【選択図】図2
Description
本発明は、電子機器およびその制御方法ならびにプログラムに関する。
従来、観察対象(被写体)を撮像素子を用いて撮像し、撮像により得られた画像を表示することで遠方の被写体を観察可能にする、例えば電子双眼鏡などの電子機器が知られている。
このような電子機器では、小さく被写体が揺れ動く場合や手振れが生じる場合には、表示される画像内の被写体の位置が移動して被写体を観察し難くなる。このような課題に対し、特許文献1では、2つの撮像部と2つの表示部を持つ電子双眼鏡において、センサ信号に基づいて筐体の動きの変化を補正した画像を表示する技術を提案している。
ところで、画角の外に移動するような被写体の動きによりユーザが当該被写体を見失ってしまうと、電子双眼鏡を覗いたまま被写体を探すことは困難である。この場合、ユーザは、いったん電子双眼鏡から目を離して肉眼で被写体位置を特定し、再度双眼鏡を覗くといった動作を行う必要がある。
本発明は、上記課題に鑑みてなされ、その目的は、被写体が画角からはみ出す程度に移動する場合であっても、被写体の捕捉を容易にする技術を実現することである。
この課題を解決するため、例えば本発明の電子機器は以下の構成を備える。すなわち、第1の画像を取得する第1の撮像手段と、前記第1の画像よりも画角の広い第2の画像を取得可能な第2の撮像手段と、ユーザの一方の目に対応する第1の表示手段と前記ユーザの他方の目に対応する第2の表示手段とのそれぞれに対し、前記第1の画像又は前記第2の画像に基づく画像を表示するように制御する制御手段と、を有し、前記制御手段は、前記第1の画像から被写体が存在しなくなった場合、前記第2の画像を前記第1の表示手段と前記第2の表示手段の少なくともいずれかに表示させる、ことを特徴とする。
本発明によれば、被写体が画角からはみ出す程度に移動する場合であっても、被写体の捕捉を容易にすることが可能になる。
(実施形態1)
以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。
以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。
以下では電子機器の一例として、複数の撮像部により画角の異なる画像を撮像可能な電子双眼鏡を用いる例を説明する。しかし、本実施形態は、電子双眼鏡に限らず、複数の撮像部により画角の異なる画像を撮像可能な他の機器にも適用可能である。これらの機器には、例えば、眼鏡型の情報端末、デジタルカメラ、スマートフォンを含む携帯電話機、ゲーム機、タブレット端末、内視鏡や手術用の医療機器などが含まれてよい。
(電子双眼鏡100の構成)
図1は、本実施形態の電子機器の一例としての電子双眼鏡100の機能構成例を示すブロック図である。なお、図1に示す機能ブロックの1つ以上は、ASICやプログラマブルロジックアレイ(PLA)などのハードウェアによって実現されてもよいし、CPUやMPU等のプログラマブルプロセッサがソフトウェアを実行することによって実現されてもよい。また、ソフトウェアとハードウェアの組み合わせによって実現されてもよい。
図1は、本実施形態の電子機器の一例としての電子双眼鏡100の機能構成例を示すブロック図である。なお、図1に示す機能ブロックの1つ以上は、ASICやプログラマブルロジックアレイ(PLA)などのハードウェアによって実現されてもよいし、CPUやMPU等のプログラマブルプロセッサがソフトウェアを実行することによって実現されてもよい。また、ソフトウェアとハードウェアの組み合わせによって実現されてもよい。
電子双眼鏡100の前面には、左側のレンズ101Lと右側のレンズ101Rとが所定の間隔をあけて配置されている。左側の撮像部102Lと右側の撮像部102Rはそれぞれ、レンズ101L或いはレンズ101Rを通過した被写体像を撮像し、画像信号を出力する。レンズ101Lとレンズ101Rはそれぞれ複数枚のレンズで構成されてよい。例えば、フォーカス調整は、複数のレンズ内のフォーカスレンズを光軸に沿って移動させることによって実現される。また、レンズ101Lとレンズ101Rは、いくつかのレンズ群が移動することで焦点距離が可変となるズームレンズを含む。なお、レンズ101Lとレンズ101Rの焦点距離は独立して変更可能であるため、それぞれの焦点距離は同一にも異なるようにも制御され得る。なお、以下の説明では、レンズ101Lとレンズ101Rは、焦点距離が可変であるズームレンズを備える場合を例に説明するが、焦点距離が固定である単焦点レンズを備えるように構成されてもよい。
撮像部102Lと撮像部102Rは、例えばCMOS(Complementary Metal Oxide Semiconductor)型などのイメージセンサ(撮像素子)を含み、撮像した画像信号を出力する。イメージセンサは、CCD(Charge Coupled Devices)などの他の各種イメージセンサで構成されてもよい。また、撮像部102Lと撮像部102Rはそれぞれのイメージセンサに適した読み出し回路なども備える。撮像部102Lと撮像部102Rとは、焦点距離が異なる状態のレンズ101Lとレンズ101Rを通過した被写体像を画像として取得するため、画角の異なる画像を取得可能である。
リニアモーター103Lとリニアモーター103Rは、それぞれレンズ101Lとレンズ101Rのレンズを移動させることができ、フォーカス調整やズーム駆動を行う。リニアモーター103Lとリニアモーター103Rに分けることで、左右のレンズのズーム倍率を個別に変更可能である。
制御部104は、1つ以上のプロセッサ、RAMおよびROMを含み、1つ以上のプロセッサがROMに記憶されたプログラムをRAMに展開、実行することにより、電子双眼鏡100の各種処理を実行する。例えば、撮像部102Lで取得(撮像)された取得画像と撮像部102Rで取得された取得画像とが同じ画角となるようにクロップ処理を行い、クロップ処理した画像を表示部107Lと107Rの少なくとも一方(例えば両方)に表示させる。また、制御部104は、レンズ101Lとレンズ101Rが駆動中である場合など、所定の条件下においても表示部107Lと107Rに対する表示を制御する。なお、クロップ処理や表示制御の詳細については後述する。
制御部104は、撮像部102Lと撮像部102Rで撮影された画像を用いて、画角内に被写体を捕捉しているか否かの判定や、ホワイトバランス調整処理を行う。また、制御部104は、ジャイロセンサ105Lとジャイロセンサ105R、及び加速度センサ106Lと加速度センサ106Rからの情報に基づいて撮像部における手振れ量を算出する。また、不図示の光軸制御部によりレンズ101L,レンズ101Rの光軸を制御することで手振れ補正を行うことができる。
表示部107Lと表示部107Rはそれぞれ表示パネルを含み、それぞれの表示部はユーザの左目及び右目と対応する。それぞれの表示部は、制御部104の指示に応じて、撮像部102Lや撮像部102Rで撮像された画像等を表示する。表示部107Lと表示部107Rは可動部108に取り付けられている。可動部108は、表示部107Lと表示部107Rの位置を人の左右の目の間隔に合わせられるように、スライドもしくは電子双眼鏡100が線対称に曲がるように構成される。
測距部109は、電子双眼鏡100から被写体までの距離を測定するユニットである。状態切り替え部110は、後述するマニュアル操作により被写体を捕捉中であるか否かを切り替えたり、表示部107Lと表示部107Rへの表示内容をユーザが切り替え可能に構成されている。例えば、状態切り替え部110が押しボタンスイッチで構成される場合、所定期間内に1回押された場合は被写体捕捉情報の切り替えを行い、所定期間内に2回連続で押された場合は表示部107Lと107Rの表示内容切り替えを行うことができる。
(表示制御処理の一連の動作)
次に、図2を参照して、電子双眼鏡100における表示部107Lと表示部107Rの表示を制御する表示制御処理について説明する。本実施形態の表示制御処理では、前述したレンズ101Rのズーム倍率は光学ズーム機構により制御される。一方、レンズ101Lの画角はレンズ101Rよりも画角が広くなるように制御され、光学ズームは行われない場合を例に説明する。なお、本処理は、制御部104の1つ以上のプロセッサがROMに記憶されたプログラムをRAMに展開、実行することにより、実現される。
次に、図2を参照して、電子双眼鏡100における表示部107Lと表示部107Rの表示を制御する表示制御処理について説明する。本実施形態の表示制御処理では、前述したレンズ101Rのズーム倍率は光学ズーム機構により制御される。一方、レンズ101Lの画角はレンズ101Rよりも画角が広くなるように制御され、光学ズームは行われない場合を例に説明する。なお、本処理は、制御部104の1つ以上のプロセッサがROMに記憶されたプログラムをRAMに展開、実行することにより、実現される。
ステップS200では、制御部104は、レンズ101Rにおいてズーム駆動中(すなわち光学ズーム機構によりズームレンズを駆動中)であるか否かを判定する。制御部104は、例えば、レンズ101Rのズーム状態を取得して、ズーム駆動中であると判定した場合はステップS204へ処理を進め、ズーム駆動中でないと判定した場合はステップS201へ処理を進める。
ステップS201では、制御部104は、光学ズーム機構を搭載しているレンズ101Rを通して取得した画像が、被写体を捕捉しているか否かを判定する。この判定は、例えば、当該画像に被写体が存在するか否か或いは被写体が存在しなくなったかを判定することにより行うことができる。制御部104は、この判定を、例えば画像認識処理により画像内の被写体を認識できたか否かにより自動で判定する。或いは、制御部104は、ユーザがレンズ101Rを通して取得した画像を確認したうえで行われる、状態切り替え部110に対するマニュアル操作入力を用いて判定するようにしてもよい。制御部104は、画像が被写体を捕捉していると判定した場合はステップS202へ処理を進め、そうでないと判定した場合はステップS203へ処理を進める。
ステップS202では、制御部104は、被写体を捕捉している状態の(それぞれの)画像を表示部107Lと表示部107Rに表示する。本ステップの表示方法について、図3を参照して説明する。
図3に示す取得画像200Lは撮像部102Lで取得された画像を表し、取得画像200Rは撮像部102Rで取得された画像を表している。上述のように、レンズ101Lの画角がレンズ101Rの画角に対して広角になるように制御されるため、取得画像200Lの方が取得画像200Rよりも被写体が小さくなる。
制御部104は、取得画像200Lの一部の領域202についてクロップ処理を行って、表示画像201Lを生成し、表示部107Lに表示する。表示画像201Rは、取得画像200Rの画像と同一であり、取得画像200Rがそのまま表示部107Rに表示される。なお、制御部104によるクロップ処理の詳細は、図6を参照して後述する。クロップ処理により、表示画像201Lと201Rの画角が略同一となるように制御される。
ステップS203では、制御部104は、ステップS202の状態から被写体を見失っているため、撮像部102Lの画像を表示部107L及び表示部107Rに表示する。本ステップの具体的な表示方法について、図4を参照して説明する。
取得画像300Lは撮像部102Lで取得された画像を表し、取得画像300Rは撮像部102Rで取得された画像を表している。このとき、光学ズームをしているレンズ101Rを通した取得画像300Rでは被写体を捕捉していないため、取得画像300Rには被写体が存在していない。一方、レンズ101Lを通した画像は広角で撮像されているため、取得画像300L上には被写体が存在している。
このため、制御部104は、取得画像300Lをそのまま表示画像301Lとして表示部107Lに表示する。一方、制御部104は、(取得画像300Rに代えて)取得画像300Lをそのまま表示部107Rに表示させる。このとき、制御部104は、表示画像301Rがレンズ101Rを通して取得した画像でないことを表すように、表示画像301Rに現在の光学ズームの倍率枠302を表示してもよい。
このように、光学ズームを行っているレンズ101Rの画角で被写体を捕捉していないときは、より広角であるレンズ101Lを通して取得された画像を表示部107Lと表示部107Rの両方に表示する。このようにすることで、ユーザは表示部107L、107Rを覗いたまま被写体を見つけることができる。なお、上述の説明では取得画像300Lを両方の表示部に表示するようにしているが、いずれか一方に(例えば表示部107L)のみに表示するようにしてもよい。
ステップS204では、制御部104は、ユーザが光学ズーム機構によりレンズ101Rをズーム駆動をしているため、撮像部102Rの画像を表示部107L及び表示部107Rに表示する。図5を参照して、ステップS204の表示方法について説明する。
なお、図5に示す取得画像400Lは撮像部102Lで取得された画像を表し、取得画像400Rは撮像部102Rで取得された画像を表している。
レンズ101Rにおいてズームレンズを駆動中(ズーム駆動中)である場合、取得画像400Rにおける被写体の大きさが変化する。このため、制御部104は、取得された取得画像400Rをそのまま表示画像401L及び表示画像401Rとして表示部107Lと表示部107Rに表示し、取得画像400Lは表示用に使用しない。このように、ズーム駆動中である場合には、ズームレンズを駆動中に取得された取得画像400Rをそれぞれの表示部に表示させることで、代わりにリアルタイムでクロップ処理を行う場合と比べて像ずれや遅延を低減することができる。このため、ユーザは表示画像を所望の画角に設定しやすくなる。
なお、上述のステップS202〜S204では、画像を表示する際にホワイトバランス処理や手振れ補正処理などの所定の画像処理を適用してよい。ここでは、本実施形態に特に関連する事項について説明するものとし、画像処理についての一般的な説明は省略するが、記載された事項のみに限定されるものではない。
ホワイトバランス処理を行う場合、撮像側と表示側の特性の組み合わせに基づき、画像信号を調整しなければならない。つまり、撮像部のイメージセンサにおける色感度比の製造ばらつきと表示パネルの色発光効率の製造ばらつきとの両方を考慮して画像を補正しなければならない。
上述のステップS202における処理では、一方では撮像部102Lと表示部107Lの組み合わせにおいて適切な調整係数を使用し、他方では撮像部102Rと表示部107Rの組み合わせで適切な調整係数を使用して、ホワイトバランス調整を行う。
ステップS204では、一方は撮像部102Rと表示部107Lの組み合わせとなり、他方は撮像部102Rと表示部107Rの組み合わせとなる。つまり、ステップS202とは異なる撮像部と表示部の組み合わせになるため、調整係数も異なる値が用いられる。
また、手振れ補正についても同様である。すなわち、レンズ101L、レンズ101Rにおけるズーム比や左右それぞれのジャイロセンサ105L及びジャイロセンサ105R、加速度センサ106L及び加速度センサ106Rの組み合わせに応じて、手ぶれ補正を行う。すなわち、レンズ101Lの光軸とレンズ101Rの光軸の制御を独立して調整することで手振れ補正を行う。
(クロップ処理に係る一連の動作)
更に、上述したS202におけるクロップ処理についてより詳細に説明する。なお、ここでは、レンズ101Rと101Lを介した取得画像を比較しながらクロップする方法について説明する。本処理は、制御部104の1つ以上のプロセッサがROMに記憶されたプログラムをRAMに展開、実行することにより、実現される。
更に、上述したS202におけるクロップ処理についてより詳細に説明する。なお、ここでは、レンズ101Rと101Lを介した取得画像を比較しながらクロップする方法について説明する。本処理は、制御部104の1つ以上のプロセッサがROMに記憶されたプログラムをRAMに展開、実行することにより、実現される。
ステップS600では、制御部104は、ステップS202(図2)で得られた取得画像200Lと取得画像200Rから被写体のエッジ部を特徴点として抽出する。例えば、図7には、取得画像200L及び取得画像200Rの特徴点を抽出した場合の画像例を模式的に示している。この例では、検出された特徴点を黒点で示している。
ステップS601では、制御部104は、特徴点を結ぶことで形成される領域の面積から面積比を算出する。この面積比は、基準画像を取得画像200Rとした場合、取得画像200Lをクロップした後の拡大率に相当する。なお、制御部104は、算出した拡大率から、取得画像200Lにおいてクロップする領域の大きさも決定する。
ステップS602では、制御部104は、特徴点を結ぶことで形成される領域の重心位置をそれぞれ算出する。図7に示す例では、重心位置を×印で示す。制御部104は、更に、それぞれの重心位置の差を算出し、取得画像200Lの中心座標と「重心位置の差」からクロップ位置を決定する。
ステップS603では、制御部104は、測距部109からの距離情報に基づいてクロップ位置を補正する。このようにするのは、ステップS602で決定したクロップ位置により概ね左右の画像を一致させることができるものの、実際には被写体までの距離によりクロップ位置を補正する必要があるためである。
図8には、被写体距離と左右の撮像部における被写体位置のシフト量の関係を示している。図8に示す破線は、それぞれ、レンズ101Lの光軸中心とレンズ101Rの光軸中心である。基準画像は取得画像200Rであり、撮像部102Rで撮像される被写体の位置は、被写体までの距離に依らず常に光軸と一致している。一方、撮像部102Lで撮像される被写体の位置は、被写体距離に応じて光軸上からシフトする。図8では、シフト量を矢印で示しており、被写体までの距離が近いほどシフト量が大きくなる。
したがって、ステップS602で算出した位置でクロップし表示することは、(被写体距離に応じたシフト量が考慮されていないため、実際と異なり)被写体が常に左右の撮像部の光軸上に存在することになる。すなわち、被写体までの距離や立体感が実際とは異なって見えてしまう。
そこで、制御部104は、ステップS602で決定したクロップ位置からシフト量の分(図8で示した矢印の分)だけ位置を補正する。具体的には、制御部104は、測距部109により検出される被写体までの距離とレンズ101L及びレンズ101Rの基線長と焦点距離から公知の三角測量方式を用いて、シフト量を算出する。
ステップS604では、制御部104は、取得画像200Lからクロップする画像を抜き出し、抜き出した画像に拡大処理を施す。例えば、制御部104は、ステップS601〜S603の動作で算出したクロップ位置と拡大率に基づいて、取得画像200Lに対して画像を抜き出す処理と拡大処理とを行う。
ステップS605では、制御部104は、抜き出して拡大した画像を表示部107Lに表示する。制御部104は、その後、本処理を終了し、呼び出し元であるS202に戻る。
このように、本実施形態に係るクロップ処理では、取得画像200Lと取得画像200Rとを比較してクロップ位置を算出し、更に被写体距離に応じたシフト量によりクロップ位置を補正する。このようにすることでユーザに対して違和感の低減されたクロップ画像を表示することができる。
なお、制御部104は、上述したクロップ処理とは別の方法でクロップを行ってもよい。例えば、まず、電子双眼鏡100の製造時にズーム位置に対応したクロップ倍率とクロップ位置の関係を予め測定し、測定したデータを例えばROM等に記憶させる。そして、電子双眼鏡100を使用される際に、制御部104は、ズーム位置情報に対するクロップ倍率とクロップ位置を読み出して画像処理を行う。この場合、例えばレンズ101Lとレンズ101Rにポテンショメーターを取り付けることでズーム位置を検出できる構成とすればよい。この構成では、上述した画像を比較することでクロップ処理する方法に比べて、制御部104の負荷を軽減でき、消費電力を軽減する効果が期待できる。
一方、実際には使用環境下での温度や湿度によりレンズの光学特性(倍率やレンズ光軸中心など)が変化するため、画像を比較するクロップ処理ではより正確な表示を行うことができる。
(実施形態1の変形例)
上述の実施形態1では、制御部104は、ズーム駆動中には広角で撮影した画像を、左右の表示部に表示するようにした。このように表示することは図8で説明したように被写体までの距離や立体感が低減してしまう場合がある。そこで、ズーム駆動中においてもクロップ処理を行うようにすることで、左右の表示の違和感を軽減するようにしてもよい。また、ズーム駆動中には、(被写体の変化により)表示誤差の許容幅が大きくなることが考えられる。このため、例えば、上述した、制御部104の処理負荷が少ない「予め記憶しておいた倍率と位置」に基づいてクロップ処理を行う方法を用いてることで、高速かつ十分な表示品質で表示画像を提供可能になる。
上述の実施形態1では、制御部104は、ズーム駆動中には広角で撮影した画像を、左右の表示部に表示するようにした。このように表示することは図8で説明したように被写体までの距離や立体感が低減してしまう場合がある。そこで、ズーム駆動中においてもクロップ処理を行うようにすることで、左右の表示の違和感を軽減するようにしてもよい。また、ズーム駆動中には、(被写体の変化により)表示誤差の許容幅が大きくなることが考えられる。このため、例えば、上述した、制御部104の処理負荷が少ない「予め記憶しておいた倍率と位置」に基づいてクロップ処理を行う方法を用いてることで、高速かつ十分な表示品質で表示画像を提供可能になる。
以上説明したように、本実施形態では、第1の画像と、第1の画像よりも画角の広い第2の画像とを取得し、2つの表示部のそれぞれに対し、第1の画像又は第2の画像に基づく画像を表示するように制御する。特に、画角の狭い第1の画像から被写体が存在しなくなった場合、画角の広い第2の画像を2つの表示部の少なくともいずれかに表示させる。このようにすることで、被写体が画角からはみ出す程度に移動する場合であっても、被写体の捕捉を容易にすることが可能になる。
(実施形態2)
次に、実施形態2について説明する。実施形態2では、レンズ101Lにおいても光学ズームの制御が可能である点が実施形態1と異なる。また、本実施形態では、被写体が捕捉されているかを判定する際に、取得画像において主被写体が安定して存在することを検出するように被写体補足タイマーを用いる。この被写体捕捉タイマーは、制御部104の内部に構成されてよく、被写体が画像の所定範囲に存在していることを検出したらタイマーをスタートする。そして、被写体が安定して所定範囲内に存在しているかどうかを、一定時間にわたって被写体を検出し続けるか否かにより判定する。この被写体捕捉タイマーを用いる捕捉安定検出処理により、制御部104は、動きの速い被写体が一瞬だけ所定範囲内に存在しているのか、安定して被写体を捕捉し続けることができているのかを判別することが可能となる。
次に、実施形態2について説明する。実施形態2では、レンズ101Lにおいても光学ズームの制御が可能である点が実施形態1と異なる。また、本実施形態では、被写体が捕捉されているかを判定する際に、取得画像において主被写体が安定して存在することを検出するように被写体補足タイマーを用いる。この被写体捕捉タイマーは、制御部104の内部に構成されてよく、被写体が画像の所定範囲に存在していることを検出したらタイマーをスタートする。そして、被写体が安定して所定範囲内に存在しているかどうかを、一定時間にわたって被写体を検出し続けるか否かにより判定する。この被写体捕捉タイマーを用いる捕捉安定検出処理により、制御部104は、動きの速い被写体が一瞬だけ所定範囲内に存在しているのか、安定して被写体を捕捉し続けることができているのかを判別することが可能となる。
なお、本実施形態に係る電子双眼鏡100の他の構成は実施形態1と同一又は実質的に同一である。従って、同一又は実質的に同一である構成については同一の参照符号を付してその説明を省略し、相違点について重点的に説明する。
(表示制御処理の一連の動作)
図9を参照して、本実施形態に係る、表示部107Lと表示部107Rの表示を制御する表示制御処理について説明する。なお、本実施形態における表示制御処理は、実施形態1と同様、制御部104の1つ以上のプロセッサがROMに記憶されたプログラムをRAMに展開、実行することにより、実現される。
図9を参照して、本実施形態に係る、表示部107Lと表示部107Rの表示を制御する表示制御処理について説明する。なお、本実施形態における表示制御処理は、実施形態1と同様、制御部104の1つ以上のプロセッサがROMに記憶されたプログラムをRAMに展開、実行することにより、実現される。
まず、制御部104は、実施形態1と同様にステップS200〜S204の処理を実行し、ズーム駆動状態或いは被写体の捕捉状態に応じて表示制御を行う。
ステップS901では、制御部104は、ステップS202で撮像部102Lの画像をクロップした画像を表示部107Lに表示した後に、捕捉安定検出手段としての被写体捕捉タイマーに所定時間をセットする。なお、所定時間は(例えば3秒などの)予め設定された値を用いてもよいし、ユーザが変更できるようにしてもよい。
なお、制御部104は、ステップS201で被写体を捕捉したことをきっかけにステップS901に移行し、同時にステップS202を実行してもよい。
ステップS902では、制御部104は、タイマーをカウントダウンしていく。そして、ステップS903では、制御部104は、タイマーの値がゼロであるかを判定し、タイマーがゼロであると判定した場合にはステップS904へ処理を進める。一方、タイマーがゼロでないと判定した場合、処理をステップS902へ戻す。すなわち、制御部104は、タイマーの値がゼロになるまで、ステップS902のカウントダウンを繰り返し、タイマーの値がゼロになったら、ステップS904へ進む。
ステップS904では、制御部104は、レンズ101Lをズーム駆動しながら、撮像部102Lの画像のクロップサイズを変更し、クロップした画像を表示部107Lに表示する。このとき、制御部104は、表示部107Lに表示された被写体のサイズが維持されるように、ズーム駆動とクロップサイズの変更を連動させる。このようにすることで、表示部の画像を見ているユーザに違和感を与えずに、ズーム倍率を上げていくことが可能になる。レンズ101Lとレンズ101Rのズーム倍率が同じになるまで、レンズ101Lのズーム駆動とクロップサイズの変更を継続する。制御部104は、レンズ101Lとレンズ101Rのズーム倍率が同じになったら、その状態での表示を継続する。
更に、図10を参照して、ステップS904における表示制御について説明する。ステップS904の最初では、取得画像200Lは撮像部102Lで取得された画像であり、また、取得画像200Rは撮像部102Rで取得された画像である。レンズ101Lを通した画像はレンズ101Rを通した画像よりも広角であるため、取得画像200Lの被写体の方が取得画像200Rの被写体よりも小さい。この状態で、制御部104がレンズ101Lを(2つの取得画像の画角が近づくように)ズーム駆動すると、被写体が拡大されて、取得画像200Lは取得画像1000になる。このとき、制御部104が、同時にクロップサイズも領域1002に変更すると、表示画像は1001になる。このとき、更に、制御部104は、被写体のサイズが取得画像200Lと同じになるようにクロップサイズを調整する。このようにすれば、表示画像1001は表示画像201Lに比べて、クロップの拡大倍率が低下するため、クロップにより画像の解像度が粗くなる割合を下げて、画質の低下を抑制することができる。
その後、制御部104は、ズーム倍率をさらに上げていくことで、取得画像1000の被写体サイズを取得画像200Rと同等になるまで拡大していく。このように、安定的に被写体を捕捉できる場合には、表示画像201Lをクロップしないで済むため、クロップによる画質の低下を防ぐことができる。
以上説明したように、本実施形態では、取得画像200Lからクロップ処理した表示画像を表示した後、レンズ101Lのズーム駆動とクロップサイズを連続して変更することで、表示画像201Lのクロップ処理による画質の低下を防ぐすることができる。
なお、本実施形態では、レンズ101Lのズーム駆動とクロップサイズを連続して変更する場合を例に説明した。しかし、表示画像201Lを一時的にメモリに保持し、その画像を一定時間(例えば0.1秒間)保持し続け、連続ではなく、ステップ状に表示画像を変更してもよい。このようにすれば、レンズ101Lを速くかつ大きくズーム駆動し、ズーム駆動の通過地点のズーム倍率を予測してクロップサイズを決めてクロップ処理を行うことができる。換言すれば、レンズのズーム駆動完了までの時間を短縮することも可能である。
また、本実施形態では、捕捉安定検出処理として被写体捕捉タイマーを用いる場合を例に説明した。しかし、この例に限らず、被写体が安定して画像の所定範囲内に存在していることを検出できれば、他の方法を用いてもよい。例えば、不図示の加速度センサーを電子双眼鏡100に搭載し、加速度がほぼゼロになったら被写体を捕捉したと判定してもよい。或いは、制御部104により画像識別を連続して実行し、連続した識別結果に基づいて安定した被写体の存在を判定してもよい。
更に、実施形態1および2ではレンズ101Rにおけるズームが光学ズームである場合を例に説明したが、光学ズームに限らず電子ズーム(クロップ処理)としてもよい。
(その他の実施形態)
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。
101R、101L…レンズ、102R、102L…撮像部、104…制御部、107R、107L…表示部
Claims (16)
- 第1の画像を取得する第1の撮像手段と、
前記第1の画像よりも画角の広い第2の画像を取得可能な第2の撮像手段と、
ユーザの一方の目に対応する第1の表示手段と前記ユーザの他方の目に対応する第2の表示手段とのそれぞれに対し、前記第1の画像又は前記第2の画像に基づく画像を表示するように制御する制御手段と、を有し、
前記制御手段は、前記第1の画像から被写体が存在しなくなった場合、前記第2の画像を前記第1の表示手段と前記第2の表示手段の少なくともいずれかに表示させる、ことを特徴とする電子機器。 - 前記制御手段は、前記第1の画像に前記被写体が存在する場合、前記第1の画像を前記第1の表示手段に表示させ、前記被写体を含む前記第2の画像の一部を前記第2の表示手段に表示させる、ことを特徴とする請求項1に記載の電子機器。
- 前記制御手段は、前記第1の画像と前記第2の画像の一部とが略同一の画角となるように、前記第2の画像の一部を前記第2の表示手段に表示させる、ことを特徴とする請求項2に記載の電子機器。
- 前記制御手段は、前記電子機器に対して所定の操作が行われている場合、前記第1の画像に前記被写体が存在するか否かに関わらず、前記第1の画像を前記第1の表示手段と前記第2の表示手段とに表示させる、ことを特徴とする請求項2又は3に記載の電子機器。
- 前記第1の撮像手段は、取得される前記第1の画像の画角を変更可能なズーム機構を有し、
前記所定の操作は、前記ズーム機構により取得される画像の画角を変更する操作である、ことを特徴とする請求項4に記載の電子機器。 - 前記第1の撮像手段と前記第2の撮像手段のうちの少なくとも一方は、取得される画像の画角を変更可能なズーム機構を有する、ことを特徴とする請求項1から4のいずれか1項に記載の電子機器。
- 前記第2の画像の所定範囲に被写体が所定期間にわたって存在することを検出する検出手段を更に備え、
前記制御手段は、前記検出手段により前記第2の画像の前記所定範囲に被写体が前記所定期間にわたって存在することが検出された場合、前記第1の画像の画角と前記第2の画像の画角とが近づくように前記ズーム機構を制御する、ことを特徴する請求項6に記載の電子機器。 - 前記制御手段は、前記第1の画像と前記第2の画像の一部とが略同一の画角となるように、前記第2の画像の一部を前記第2の画像から切り出して拡大する、ことを特徴とする請求項3に記載の電子機器。
- 前記制御手段は、予め設定された切り出し位置と拡大率に従って、前記第2の画像の一部を切り出して拡大する第1の画像処理を実行する、ことを特徴とする請求項8に記載の電子機器。
- 前記制御手段は、前記第1の画像における被写体の領域と前記第2の画像における前記被写体の領域との比較に基づいて、前記第2の画像の一部の切り出し位置と拡大率を決定することにより、前記第2の画像の一部を前記第2の画像から切り出して拡大する第2の画像処理を実行する、ことを特徴とする請求項9に記載の電子機器。
- 前記第1の撮像手段は、取得される画像の画角を変更可能なズーム機構を有し、
前記制御手段は、
前記ズーム機構を駆動する動作が行われている場合には前記第1の画像処理を実行し、
前記ズーム機構を駆動する動作が終了した後は、前記第2の画像処理を実行する、ことを特徴とする請求項10に記載の電子機器。 - 被写体までの距離を測定する測距手段を更に有し、
前記制御手段は、前記測距手段によって測定された被写体までの距離に応じて、前記切り出し位置を補正する、ことを特徴とする請求項9から11のいずれか1項に記載の電子機器。 - 前記第1の撮像手段の光軸の位置を制御して手振れを補正する第1の手振れ補正手段と、前記第2の撮像手段の光軸の位置を制御して手振れを補正する第2の手振れ補正手段と、を有し、
前記第1の手振れ補正手段と前記第2の手振れ補正手段とは独立した手振れ補正を行う、ことを特徴とする請求項1から12のいずれか1項に記載の電子機器。 - 前記制御手段は、前記第1の画像と前記第2の画像に対してそれぞれ異なるホワイトバランス調整を行う、ことを特徴とする請求項1から13のいずれか1項に記載の電子機器。
- 第1の画像を取得する第1の撮像手段と、前記第1の画像よりも画角の広い第2の画像を取得可能な第2の撮像手段とを有する電子機器の制御方法であって、
制御手段が、ユーザの一方の目に対応する第1の表示手段と前記ユーザの他方の目に対応する第2の表示手段とのそれぞれに対し、前記第1の画像又は前記第2の画像に基づく画像を表示するように制御する制御工程を有し、
前記制御工程では、前記第1の画像から被写体が存在しなくなった場合、前記第2の画像を前記第1の表示手段と前記第2の表示手段の少なくともいずれかに表示させる、ことを特徴とする電子機器の制御方法。 - コンピュータを、請求項1から14のいずれか1項に記載の電子機器の各手段として機能させるためのプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020098884A JP2021192492A (ja) | 2020-06-05 | 2020-06-05 | 電子機器およびその制御方法ならびにプログラム |
US17/332,809 US11206356B1 (en) | 2020-06-05 | 2021-05-27 | Apparatus, method of same, and storage medium that utilizes captured images having different angles of view |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020098884A JP2021192492A (ja) | 2020-06-05 | 2020-06-05 | 電子機器およびその制御方法ならびにプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2021192492A true JP2021192492A (ja) | 2021-12-16 |
Family
ID=78818102
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020098884A Pending JP2021192492A (ja) | 2020-06-05 | 2020-06-05 | 電子機器およびその制御方法ならびにプログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US11206356B1 (ja) |
JP (1) | JP2021192492A (ja) |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4198449B2 (ja) * | 2002-02-22 | 2008-12-17 | 富士フイルム株式会社 | デジタルカメラ |
JP4956988B2 (ja) * | 2005-12-19 | 2012-06-20 | カシオ計算機株式会社 | 撮像装置 |
JP5247076B2 (ja) * | 2007-07-09 | 2013-07-24 | 株式会社ニコン | 画像追尾装置、焦点調節装置および撮像装置 |
JP5223486B2 (ja) | 2008-06-18 | 2013-06-26 | ソニー株式会社 | 電子双眼鏡 |
JP2012029245A (ja) | 2010-07-27 | 2012-02-09 | Sanyo Electric Co Ltd | 撮像装置 |
US9338370B2 (en) * | 2012-11-05 | 2016-05-10 | Honeywell International Inc. | Visual system having multiple cameras |
US9804669B2 (en) * | 2014-11-07 | 2017-10-31 | Eye Labs, Inc. | High resolution perception of content in a wide field of view of a head-mounted display |
JP2018124523A (ja) | 2017-02-04 | 2018-08-09 | 真人 田村 | 高倍率電子双眼鏡 |
US10506220B2 (en) * | 2018-01-02 | 2019-12-10 | Lumus Ltd. | Augmented reality displays with active alignment and corresponding methods |
-
2020
- 2020-06-05 JP JP2020098884A patent/JP2021192492A/ja active Pending
-
2021
- 2021-05-27 US US17/332,809 patent/US11206356B1/en active Active
Also Published As
Publication number | Publication date |
---|---|
US20210385385A1 (en) | 2021-12-09 |
US11206356B1 (en) | 2021-12-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4657313B2 (ja) | 立体画像表示装置および方法並びにプログラム | |
US7561788B2 (en) | Image-capturing device having multiple optical systems | |
EP3073733A1 (en) | Method for generating picture and twin-lens device | |
KR101824439B1 (ko) | 모바일 스테레오 카메라 장치 및 그 촬영방법 | |
CN106998413B (zh) | 图像处理设备、摄像设备、图像处理方法和介质 | |
JP2010213084A (ja) | 撮像装置、画像補正方法および画像補正プログラム | |
WO2014141654A1 (ja) | 測距装置、撮像装置および測距方法 | |
JP2012186612A (ja) | 撮像装置 | |
JP6155471B2 (ja) | 画像生成装置、撮像装置および画像生成方法 | |
US20130050427A1 (en) | Method and apparatus for capturing three-dimensional image and apparatus for displaying three-dimensional image | |
JP2016219991A (ja) | 画像処理装置及びその制御方法、並びにプログラム | |
JP2014154907A (ja) | 立体撮像装置 | |
US20120307016A1 (en) | 3d camera | |
TW202002606A (zh) | 影像擷取裝置與其操作方法 | |
JP2021192492A (ja) | 電子機器およびその制御方法ならびにプログラム | |
US9325975B2 (en) | Image display apparatus, parallax adjustment display method thereof, and image capturing apparatus | |
JP2012227653A (ja) | 撮像装置及び撮像方法 | |
JP2011217229A (ja) | 撮像装置および表示方法 | |
US20130093856A1 (en) | Stereoscopic imaging digital camera and method of controlling operation of same | |
JP2013044827A (ja) | 撮像装置 | |
JP2018074362A (ja) | 画像処理装置、画像処理方法およびプログラム | |
JP5351878B2 (ja) | 立体画像表示装置および方法並びにプログラム | |
JPH08313825A (ja) | 内視鏡装置 | |
JP2015094831A (ja) | 立体撮像装置およびその制御方法、制御プログラム | |
JP2013070153A (ja) | 撮像装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20210103 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210113 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230530 |