JP2015014731A - 視線方向制御装置 - Google Patents

視線方向制御装置 Download PDF

Info

Publication number
JP2015014731A
JP2015014731A JP2013141940A JP2013141940A JP2015014731A JP 2015014731 A JP2015014731 A JP 2015014731A JP 2013141940 A JP2013141940 A JP 2013141940A JP 2013141940 A JP2013141940 A JP 2013141940A JP 2015014731 A JP2015014731 A JP 2015014731A
Authority
JP
Japan
Prior art keywords
mirror
tilt
pan
rotation axis
direction control
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2013141940A
Other languages
English (en)
Other versions
JP6080047B2 (ja
Inventor
寛雅 奥
Hiromasa Oku
寛雅 奥
正俊 石川
Masatoshi Ishikawa
正俊 石川
鉱石 小林
Koseki Kobayashi
鉱石 小林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Tokyo NUC
Original Assignee
University of Tokyo NUC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Tokyo NUC filed Critical University of Tokyo NUC
Priority to JP2013141940A priority Critical patent/JP6080047B2/ja
Priority to CN201480041619.5A priority patent/CN105409199B/zh
Priority to EP14819639.7A priority patent/EP3018890B1/en
Priority to PCT/JP2014/066788 priority patent/WO2015002041A1/ja
Priority to US14/902,996 priority patent/US10481381B2/en
Publication of JP2015014731A publication Critical patent/JP2015014731A/ja
Application granted granted Critical
Publication of JP6080047B2 publication Critical patent/JP6080047B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/14—Viewfinders
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B26/00—Optical devices or arrangements for the control of light using movable or deformable optical elements
    • G02B26/08—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light
    • G02B26/0816—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light by means of one or more reflecting elements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0012—Optical design, e.g. procedures, algorithms, optimisation routines
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/56—Accessories
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/58—Means for changing the camera field of view without moving the camera body, e.g. nutating or panning of optics or image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Astronomy & Astrophysics (AREA)
  • Studio Devices (AREA)
  • Mechanical Light Control Or Optical Switches (AREA)
  • Mechanical Optical Scanning Systems (AREA)
  • Accessories Of Cameras (AREA)
  • Optical Elements Other Than Lenses (AREA)

Abstract

【課題】特にパン方向における視線変更可能範囲を広げる。さらに、高い視線変更速度を得る。【解決手段】パンミラー２１は、第３回転軸２２を中心として正逆方向に回動可能である。かつ、第３回転軸２２は、チルト方向制御部１からパンミラー２１へ向かう視線方向と略平行となる方向に延長されている。かつ、パンミラー２１と第３回転軸２２とのなす角αは、０?＜α＜９０?の範囲に設定されている。チルト方向制御部１は、パンミラー２１の回転軌跡で形成される仮想面に対して視線方向を走査させることができる。かつ、チルト方向制御部１は、パンミラー２１から対象物への視線方向のチルト角を制御できる。パンミラー２１は、第３回転軸２２を中心として回動することによって、パンミラー２１から対象物への視線方向のパン角を制御できる。【選択図】図１

Description

本発明は、光学機器における視線の方向を制御するための技術に関するものである。
被写体を継続的に撮影するためには、カメラの視線を対象に向け続ける必要がある。多くの場合この作業は撮影者が手動で行うが、ボールの跳躍のような高速かつ不規則な運動に完璧に追従するのは難しい。このため、カメラの視線方向を機械で自動制御するシステム（いわゆるアクティブビジョン：下記非特許文献１参照）の研究は様々な分野で盛んとなっている。
通常のアクティブビジョンの技術では、カメラ自体を駆動雲台に取り付けて動かしているため、視線方向の移動についての応答速度が遅い。これでは、急激な加速度変化を含む運動対象（例えば球技で用いられているボール）をトラッキングすることは難しい。高速カメラのフレームレートが、速いものでは１００万ｆｐｓに達する事や、ＧＰＵによって画像処理が高速化されている現状を考えると、視線制御速度は、様々なトラッキングシステムにおいて速度面でのボトルネックとなっていると言える。
この問題を解決するために、カメラ前方に配置した小型駆動鏡面によって高速にカメラの視線変更を行うサッカードミラー(Saccade Mirror)と呼ばれる光学系が提案されている（下記非特許文献２参照）。この技術では、２軸のガルバノミラーを用いることによって、高速な視線変更ができるようになっている。もし、制御系において、常に画面中心で対象物をとらえるように視線の制御ができれば、他に類を見ないダイナミックな撮像が可能になると考えられる。
ところで、従来のサッカードミラーにおいては、パン角及びチルト角が比較的に狭いという問題があった。
広い角度範囲で視線を変更できる装置としては、例えば下記特許文献１に記載の技術が存在する。この技術では、いわゆるジンバル機構を用いてミラー位置を変更することにより、広範囲で視線方向を変更できるようになっている。
米国特許第７８０４０５６号公報
J. Aloimonos, I. Weiss and A. Bandyopadhyay: "Active Vision", Int'l Journal of Computer Vision, vol. 1, no. 4, pp. 333.356 (1988). K. Okumura, H. Oku and M. Ishikawa: "High-Speed Gaze Controller for Millisecond-order Pan/tilt Camera", Proc. of IEEE Int'l Conf. on Robotics and Automation, pp. 6186. 6191 (2011).
しかしながら、前記特許文献１の構造では、ジンバル機構を構成する部材の重量が大きくなりがちであり、高速な視線変更は難しいと考えられる。
本発明は、前記の状況に鑑みてなされたものである。本発明の第１の目的は、特にパン方向における視線変更可能な範囲を広くすることができ、しかも高い視線変更速度を得ることができる視線方向制御装置を提供することである。本発明の第２の目的は、この装置の設計に適した方法を提供することである。
前記した課題を解決する手段は、以下の項目のように記載できる。
（項目１）
光学機器から対象物に向けられるべき視線方向を制御するための装置であって、
チルト方向制御部と、パン方向制御部とを備えており、
前記チルト方向制御部は、第１チルトミラーと、第２チルトミラーとを備えており、
前記第１チルトミラーは、第１回転軸を中心として正逆方向に回動可能とされており、
前記第２チルトミラーは、第２回転軸を中心として正逆方向に回動可能とされており、
前記第２回転軸は、前記第１回転軸に対して垂直となる方向に延長されており、
前記パン方向制御部は、パンミラーを備えており、
前記パンミラーは、第３回転軸を中心として正逆方向に回動可能とされており、
かつ、前記第３回転軸は、前記チルト方向制御部から前記パンミラーへ向かう視線方向と略平行となる方向に延長されており、
かつ、前記パンミラーと前記第３回転軸とのなす角αは、０°＜α＜９０°の範囲に設定されており、
かつ、前記チルト方向制御部は、前記第１チルトミラー及び前記第２チルトミラーを回動させることにより、前記パンミラーの回転軌跡で形成される仮想面に対して視線方向を走査させることができる構成となっており、
かつ、前記チルト方向制御部は、前記第１チルトミラー及び前記第２チルトミラーを回動させることにより、前記パンミラーから前記対象物への前記視線方向のチルト角を制御できる構成となっており、
前記パンミラーは、前記第３回転軸を中心として回動することによって、前記パンミラーから前記対象物への前記視線方向のパン角を制御できる構成となっている
視線方向制御装置。
（項目２）
前記第１回転軸は、前記第１チルトミラーの法線ベクトルに対して垂直となる方向に延長されており、
前記第２回転軸は、前記第２チルトミラーの法線ベクトルに対して垂直となる方向に延長されている
項目１に記載の視線方向制御装置。
（項目３）
前記第１回転軸の位置は、前記第１チルトミラーに照射される光線束の中心に一致しており、
前記第２回転軸の位置は、前記第２チルトミラーに照射される光線束の中心に一致している
項目１又は２に記載の視線方向制御装置。
（項目４）
前記チルト方向制御部による前記視線方向の走査が可能な領域の中心は、前記第３回転軸の位置と一致させられている
項目１〜３のいずれか１項に記載の視線方向制御装置。
（項目５）
さらに瞳転送光学系を備えており、
前記瞳転送光学系は、前記第１チルトミラー、前記第２チルトミラー及び前記パンミラーのいずれかの近傍に視線の瞳位置を転送する構成となっている
項目１〜４のいずれか１項に記載の視線方向制御装置。
（項目６）
チルト方向制御部とパン方向制御部とを備える視線方向制御装置の設計方法であって、
前記チルト方向制御部は、第１チルトミラーと、第２チルトミラーとを備えており、
前記第１チルトミラーは、第１回転軸を中心として正逆方向に回動可能とされており、
前記第２チルトミラーは、第２回転軸を中心として正逆方向に回動可能とされており、
前記第２回転軸は、前記第１回転軸に対して垂直となる方向に延長されており、
前記パン方向制御部は、パンミラーを備えており、
前記パンミラーは、第３回転軸を中心として正逆方向に回動可能とされており、
かつ、前記第３回転軸は、前記チルト方向制御部から前記パンミラーへ向かう視線方向と略平行となる方向に延長されており、
かつ、前記パンミラーと前記第３回転軸とのなす角αは、０°＜α＜９０°の範囲に設定されており、
かつ、前記チルト方向制御部は、前記第１チルトミラー及び前記第２チルトミラーを回動させることにより、前記パンミラーの回転軌跡で形成される仮想面に対して視線方向を走査させることができる構成となっており、
かつ、前記チルト方向制御部は、前記第１チルトミラー及び前記第２チルトミラーを回動させることにより、前記パンミラーから対象物への前記視線方向のチルト角を制御できる構成となっており、
前記パンミラーは、前記第３回転軸を中心として回動することによって、前記パンミラーから前記対象物への前記視線方向のパン角を制御できる構成となっており、
さらにこの設計方法は、以下のステップを備える：
（ａ）前記第１チルトミラーと前記第２チルトミラーと前記パンミラーとで方向変換される視線の向きが既定の要求仕様を満たすように、レイトレーシングを用いて、前記第１チルトミラーと前記第２チルトミラーと前記パンミラーの形状を算出するステップ；
（ｂ）前記第１チルトミラーと前記第２チルトミラーと前記パンミラーとについての評価関数を最適化することによって、前記第１チルトミラーと前記第２チルトミラーと前記パンミラーについての設計パラメータを探索するステップ、ここで、前記探索は、前記第１チルトミラーと前記第２チルトミラーと前記パンミラーとの間で衝突を生じないことを制約条件として行われるものとなっている。
（項目７）
前記制約条件は、前記チルト方向制御部から前記パンミラーに向かった視線が、前記パンミラーで反射された後に、前記第１チルトミラーあるいは前記第２チルトミラーに当たらないことをさらに含む
項目６に記載の設計方法。
（項目８）
前記ステップ（ｂ）で用いる評価関数は、前記第１チルトミラーと前記第２チルトミラーと前記パンミラーについて得られる最少の加速度の最大値を求めるものである
項目６又は７に記載の設計方法。
（項目９）
項目１〜８のいずれか１項に記載の設計方法における各ステップをコンピュータに実行させるためのコンピュータプログラム。
このコンピュータプログラムは、適宜な記録媒体（例えばＣＤ−ＲＯＭやＤＶＤディスクのような光学的な記録媒体、ハードディスクやフレキシブルディスクのような磁気的記録媒体、あるいはＭＯディスクのような光磁気記録媒体）に格納することができる。このコンピュータプログラムは、インターネットなどの通信回線を介して伝送されることができる。
本発明によれば、パンミラーの回動範囲を広げることができ、このため、パン方向における視線変更可能範囲を広めることができる。しかも、基本的な構成はサッカードミラーと同様なので、高い視線変更速度を得ることができる。また、本発明の設計方法によれば、この視線変更制御装置の設計を行うことができる。
本発明の一実施形態における視線方向制御装置の概略的な構成を示す説明図である。 図１の装置における要部を拡大した説明図である。 パンミラーを第３回転軸に取り付けた状態を説明するための、パンミラーの模式的な断面図である。 図１の視線方向制御装置を設計する手順を示すフローチャートである。 図４の手順を実行するための設計装置の一例を示すブロック図である。 ミラーによる視線方向の変化を説明するための説明図である。
以下、添付図面を参照しながら、本発明の一実施形態に係る視線方向制御装置について説明する。
（本実施形態の構成）
本実施形態の視線方向制御装置は、光学機器の一例としてのカメラ１００における視線方向を制御するための装置である。ただし、光学機器としては、カメラのような撮像装置に限らず、像を投影するプロジェクタであってもよい。撮像装置と投影装置とでは、光線の進行方向が逆になるが、本実施形態における視線方向は、いずれの場合であっても同様に把握できる。
本実施形態の視線方向制御装置は、チルト方向制御部１と、パン方向制御部２と、瞳転送光学系３とを備えている（図１参照）。
（チルト方向制御部）
チルト方向制御部１は、第１チルトミラー１１と、第２チルトミラー１２とを備えている。第１チルトミラー１１は、図示しない駆動機構によって、第１回転軸１３を中心として正逆方向に回動可能とされている（図２参照）。より詳しくは、本実施形態においては、第１回転軸１３が、第１チルトミラー１２の法線ベクトルに対して垂直となる方向に延長されている。つまり、第１回転軸１３は、実質的に、第１チルトミラー１１の反射面に沿う位置に配置されている。さらに、本実施形態において、第１回転軸１３の位置は、第１チルトミラー１１に照射される光線束の中心に一致している。
第２チルトミラー１２は、図示しない駆動機構によって、第２回転軸１４を中心として正逆方向に回動可能とされている（図２参照）。第２回転軸１４は、第２チルトミラー１２の法線ベクトルに対して垂直となる方向に延長されている。つまり、第２回転軸１４は、実質的に、第２チルトミラー１２の反射面に沿う位置に配置されている。さらに、本実施形態において、第２回転軸１４の位置は、第２チルトミラー１２に照射される光線束の中心に一致している。
ここで、本実施形態において回転軸とは、特に言及しない限り、例えばリンク機構などを用いて形成される仮想的な回転軸である場合を含む。なお、図２においては、各回転軸が各ミラーの反射面上に現れているように記載しているが、これは理解の容易のためであって、実際は、各回転軸は、ミラーにおける光線の反射に支障とならない位置（例えば反射面の直後）に配置されることが好ましい。
第２回転軸１４は、第１回転軸１３に対して垂直となる方向に延長されている。ここで垂直とは、各軸の方向ベクトルの成す角が直角（つまりベクトルの内積が０）であることを意味しており、各軸が実際に交差する必要はない。またここで直角とは、実用上支障ない程度にほぼ直角である場合を含んでおり、数学的に厳密な意味で直角である必要はない。
チルト方向制御部１は、第１チルトミラー１１及び第２チルトミラー１２を回動させることにより、後述するパンミラー２１の回転軌跡で形成される仮想面に対して視線方向を走査させることができる構成となっている。さらに、チルト方向制御部１は、第１チルトミラー１１及び第２チルトミラー１２を回動させることにより、視線方向のチルト角を制御できる構成となっている。さらに、本実施形態において、チルト方向制御部１による視線方向の走査が可能な領域の中心は、後述する第３回転軸２２の位置（つまりパンミラーと第３回転軸都の取り付け位置の近傍）と一致させられている。
（パン方向制御部）
パン方向制御部２は、パンミラー２１を備えている。パンミラー２１は、図示しない駆動機構によって、第３回転軸２２を中心として正逆方向に回動可能とされている（図２参照）。パンミラー２１の回転可能範囲は、特に制約はないが、必要があれば３６０°（つまり全周）にわたって回転する構成とすることができる。ただし、実際に必要な範囲で回転できればよい。なお、図２では、パン角を符号θ、チルト角を符号φで表している。
第３回転軸２２は、チルト方向制御部１からパンミラー２１へ向かう視線方向と略平行となる方向に延長されている。ここで、視線方向とは、あくまで仮想的なものであって、実際の光線の進行方向と同じでなくともよい。例えば、光学機器１００が撮像装置の場合、被写体からの反射光はパン方向制御部２からチルト方向制御部１に向けて進行するが、視線方向としては、チルト方向制御部１からパン方向制御部２への方向を考えることができる。
パンミラー２１と第３回転軸２２とのなす角α（図３参照）は、０°＜α＜９０°の範囲に設定されている。つまり、パンミラー２１は、第３回転軸２２に対して傾斜する方向に設置されている。
パンミラー２１は、第３回転軸２２を中心として回動することによって、視線方向のパン角を制御できる構成となっている。
（瞳転送光学系）
瞳転送光学系３は、第１チルトミラー１１、第２チルトミラー１２及びパンミラー２１のいずれかの近傍に視線の瞳位置を転送する構成となっている。瞳転送光学系３としては、基本的に、従来のサッカードミラーと同様の構成とすることができるので、詳しい説明を省略する。また、本実施形態においては、各ミラーの回転角を、カメラ画像を用いたフィードバックにより制御しているが、このフィードバック制御についても基本的に従来の手法を用いることができるので、詳しい説明は省略する。
（本実施形態の動作）
ついで、前記した実施形態の視線方向制御装置の動作について説明する。本実施形態の視線方向制御装置の基本的な使用方法は、例えば前記した非特許文献２に記載の「サッカードミラー」と同様である。しかしながら、従来のサッカードミラーにおいては、２枚のミラーによってパン角とチルト角とを制御していた。これに対して、本実施形態の装置では、基本的に３枚のミラー（２枚のチルトミラーと１枚のパンミラー）を用いており、２枚のチルトミラーによってチルト角を制御し、１枚のパンミラーによってパン角を制御できるようになっている。
具体的には、本実施形態では、光学機器１００からの視線は、瞳転送光学系３を通過してチルト方向制御部１の第１チルトミラー１１に達する。第１チルトミラー１１で反射された視線は、第２チルトミラー１２によってさらに反射されて、パン方向制御部２のパンミラー２１に達する。本実施形態では、第１チルトミラー１１と第２チルトミラー１２とを、第１回転軸１３及び第２回転軸１４を中心として回動させることにより、パンミラー２１に入射する視線の向きと位置とを制御することができる。これにより、本実施形態では、チルト角の制御を行うことができる。もちろん、チルト方向制御部１の各ミラーの向きを制御することにより、パン角をある程度制御することも可能であるが、本実施形態では、設計を容易とするため、チルト方向制御部１を、チルト角制御のために用いている。
さらに、本実施形態においては、少なくとも２枚のチルトミラーを用いて視線方向を制御しているので、２次元平面内での所定範囲で視線方向を走査することができる。したがって、本実施形態によれば、第３回転軸２２を中心として回転するパンミラー２１の移動軌跡上に視線方向を向けることができ、パンミラー２１による視線方向の制御が可能となっている。
パンミラー２１では、入射する視線を反射することにより、対象物に視線を向けることができる。また、本実施形態では、第３回転軸２２を中心としてパンミラー２１を回転させることにより、パン角θを制御することができる。ここで、従来のサッカードミラーでは、パン角を広げることが難しいという問題があった。これに対して、本実施形態では、パンミラー２１は、原理的には、３６０°全周にわたって回転可能なので、パン角θを従来よりも拡大することが可能となる。もちろん、チルト方向制御部１からの視線をチルト方向制御部１に再び戻すようなパン角をとることは事実上不都合と考えられるので、実際に有用なパン角θは、実際には、３６０°より小さいことが多いと考えられる。
また、本実施形態では、第１回転軸１３が、第１チルトミラー１１の法線ベクトルに対して垂直となる方向に延長されており、第２回転軸１４が、第２チルトミラー１２の法線ベクトルに対して垂直となる方向に延長されているので、これらのミラーにおける慣性モーメントを小さくすることができ、ミラーの高速移動が可能になるという利点がある。
また、本実施形態では、第１回転軸１３の位置が、第１チルトミラー１１に照射される光線束の中心に一致しており、第２回転軸１４の位置が、第２チルトミラー１２に照射される光線束の中心に一致しているので、この構成によっても、これらのミラーにおける慣性モーメントを小さくすることができ、ミラーの高速移動が可能となっている。
また、本実施形態では、チルト方向制御部１による視線方向の走査が可能な領域の中心が、第３回転軸２２の位置と一致させられているので、各チルトミラーにおいて視線走査に必要な回転角を最小化することが可能となり、この点からも、各チルトミラーにおける慣性モーメントを小さくすることができる。
さらに、本実施形態の瞳転送光学系３は、第１チルトミラー１１、第２チルトミラー１２及びパンミラー２１のいずれかの近傍、例えば第１チルトミラー１１と第２チルトミラー１２との間に視線の瞳位置を転送する構成となっている。このため、この実施形態では、各ミラーに照射される光線束を小さく絞ることが可能となり、各ミラーにおける慣性モーメントの最小化を図ることができる。
（本実施形態の設計方法）
次に、本実施形態の視線方向制御装置を設計する方法の一例を、図４をさらに参照しながら説明する。また、図５には、このシステムを実行する設計システムのブロック図を示す。
（図４のステップＳＡ−１）
まず、第１チルトミラー１１と第２チルトミラー１２とパンミラー２１とで方向変換される視線の向きが既定の要求仕様を満たすように、レイトレーシングを用いて、第１チルトミラー１１と第２チルトミラー１２とパンミラー２１の形状を、ミラー形状算出部５（図５参照）が算出する。なお、一般的に、レイトレーシングの前提として、各種パラメータの初期値を与える必要がある。この初期値としては、例えば、経験的に適切と思われる値を用いることができる。
ここで、既定の要求仕様とは、本実施形態の装置に必要とされるパン角及びチルト角である。レイトレーシングを用いることにより、各ミラーに必要とされる面積及び形状を算出することができる。レイトレーシングについては、既存手法を用いてコンピュータにより実行することができるので、詳しい説明は省略する。
なお、本実施形態における視線方向は、以下のように、各ミラーに対応する回転行列Ｒｉ（θｉ）（ｉ＝１，２，３）を用いて表すことができる（図５参照）。なおここで、ミラーの番号１は第１チルトミラー、番号２は第２チルトミラー、番号３はパンミラーに対応している。なお、レイトレーシングにおいては、視線だけではなく、各ミラーで反射されるべき光線束の広がりも考慮する。
（図４のステップＳＡ−２）
ついで、第１チルトミラー１１と第２チルトミラー１２とパンミラー２１とについての評価関数を用いた最適化によって、第１チルトミラー１１と第２チルトミラー１２とパンミラー２１について設計パラメータを、最適化処理部６（図５参照）が探索する。この最適化の処理は、図４に示されるステップＳＢ−１〜ＳＢ−３を含んでいる。以下、これらのステップについて詳しく説明する。
（図４のステップＳＢ−１）
まず、評価関数算出部６１による評価関数の算出について説明する。ここで用いる評価関数は、例えば、第１チルトミラー１１と第２チルトミラー１２とパンミラー２１について得られる最少の加速度の最大値を求めるものである。具体的には、以下の式を用いることができる。
ここで、θｉは、各ミラーにおける視線方向の回転角（図６参照）であり、時刻ｔの関数となっている。また、ここでｄは、チルト方向制御部１からパンミラー２１を見た視線がパンミラー２１で反射した後の視線方向を表すベクトル量であり、θｉの関数となっている。前記の評価式のうち、ｍｉｎｉは、各ミラーのうちの一つだけを一定のトルクで回転させた場合の視線方向ｄの、ある時刻（前記の例ではｔ＝０）における加速度ノルムのなかで最も小さい値（最小値）を意味している。したがって、前記評価式全体では、各種パラメータを変更することにより、この最小値を最大化するという最適化を目標としている。ここで、最適化の際に変更されるパラメータの例としては、各ミラーの回転角、ミラー間距離、瞳位置、第３回転軸に対するパンミラーの傾きである。また、最適化においては、例えば既存の内点法を用いることができる（参考： H. Yamashita, "Approahing Large Sale Optimization byWay of Ative Set Method, Interior Point Method and Exterior Point Method," The Institute of Systems, Control and Information Engineers, Vol. 50, No. 9, pp. 332-337, 2006.）。
ここで、評価式を用いた設計パラメータの探索は、さらに以下のステップＳＢ−２及びＳＢ−３における制約条件の範囲内で行われる。以下、さらに説明する。
（図４のステップＳＢ−２）
ここで、前記評価関数の算出においては、制約関数として、ミラー間衝突判定部６２が、以下の条件を付す。
ここで、ｃ１，２≦０になることを制約条件とする。この条件を付すことにより、前記した最適化（つまり各種のパラメータ選択）が、第１チルトミラー１１と第２チルトミラー１２とパンミラー２１との間で衝突を生じないことを制約条件として行われることとなる。
（図４のステップＳＢ−３）
さらに、本実施形態における評価関数の算出においては、制約関数として、光線・ミラー間の衝突判定部６３が、さらに以下の条件を付す。
ここで、ｃ３≦０になることを制約条件とする。この条件を付すことにより、前記した最適化が、「チルト方向制御部１からパンミラー２１に向かった光線束が、パンミラー２１で反射された後に、第１チルトミラー１１あるいは第２チルトミラー１２に当たらないこと」を制約条件として行われることになる。なお、ここで、光線束は、視線よりも広い範囲に広がるもので、その広がりは、設計パラメータから算出可能である。また、ここでの光線束は、設計のための仮想のものである。本実施形態のカメラ１００に入射する光線束はパン方向制御部２からチルト方向制御部１の方向に進むが、設計上は、逆方向に光線束が進むと仮定しても問題ない。本実施形態の設計手法における各ステップは、コンピュータプログラムとして実装することにより実行可能である。
（図４のステップＳＡ−３）
ついで、出力部７が、最適化によって得られた設計条件（具体的には各パラメータ）を出力する。出力先としては、例えばプリンタやディスプレイであるが、コンピュータ上の記録媒体であってもよい。
なお、本発明の内容は、前記各実施形態に限定されるものではない。本発明は、特許請求の範囲に記載された範囲内において、具体的な構成に対して種々の変更を加えうるものである。
例えば、前記した各構成要素は、機能ブロックとして存在していればよく、独立したハードウエアとして存在しなくても良い。また、実装方法としては、ハードウエアを用いてもコンピュータソフトウエアを用いても良い。さらに、本発明における一つの機能要素が複数の機能要素の集合によって実現されても良く、本発明における複数の機能要素が一つの機能要素により実現されても良い。
また、機能要素は、物理的に離間した位置に配置されていてもよい。この場合、機能要素どうしがネットワークにより接続されていても良い。グリッドコンピューティング又はクラウドコンピューティングにより機能を実現し、あるいは機能要素を構成することも可能である。
さらに、前記した実施形態においては、２枚のチルトミラーと１枚のパンミラーという、合計３枚のミラーを用いているが、それ以上の枚数のミラーを用いることは可能である。ただし、ミラーの数が少ないほど、制御は容易となる。
１ チルト方向制御部
１１ 第１チルトミラー
１２ 第２チルトミラー
１３ 第１回転軸
１４ 第２回転軸
２ パン方向制御部
２１ パンミラー
２２ 第３回転軸
３ 瞳転送光学系
５ ミラー形状算出部
６ 最適化処理部
６１ 評価関数算出部
６２ 光線・ミラー間衝突判定部
６３ 衝突判定部
７ 出力部
１００ カメラ（光学機器）
（項目８）
前記ステップ（ｂ）で用いる評価関数は、前記第１チルトミラーと前記第２チルトミラーと前記パンミラーとについて得られる最小の加速度の最大値を求めるものである
項目６又は７に記載の設計方法。
（項目９）
項目６〜８のいずれか１項に記載の設計方法における各ステップをコンピュータに実行させるためのコンピュータプログラム。
チルト方向制御部１は、第１チルトミラー１１及び第２チルトミラー１２を回動させることにより、後述するパンミラー２１の回転軌跡で形成される仮想面に対して視線方向を走査させることができる構成となっている。さらに、チルト方向制御部１は、第１チルトミラー１１及び第２チルトミラー１２を回動させることにより、視線方向のチルト角を制御できる構成となっている。さらに、本実施形態において、チルト方向制御部１による視線方向の走査が可能な領域の中心は、後述する第３回転軸２２の位置（つまりパンミラーと第３回転軸との取り付け位置の近傍）と一致させられている。
（図４のステップＳＡ−２）
ついで、第１チルトミラー１１と第２チルトミラー１２とパンミラー２１とについての評価関数を用いた最適化によって、第１チルトミラー１１と第２チルトミラー１２とパンミラー２１とについての設計パラメータを、最適化処理部６（図５参照）が探索する。この最適化の処理は、図４に示されるステップＳＢ−１〜ＳＢ−３を含んでいる。以下、これらのステップについて詳しく説明する。
（図４のステップＳＢ−１）
まず、評価関数算出部６１による評価関数の算出について説明する。ここで用いる評価関数は、例えば、第１チルトミラー１１と第２チルトミラー１２とパンミラー２１について得られる最小の加速度の最大値を求めるものである。具体的には、以下の式を用いることができる。

Claims (9)

  1. 光学機器から対象物に向けられるべき視線方向を制御するための装置であって、
    チルト方向制御部と、パン方向制御部とを備えており、
    前記チルト方向制御部は、第１チルトミラーと、第２チルトミラーとを備えており、
    前記第１チルトミラーは、第１回転軸を中心として正逆方向に回動可能とされており、
    前記第２チルトミラーは、第２回転軸を中心として正逆方向に回動可能とされており、
    前記第２回転軸は、前記第１回転軸に対して垂直となる方向に延長されており、
    前記パン方向制御部は、パンミラーを備えており、
    前記パンミラーは、第３回転軸を中心として正逆方向に回動可能とされており、
    かつ、前記第３回転軸は、前記チルト方向制御部から前記パンミラーへ向かう視線方向と略平行となる方向に延長されており、
    かつ、前記パンミラーと前記第３回転軸とのなす角αは、０°＜α＜９０°の範囲に設定されており、
    かつ、前記チルト方向制御部は、前記第１チルトミラー及び前記第２チルトミラーを回動させることにより、前記パンミラーの回転軌跡で形成される仮想面に対して視線方向を走査させることができる構成となっており、
    かつ、前記チルト方向制御部は、前記第１チルトミラー及び前記第２チルトミラーを回動させることにより、前記パンミラーから前記対象物への前記視線方向のチルト角を制御できる構成となっており、
    前記パンミラーは、前記第３回転軸を中心として回動することによって、前記パンミラーから前記対象物への前記視線方向のパン角を制御できる構成となっている
    視線方向制御装置。
  2. 前記第１回転軸は、前記第１チルトミラーの法線ベクトルに対して垂直となる方向に延長されており、
    前記第２回転軸は、前記第２チルトミラーの法線ベクトルに対して垂直となる方向に延長されている
    請求項１に記載の視線方向制御装置。
  3. 前記第１回転軸の位置は、前記第１チルトミラーに照射される光線束の中心に一致しており、
    前記第２回転軸の位置は、前記第２チルトミラーに照射される光線束の中心に一致している
    請求項１又は２に記載の視線方向制御装置。
  4. 前記チルト方向制御部による前記視線方向の走査が可能な領域の中心は、前記第３回転軸の位置と一致させられている
    請求項１〜３のいずれか１項に記載の視線方向制御装置。
  5. さらに瞳転送光学系を備えており、
    前記瞳転送光学系は、前記第１チルトミラー、前記第２チルトミラー及び前記パンミラーのいずれかの近傍に視線の瞳位置を転送する構成となっている
    請求項１〜４のいずれか１項に記載の視線方向制御装置。
  6. チルト方向制御部とパン方向制御部とを備える視線方向制御装置の設計方法であって、
    前記チルト方向制御部は、第１チルトミラーと、第２チルトミラーとを備えており、
    前記第１チルトミラーは、第１回転軸を中心として正逆方向に回動可能とされており、
    前記第２チルトミラーは、第２回転軸を中心として正逆方向に回動可能とされており、
    前記第２回転軸は、前記第１回転軸に対して垂直となる方向に延長されており、
    前記パン方向制御部は、パンミラーを備えており、
    前記パンミラーは、第３回転軸を中心として正逆方向に回動可能とされており、
    かつ、前記第３回転軸は、前記チルト方向制御部から前記パンミラーへ向かう視線方向と略平行となる方向に延長されており、
    かつ、前記パンミラーと前記第３回転軸とのなす角αは、０°＜α＜９０°の範囲に設定されており、
    かつ、前記チルト方向制御部は、前記第１チルトミラー及び前記第２チルトミラーを回動させることにより、前記パンミラーの回転軌跡で形成される仮想面に対して視線方向を走査させることができる構成となっており、
    かつ、前記チルト方向制御部は、前記第１チルトミラー及び前記第２チルトミラーを回動させることにより、前記パンミラーから対象物への前記視線方向のチルト角を制御できる構成となっており、
    前記パンミラーは、前記第３回転軸を中心として回動することによって、前記パンミラーから前記対象物への前記視線方向のパン角を制御できる構成となっており、
    さらにこの設計方法は、以下のステップを備える：
    （ａ）前記第１チルトミラーと前記第２チルトミラーと前記パンミラーとで方向変換される視線の向きが既定の要求仕様を満たすように、レイトレーシングを用いて、前記第１チルトミラーと前記第２チルトミラーと前記パンミラーの形状を算出するステップ；
    （ｂ）前記第１チルトミラーと前記第２チルトミラーと前記パンミラーとについての評価関数を最適化することによって、前記第１チルトミラーと前記第２チルトミラーと前記パンミラーについての設計パラメータを探索するステップ、ここで、前記探索は、前記第１チルトミラーと前記第２チルトミラーと前記パンミラーとの間で衝突を生じないことを制約条件として行われるものとなっている。
  7. 前記制約条件は、前記チルト方向制御部から前記パンミラーに向かった視線が、前記パンミラーで反射された後に、前記第１チルトミラーあるいは前記第２チルトミラーに当たらないことをさらに含む
    請求項６に記載の設計方法。
  8. 前記ステップ（ｂ）で用いる評価関数は、前記第１チルトミラーと前記第２チルトミラーと前記パンミラーについて得られる最少の加速度の最大値を求めるものである
    請求項６又は７に記載の設計方法。
  9. 請求項１〜８のいずれか１項に記載の設計方法における各ステップをコンピュータに実行させるためのコンピュータプログラム。
JP2013141940A 2013-07-05 2013-07-05 視線方向制御装置 Active JP6080047B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2013141940A JP6080047B2 (ja) 2013-07-05 2013-07-05 視線方向制御装置
CN201480041619.5A CN105409199B (zh) 2013-07-05 2014-06-25 视线方向控制装置
EP14819639.7A EP3018890B1 (en) 2013-07-05 2014-06-25 Line-of-sight direction control device
PCT/JP2014/066788 WO2015002041A1 (ja) 2013-07-05 2014-06-25 視線方向制御装置
US14/902,996 US10481381B2 (en) 2013-07-05 2014-06-25 Line-of-sight direction control device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013141940A JP6080047B2 (ja) 2013-07-05 2013-07-05 視線方向制御装置

Publications (2)

Publication Number Publication Date
JP2015014731A true JP2015014731A (ja) 2015-01-22
JP6080047B2 JP6080047B2 (ja) 2017-02-15

Family

ID=52143619

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013141940A Active JP6080047B2 (ja) 2013-07-05 2013-07-05 視線方向制御装置

Country Status (5)

Country Link
US (1) US10481381B2 (ja)
EP (1) EP3018890B1 (ja)
JP (1) JP6080047B2 (ja)
CN (1) CN105409199B (ja)
WO (1) WO2015002041A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6448734B1 (ja) * 2017-09-22 2019-01-09 株式会社日立製作所 移動体撮像装置、および、移動体撮像方法
WO2020158727A1 (ja) * 2019-01-28 2020-08-06 国立大学法人 東京大学 システム、方法、及びプログラム

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109597488B (zh) * 2018-12-12 2019-12-10 海南大学 空间展示平台角度距离主动适应方法
CN110609389B (zh) * 2019-10-11 2022-01-04 中国航空工业集团公司洛阳电光设备研究所 一种民用飞机的头戴式显示器

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09164331A (ja) * 1995-12-18 1997-06-24 Sigma Koki Kk ２ビームトラッピング方法及び装置
JPH09186987A (ja) * 1995-08-14 1997-07-15 He Holdings Inc Dba Hughes Electron 自動車用の廉価な暗視カメラおよびその設置方法
JP2005323311A (ja) * 2004-05-11 2005-11-17 Nippon Telegr & Teleph Corp <Ntt> 光空間通信システムとこのシステムに用いられる光送信装置、光受信装置及び光軸補正方法
WO2009126264A2 (en) * 2008-04-06 2009-10-15 David Chaum Proximal image projection system
CN102510412A (zh) * 2011-12-31 2012-06-20 河南辉煌科技股份有限公司 云镜调用方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3718761A (en) * 1968-03-27 1973-02-27 Hughes Aircraft Co Omnidirectional planar optical code reader
US5729016A (en) * 1994-04-12 1998-03-17 Hughes Aircraft Company Low cost night vision system for nonmilitary surface vehicles
US6327493B1 (en) * 1997-08-28 2001-12-04 Olympus Optical Co., Ltd. Light scanning devices of a water-tight structure to be inserted into a body cavity to obtain optical information on inside of a biological tissue
US6245590B1 (en) * 1999-08-05 2001-06-12 Microvision Inc. Frequency tunable resonant scanner and method of making
CN100336635C (zh) * 2004-07-15 2007-09-12 中国科学院自动化研究所 一种五自由度立体视觉监控装置
CN101273296B (zh) 2005-09-27 2012-08-08 视觉机器人技术私人有限公司 能量信号处理系统
CN102288106B (zh) * 2010-06-18 2013-03-27 合肥工业大学 大空间视觉跟踪6d测量系统及测量方法
EP2856240A4 (en) * 2012-04-26 2016-03-02 Neptec Design Group Ltd LIDAR HEAD FOR HIGH-SPEED 360 DEGREE SCAN

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09186987A (ja) * 1995-08-14 1997-07-15 He Holdings Inc Dba Hughes Electron 自動車用の廉価な暗視カメラおよびその設置方法
JPH09164331A (ja) * 1995-12-18 1997-06-24 Sigma Koki Kk ２ビームトラッピング方法及び装置
JP2005323311A (ja) * 2004-05-11 2005-11-17 Nippon Telegr & Teleph Corp <Ntt> 光空間通信システムとこのシステムに用いられる光送信装置、光受信装置及び光軸補正方法
WO2009126264A2 (en) * 2008-04-06 2009-10-15 David Chaum Proximal image projection system
CN102510412A (zh) * 2011-12-31 2012-06-20 河南辉煌科技股份有限公司 云镜调用方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JPN7014002805; 奥村光平他: 'アクティブビジョンの高速化を担う光学的視線制御システム' 日本ロボット学会誌 第２９巻，第２号, 20110315, ７９-８９頁 *
JPN7014002806; 奥村光平他: 'サッカードミラーと画像処理を用いた高速飛翔体の映像計測' ロボティクス・メカトロニクス講演会'１１講演論文集 , 20110526, １９９３-１９９６頁, 一般社団法人日本機械学会 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6448734B1 (ja) * 2017-09-22 2019-01-09 株式会社日立製作所 移動体撮像装置、および、移動体撮像方法
WO2019058576A1 (ja) * 2017-09-22 2019-03-28 株式会社日立製作所 移動体撮像装置、および、移動体撮像方法
JP2019057877A (ja) * 2017-09-22 2019-04-11 株式会社日立製作所 移動体撮像装置、および、移動体撮像方法
WO2020158727A1 (ja) * 2019-01-28 2020-08-06 国立大学法人 東京大学 システム、方法、及びプログラム
JPWO2020158727A1 (ja) * 2019-01-28 2021-10-21 国立大学法人 東京大学 システム、方法、及びプログラム

Also Published As

Publication number Publication date
EP3018890A1 (en) 2016-05-11
CN105409199A (zh) 2016-03-16
US10481381B2 (en) 2019-11-19
WO2015002041A1 (ja) 2015-01-08
EP3018890A4 (en) 2016-11-23
CN105409199B (zh) 2018-07-06
JP6080047B2 (ja) 2017-02-15
US20160161734A1 (en) 2016-06-09
EP3018890B1 (en) 2018-10-31

Similar Documents

Publication Publication Date Title
JP6080047B2 (ja) 視線方向制御装置
JP5729622B2 (ja) ブラーレス画像撮像システム
JP6090786B2 (ja) 背景差分抽出装置及び背景差分抽出方法
EP3234686B1 (en) Imaging lens with image-stabilization
US11435577B2 (en) Foveated projection system to produce ocular resolution near-eye displays
US20120188148A1 (en) Head Mounted Meta-Display System
JP6089233B1 (ja) プロジェクタシステム
US11176637B2 (en) Foveated rendering using eye motion
US20220155588A1 (en) Virtual Reality System
WO2023240918A1 (zh) 显示画面补偿方法、装置、电子设备及存储介质
US10356331B2 (en) Adaptive camera field-of-view
US20230060453A1 (en) Electronic device and operation method thereof
WO2018086399A1 (zh) 一种图像渲染的方法、装置及vr设备
JP2018124486A (ja) 表示装置
US11157072B1 (en) Direct retinal projector
WO2022057043A1 (zh) 一种目标跟踪动向投影方法和动向投影设备
JP2000283721A (ja) ３次元入力装置
JP2006011145A (ja) 双眼顕微鏡装置
WO2022133732A1 (zh) 云台的检测方法、装置、可移动平台和存储介质
JP7228294B2 (ja) プロジェクタの制御装置、プロジェクタ、投影システム、投影方法及びプログラム
JP2013047760A (ja) 指示位置表示装置および指示位置表示システム
Brooker et al. A helmet mounted display system with active gaze control for visual telepresence
Hirano et al. Falcon: A Wide-and-Deep Onboard Active Vision System
US20230132986A1 (en) Information processing apparatus, information processing method, and program
JP2021131429A (ja) 防振光学装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160421

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20161227

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170105

R150 Certificate of patent or registration of utility model

Ref document number: 6080047

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250