JP2018169601A - 連携装置、撮影システム、撮影方法、及びプログラム - Google Patents

連携装置、撮影システム、撮影方法、及びプログラム Download PDF

Info

Publication number
JP2018169601A
JP2018169601A JP2017245495A JP2017245495A JP2018169601A JP 2018169601 A JP2018169601 A JP 2018169601A JP 2017245495 A JP2017245495 A JP 2017245495A JP 2017245495 A JP2017245495 A JP 2017245495A JP 2018169601 A JP2018169601 A JP 2018169601A
Authority
JP
Japan
Prior art keywords
photographing
imaging device
imaging
image
special
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2017245495A
Other languages
English (en)
Inventor
吉田 和弘
Kazuhiro Yoshida
和弘 吉田
浅井 貴浩
Takahiro Asai
貴浩 浅井
啓一 河口
Keiichi Kawaguchi
啓一 河口
浩 水藤
Hiroshi Mizufuji
浩 水藤
英知 小泉
Hidetomo Koizumi
英知 小泉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to CN201711458852.5A priority Critical patent/CN108259717A/zh
Priority to US15/856,848 priority patent/US10638039B2/en
Publication of JP2018169601A publication Critical patent/JP2018169601A/ja
Withdrawn legal-status Critical Current

Links

Landscapes

  • Cameras In General (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Accessories Of Cameras (AREA)
  • Studio Devices (AREA)
  • Details Of Cameras Including Film Mechanisms (AREA)

Abstract

【課題】広角の画像の一部の領域に狭角の画像を嵌め込んで表示するために、第1の撮影装置と当該第1の撮影装置よりも広角撮影を行なう第2の撮影装置を同時に使用して撮影する場合、埋め込み後の画像に違和感がないようにすべく、第1の撮影装置と第2の撮影装置とで撮影される画像間の視差を小さくし、撮影開始のタイミングを合わせる必要がある。【解決手段】本願の連携装置は、一般撮影装置3と一般撮影装置3よりも広角撮影を行なう特殊撮影装置1とを接続する連携装置9であって、一般撮影装置3における所定の操作情報から特殊撮影装置1の固定位置を変位させる機構と、一般撮影装置3及び特殊撮影装置1のうち一方の撮影装置によって撮影開始の操作が行なわれたことに基づき、一般撮影装置3及び特殊撮影装置1のうち他方の撮影装置に対して撮影開始を実行させる開始手段を有する。【選択図】図8

Description

本発明は、連携装置、撮影システム、撮影方法、及びプログラムに関するものである。
従来、広角の画像の一部の領域(低精細領域)に、広角の画像とは別に撮影することで得られた狭角の高精細画像を嵌め込んで表示させることで、上記一部の領域を拡大しても鮮明な画像を表示することができる技術が開示されている(特許文献1参照)。
しかし、広角の画像の一部の領域に狭角の画像を嵌め込んで表示する場合、広角の画像と狭角の画像の撮影において撮影するカメラのレンズ位置が離れていれば離れている程、画像間で視差が発生し、重ね合わせ後の画像で被写体の位置がずれたり、位置合わせが上手くできなかったりといった課題が生じる。また、例えば、広角の画像が歩行者と風景を表している場合、広角の画像中の歩行者が表された領域に、広角の画像の数秒後に撮影されることで得られた同じ歩行者を表わす狭角の画像を重ねて表示しようとすると、数秒後には歩行者の位置が変化しているため、被写体と風景が合わなくなるという課題も生じる。これに対して、二人の利用者(撮影者)がそれぞれ別の撮影装置を使って同時に撮影を開始すればよいが、二人の利用者が必要となる。また、撮影開始のタイミングを合わせるために、掛け声を発しなければならず、周囲に迷惑を掛けたり、静かにしなければならない場所では現実的に撮影開始のタイミングを合わせることが困難であったりするという課題が生じる。
請求項1に係る発明は、第1の撮影装置と当該第1の撮影装置よりも広角撮影を行なう第2の撮影装置とを連携する連携装置であって、前記第1の撮影装置及び前記第2の撮影装置のうち一方の撮影装置によって撮影開始の操作が行なわれたことに基づき、前記第1の撮影装置及び前記第2の撮影装置のうち他方の撮影装置に対して撮影開始を実行させる開始手段を有することを特徴とすることを特徴とする連携装置である。
以上説明したように本発明によれば、第1の撮影装置と第2の撮影装置との視差を低減させた位置に第2の撮影装置を設置することができ、更に利用者が一人であっても、第1の撮影装置と第2の撮影装置との撮影開始のタイミングを合わせることができるという効果を奏する。
(a)は特殊撮影装置の右側面図であり、(b)は特殊撮影装置の背面図であり、(c)は特殊撮影装置の平面図であり、(d)は特殊撮影装置の底面図である。 特殊撮影装置の使用イメージ図である。 (a)は特殊撮影装置で撮影された半球画像(前)、(b)は特殊撮影装置で撮影された半球画像(後)、(c)は正距円筒図法により表された画像を示した図である。 (a)は正距円筒射影画像で球を被う状態を示した概念図、(b)は全天球画像を示した図である。 全天球画像を3次元の立体球とした場合の仮想カメラ及び所定領域の位置を示した図である。 (a)は図5の立体斜視図、(b)は通信端末のディスプレイに所定領域の画像が表示されている状態を示す図である。 所定領域情報と所定領域Tの画像との関係を示した図である。 本発明の第1の実施形態に係る撮影システムの概略図であり、(a)は視差低減を優先した場合、(b)は特殊撮影装置による画像の高画質領域における一般撮影装置の写り込みの低減を優先した場合を示した図である。 第1の実施形態に係るアダプタの機械的なハードウェア構成図であり、(a)は連携装置の平面図、(b)は(a)のA1−B1切断における側面図(c)は底面図、(d)は(a)の矢印C1方向から見た側面図、(e)は回動台から矢印D1方向に端子を突出させた状態を示した側面図である。 第1の実施形態に係る連携装置の駆動例を示した図である。 映像システムの使用イメージ図である。 特殊撮影装置の電気的なハードウェア構成図である。 一般撮影装置の電気的なハードウェア構成図である。 第1の実施形態に係る連携装置の電気的なハードウェア構成図である。 第1の実施形態に係る撮影システムの機能ブロック図である。 駆動制御値管理テーブルの概念図である。 チルト角度θ方向の回転に伴う特殊撮影装置の上下方向の移動と視差との関係を示した説明図である。 チルト角度θと被写体距離L1との関係と被写体の見え方との説明図である。 パン角度φとレンズ繋ぎ目との関係を示した図である。 レンズの繋ぎ目の位置による全天球画像への影響を示す図である。 全天球画像における平面画像の位置を示した概念図である。 第1の実施形態に係る撮影システムの連携撮影を示したシーケンス図である。 全天球画像に平面画像を重畳した場合の二次元の概念図である。 全天球画像に平面画像を重畳した場合の三次元の概念図である。 (a)重畳表示しない場合のワイド画像の表示例、(b)重畳表示しない場合のテレ画像の表示例、(c)重畳表示する場合のワイド画像の表示例、(d)重畳表示する場合のテレ画像の表示例を示した概念図である。 第2の実施形態に係る撮影システムの概略図である。 第3の実施形態に係る撮影システムの概略図である。 第4の実施形態に係る撮影システムの概略図である。 第4の実施形態に係るアダプタの機械的なハードウェア構成図であり、(a)は連携装置の平面図、(b)は(a)のA2−B2切断における側面図(c)は底面図、(d)は(a)の矢印C2方向から見た側面図、(e)は回動台から矢印D2方向に端子を突出させた状態を示した側面図である。 第4の実施形態に係る撮影システムのアダプタ9における駆動部95Bの機能ブロック図である。 シフト変位に伴う特殊撮影装置の上下方向の移動と視差との関係を示した説明図である。 第5の実施形態に係る撮影システムの概略図である。 第6の実施形態に係るアダプタの機械的なハードウェア構成図であり、(a)は連携装置の平面図、(b)は(a)のA3−B3切断における側面図(c)は底面図、(d)は(a)の矢印C3方向から見た側面図、(e)は回動台から矢印D3方向に端子を突出させた状態を示した側面図である。 第6の実施形態に係る連携装置の駆動例を示した図である。 第6の実施形態に係る連携装置の電気的なハードウェア構成図である。 第6の実施形態に係る撮影システムの機能ブロック図である。 第6の実施形態に係る撮影システムの概略図であり、近距離の被写体撮影時の設置例を示した図である。 第6の実施形態に係る撮影システムの概略図であり、中・長距離の被写体撮影時の設置例を示した図である。 第6の実施形態に係る撮影システムの連携撮影を示したシーケンス図である。 第7の実施形態に係る撮影システムの概略図である。 第8の実施形態に係る撮影システムの概略図である。
以下、図面を用いて、本発明の実施形態について説明する。
<<実施形態の概略>>
<全天球画像の生成方法>
図1乃至図7を用いて、全天球画像の生成方法について説明する。
まず、図1を用いて、特殊撮影装置1aの外観を説明する。特殊撮影装置1aは、全天球(360°)パノラマ画像の元になる撮影画像を得るためのデジタルカメラである。なお、図1(a)は特殊撮影装置の左側面図であり、図1(b)は特殊撮影装置の背面図であり、図1(c)は特殊撮影装置の平面図であり、図1(d)は特殊撮影装置の底面図である。
図1(a),図1(b),図1(c),図(d)に示されているように、特殊撮影装置1aの上部には、正面側(前側)に魚眼型のレンズ102a及び背面側(後側)に魚眼型のレンズ102bが設けられている。特殊撮影装置1aの内部には、後述の撮像素子(画像センサ)103a,103bが設けられており、それぞれレンズ102a、102bを介して被写体や風景を撮影することで、半球画像(画角180°以上)を得ることができる。特殊撮影装置1aの正面側と反対側の面には、シャッターボタン115aが設けられている。また、特殊撮影装置1aの側面には、電源ボタン115b、Wi-Fi(Wireless Fidelity)ボタン115c、及び撮影モード切替ボタン115dが設けられている。電源ボタン115b、及びWi-Fiボタン115cは、いずれも押下される度に、オンとオフが切り替えられる。また、撮影モード切替ボタン115dは、押下される度に、静止画の撮影モードと動画の撮影モードが切り替えられる。なお、シャッターボタン115a、電源ボタン115b、Wi-Fiボタン115c、及び撮影モード切替ボタン115dは、操作部115の一部であり、操作部115は、これらのボタンに限られない。
また、特殊撮影装置1aの底部150の中央には、カメラ用三脚に特殊撮影装置1aや一般撮影装置3aを取り付けるための三脚ねじ穴151が設けられている。また、底部150の左端側には、Micro USB(Universal Serial Bus)端子152が設けられている。底部150の右端側には、HDMI(High-Definition Multimedia Interface)端子153が設けられている。なお、HDMIは登録商標である。
次に、図2を用いて、特殊撮影装置1aの使用状況を説明する。なお、図2は、特殊撮影装置の使用イメージ図である。特殊撮影装置1aは、図2に示されているように、例えば、利用者が手に持って利用者の周りの被写体を撮影するために用いられる。この場合、図1に示されている撮像素子103a及び撮像素子103bによって、それぞれ利用者の周りの被写体が撮像されることで、2つの半球画像を得ることができる。
次に、図3及び図4を用いて、特殊撮影装置1aで撮影された画像から正距円筒射影画像EC及び全天球画像CEが作成されるまでの処理の概略を説明する。なお、図3(a)は特殊撮影装置1aで撮影された半球画像(前側)、図3(b)は特殊撮影装置で撮影された半球画像(後側)、図3(c)は正距円筒図法により表された画像(以下、「正距円筒射影画像」という)を示した図である。図4(a)は正距円筒射影画像で球を被う状態を示した概念図、図4(b)は全天球画像を示した図である。
図3(a)に示されているように、撮像素子103aによって得られた画像は、後述の魚眼レンズ102aによって湾曲した半球画像(前側)となる。また、図3(b)に示されているように、撮像素子103bによって得られた画像は、後述の魚眼レンズ102bによって湾曲した半球画像(後側)となる。そして、半球画像(前側)と、180度反転された半球画像(後側)とは、特殊撮影装置1aによって合成され、図3(c)に示されているように、正距円筒射影画像ECが作成される。
そして、OpenGL ES(Open Graphics Library for Embedded Systems)が利用されることで、図4(a)に示されているように、正距円筒射影画像が球面を覆うように貼り付けられ、図4(b)に示されているような全天球画像CEが作成される。このように、全天球画像CEは、正距円筒射影画像ECが球の中心を向いた画像として表される。なお、OpenGL ESは、2D(2-Dimensions)および3D(3-Dimensions)のデータを視覚化するために使用するグラフィックスライブラリである。なお、全天球画像CEは、静止画であっても動画であってもよい。
以上のように、全天球画像CEは、球面を覆うように貼り付けられた画像であるため、人間が見ると違和感を持ってしまう。そこで、全天球画像CEの一部の所定領域(以下、「所定領域画像」という)を湾曲の少ない平面画像として表示することで、人間に違和感を与えない表示をすることができる。これに関して、図5及び図6を用いて説明する。
なお、図5は、全天球画像を三次元の立体球とした場合の仮想カメラ及び所定領域の位置を示した図である。仮想カメラICは、三次元の立体球として表示されている全天球画像CEに対して、その画像を見るユーザの視点の位置に相当するものである。また、図6(a)は図5の立体斜視図、図6(b)はディスプレイに表示された場合の所定領域画像を表す図である。また、図6(a)では、図4に示されている全天球画像CEが、三次元の立体球CSで表わされている。このように生成された全天球画像CEが、立体球CSであるとすると、図5に示されているように、仮想カメラICが全天球画像CEの内部に位置している。全天球画像CEにおける所定領域Tは、仮想カメラICの撮影領域であり、全天球画像CEを含む三次元の仮想空間における仮想カメラICの撮影方向と画角を示す所定領域情報によって特定される。
そして、図6(a)に示されている所定領域画像Qは、図6(b)に示されているように、所定のディスプレイに、仮想カメラICの撮影領域の画像として表示される。図6(b)に示されている画像は、初期設定(デフォルト)された所定領域情報によって表された所定領域画像である。以下では、仮想カメラICの撮影方向(ea,aa)と画角(α)を用いて説明する。
図7を用いて、所定領域情報と所定領域Tの画像の関係について説明する。なお、図7は、所定領域情報と所定領域Tの画像の関係との関係を示した図である。図7に示されているように、「ea」はelevation angle、「aa」はazimuth angle、「α」は画角(Angle)を示す。即ち、撮影方向(ea,aa)で示される仮想カメラICの注視点が、仮想カメラICの撮影領域である所定領域Tの中心点CPとなるように、仮想カメラICの姿勢を変更することになる。所定領域画像Qは、全天球画像CEにおける所定領域Tの画像である。fは仮想カメラICから中心点CPまでの距離である。Lは所定領域Tの任意の頂点と中心点CPとの距離である(2Lは対角線)。そして、図7では、一般的に以下の(式1)で示される三角関数が成り立つ。
L/f=tan(α/2)・・・(式1)
〔第1の実施形態〕
以下、本発明の第1の実施形態について説明する。
<<撮影システムの概略>>
まず、図8を用いて、本実施形態の撮影システムの構成の概略について説明する。図8は、本実施形態の撮影システムの構成の概略図である。
図8は、本実施形態の撮影システムの側面を示しており、図8(a)は視差低減を優先した場合、図8(b)は特殊撮影装置1aによる画像の高画質領域における一般撮影装置3aの写り込みの低減を優先した場合を示した図である。図8(a)に示されている第1のフォームは、一般撮影装置3aの(対物)レンズ306aに対して、特殊撮影装置1aのレンズ102a及び102bを近くすることで、視差を低減することができる。このため、第1のフォームは、近距離の被写体を撮影する場合に適している。これに対して、図8(b)に示されている第2のフォームは、レンズ102bの正面の比較的画質が良い部分で一般撮像装置3aの正面にある被写体を撮影することができ、レンズ102a,102bの繋ぎ目の部分の比較的画質が悪い部分で、被写体とは関係ない利用者の手や腕を撮影することができる。このため、第2のフォームは、特殊撮影装置1aと一般撮影装置3aとのレンズ位置の差によって生じる視差の影響の少ない中・遠距離の被写体を撮影する場合に適している。
図8に示されているように、本実施形態の撮影システムは、特殊撮影装置1a、一般撮影装置3a、及びアダプタ9a(連携装置の一例)によって構成されている。図8(a)は、特殊撮影装置1aが、一般撮影装置3aに取り付けられたアダプタ9aに取り付けられている状態を示しており、初期状態を示している。図8(b)は、アダプタ9aが、特殊撮影装置1aをチルト変位させることで、初期状態(θ=0°)から垂直に立ち上げ(θ=90°)、かつ特殊撮影装置1aをパン変位させることで、初期状態(φ=0°)から向きを変更(φ=90°)させた状態を示している。なお、以降、特殊撮影装置1a,1b,1cの総称を「特殊撮影装置」として表す。一般撮影装置3a,3bの総称を「一般撮影装置3」として表す。アダプタ9a,9b,9c,9dの総称を「アダプタ9」として表す。
これらのうち、特殊撮影装置1は、上述のように、被写体や風景等を撮影して全天球(パノラマ)画像の元になる2つの半球画像を得るための特殊なデジタルカメラである。
一般撮影装置3は、デジタル一眼レフカメラ、コンパクトデジタルカメラ等の平面画像データを得るデジタルカメラである。図8では、一般撮影装置3aとして、一眼レフデジタルカメラを示している。一般撮影装置3aには、後述の操作部315の一部であるシャッターボタン315aが設けられている。
<<アダプタの機械的なハードウェア構成>>
図9を用いて、本実施形態に係るアダプタの機械的なハードウェアについて説明する。図9は、第1の実施形態に係る連携装置の機械的なハードウェア構成図であり、(a)は連携装置の平面図、(b)は(a)のA1−B1切断における側面図(c)は底面図、(d)は(a)の矢印C1方向から見た側面図、(e)は回動台から矢印D1方向に端子を突出させた状態を示した側面図である。
アダプタ9aは、垂直方向にθ度回動するチルト(Tilt)機構と、水平方向にφ度回動するパン(Pan)機構とを備えている。チルト機構は、主に、本体61a、チルト用のステッピングモータ71a、及びチルト用のアーム73aによって構成されている。また、パン機構は、主に、回転用の基板62、回転用のステッピングモータ81、及び回動用の回動台83によって構成されている。また、本体61aの下部には、アクセサリシュ接続部材64が設けられ、回動台83の上面には三脚ねじ63が設けられている。この三脚ねじ63に特殊撮影装置1の三脚ねじ穴151を螺合させることで、回動台83の上面に特殊撮影装置1を固定することができる。
一般的に、ステッピングモータは、このステッピングモータに入力されるパルス数によって回動する角度の制御が変更可能で、入力されるパルス速度によって回動速度が変更可能である。例えば、1パルス1.8度回転するステッピングモータの場合、25パルスで45度、50パルスで90度のように入力するパルス数によって任意の角度の回転が可能である。また、パルスの入力パターンによりモータの回転方向の制御が可能である。
続いて、チルト機構について説明する。本体61aには、ステッピングモータ71aが設けられている。また、アーム73aの基端部は、ステッピングモータ71aのモータ軸72aに取り付けられている。これにより、ステッピングモータ71aの回動によって、アーム73aが本体61aに対してθ方向に回動することで、三脚ねじ63に取り付けられた物体をチルト変位させることができる。また、本体61aには、フォトインタラプタ74aが設けられている。一方、アームには遮光部材75aが設けられている。これにより、アーム73aがチルト変位する場合の基準位置を検出することができる。図9におけるチルト変位の基準位置は、アーム73aが本体61aに対して左側に水平に倒れている場合である。
ここで、フォトインタラプタ及び遮光部材の一般的な動作について説明する。フォトインタラプタは、発光素子と受光素子が対向して配置されたデバイスであり、発光素子の光が受光素子に入射するが、発光素子と受光素子の間に物体が存在すると、発光素子の光が遮断されるため、フォトインタラプタの出力である受光素子の検出結果が異なり状態の変動を検出することができる。
次に、パン機構について説明する。アーム73aの先端部には基板62が固定されている。基板62上には、ステッピングモータ81が設けられている。円柱状の回動台83の下面の中心にモータ軸82が固定されている。これにより、ステッピングモータ81の回動によって、回動台83が円柱状の基板62に対してφ方向に回動することで、三脚ねじ63に取り付けられた物体をパン変位させることができる。また、基板62の上面には、フォトインタラプタ84が設けられている。一方、回動台83の下面には遮光部材85が設けられている。これにより、回動台83がパン変位する場合の基準位置を検出することができる。更に、回動台83は空洞に形成されており、空洞内には、Micro USB用の凸状の端子65がスライド可能に取り付けられている。端子65の側面には、利用者が指で移動させることができるスライド部材67が設けられている。スライド部材67は、回動台83の側面に形成されたスライド口66から外部に突出しており、利用者の指でスライドされることで、端子65が回動台83の上面から突出したり、突出した状態の端子65が回動台83内に収納される。
通常、利用者は、三脚ねじ63に特殊撮影装置1aの三脚ねじ穴151を螺合させて、回動台83に特殊撮影装置1aを固定した後、スライド部材67を上部にスライドさせることで、回動台83の凸状の端子65を特殊撮影装置1aの凹状の端子153内に挿入させる。
なお、図9では、ステッピングモータ71aとアーム73a、及びステッピングモータ81と回動台83とを直接係合して動力を伝達する例となっているが、歯車(ギヤ)、ベルト等を介して間接的に動力を伝達してもよい。
次に、図10を用いて、アダプタの駆動例を説明する。図10は、アダプタの駆動例を示した図である。図10(a)は、アーム73aが基準位置(θ=0°)に位置した状態を示している。図10(b)は、アーム73aが基準位置からθ=45°の位置までチルトした状態を示している。図10(c)は、アーム73aが基準位置からθ=90°の位置までチルトした状態を示している。
図10(a)では、フォトインタラプタ74aの受光素子の光が、アーム73aの遮光部材75aにより遮断された状態となる。図10(b),(c)では、フォトインタラプタ74aの発光素子の光が、そのまま受光素子に入射する状態となる。図10(a)の状態は、フォトインタラプタ74aの検出結果が、図10(b),(c)の検出結果とは異なるため、図10(a)の位置を基準位置とすると、フォトインタラプタ74aの検出結果により、後述の制御部96は、アーム73aが基準位置にあるか否かを検出することができる。
図11は、撮影システムの使用イメージ図である。図11に示されているように、利用者は、アダプタ9aを用いて特殊撮影装置1aを取り付けた一般撮影装置3aで被写体等の撮影を行なう。利用者が、一般撮影装置3aのシャッターボタン315aを押下すると、一般撮影装置3aで撮影が開始されるとともに、アダプタ9aを介して特殊撮影装置1aの連携撮影を開始させることができる。
以下では、特殊撮影装置1は、2つの撮像素子を使用した全天球(全方位)の特殊撮影装置について説明するが、撮像素子は2つ以上いくつでもよい。また、必ずしも全方位撮影専用の装置である必要はなく、通常のデジタルカメラやスマートフォン等に外付けの全方位の撮像ユニットを取り付けることで、実質的に特殊撮影装置1と同じ機能を有するようにしてもよい。また、一般撮影装置3は、デジタルカメラではなく、撮像素子が設けられたスマートフォンやタブレット型PCであってもよい。例えば、図11において、一般撮影装置3aの代わりにスマートフォンを用いることもできる。
<<撮影システムを構成する各装置の電気的なハードウェア構成>>
続いて、本実施形態に係る撮影システムを構成する各装置の電気的なハードウェア構成について説明する。
<特殊撮影装置の電気的なハードウェア構成>
まず、図12を用いて、特殊撮影装置1のハードウェア構成を説明する。図12は、特殊撮影装置のハードウェア構成図である。
図12に示されているように、特殊撮影装置1は、撮像ユニット101、画像処理ユニット104、撮像制御ユニット105、マイク108、音処理ユニット109、CPU(Central Processing Unit)111、ROM(Read Only Memory)112、SRAM(Static Random Access Memory)113、DRAM(Dynamic Random Access Memory)114、操作部115、ネットワークI/F116、通信部117、アンテナ117a、電子コンパス118、ジャイロセンサ119、加速度センサ120、及び端子121によって構成されている。
このうち、撮像ユニット101は、各々半球画像を結像するための180°以上の画角を有する広角レンズ(いわゆる魚眼レンズ)102a,102bと、各広角レンズに対応させて設けられている2つの撮像素子103a,103bを備えている。撮像素子103a,103bは、魚眼レンズ102a,102bによる光学像を電気信号の画像データに変換して出力するCMOS(Complementary Metal Oxide Semiconductor)センサやCCD(Charge Coupled Device)センサなどの画像センサ、この画像センサの水平又は垂直同期信号や画素クロックなどを生成するタイミング生成回路、この撮像素子の動作に必要な種々のコマンドやパラメータなどが設定されるレジスタ群などを有している。
撮像ユニット101の撮像素子103a,103bは、各々、画像処理ユニット104とパラレルI/Fバスで接続されている。一方、撮像ユニット101の撮像素子103a,103bは、撮像制御ユニット105とは別に、シリアルI/Fバス(I2Cバス等)で接続されている。画像処理ユニット104、撮像制御ユニット105及び音処理ユニット109は、バス110を介してCPU111と接続される。さらに、バス110には、ROM112、SRAM113、DRAM114、操作部115、ネットワークI/F116、通信部117、電子コンパス118、及び端子121なども接続される。
画像処理ユニット104は、撮像素子103a,103bから出力される画像データをパラレルI/Fバスを通して取り込み、それぞれの画像データに対して所定の処理を施した後、これらの画像データを合成処理して、図3(c)に示されているような正距円筒射影画像ECのデータを作成する。
撮像制御ユニット105は、一般に撮像制御ユニット105をマスタデバイス、撮像素子103a,103bをスレーブデバイスとして、I2Cバスを利用して、撮像素子103a,103bのレジスタ群にコマンド等を設定する。必要なコマンド等は、CPU111から受け取る。また、撮像制御ユニット105は、同じくI2Cバスを利用して、撮像素子103a,103bのレジスタ群のステータスデータ等を取り込み、CPU111に送る。
また、撮像制御ユニット105は、操作部115のシャッターボタンが押下されたタイミングで、撮像素子103a,103bに画像データの出力を指示する。特殊撮影装置1によっては、ディスプレイによるプレビュー表示機能や動画表示に対応する機能を持つ場合もある。この場合は、撮像素子103a,103bからの画像データの出力は、所定のフレームレート(フレーム/分)によって連続して行われる。
また、撮像制御ユニット105は、後述するように、CPU111と協働して撮像素子103a,103bの画像データの出力タイミングの同期をとる同期制御手段としても機能する。なお、本実施形態では、特殊撮影装置1にはディスプレイが設けられていないが、表示部を設けてもよい。
マイク108は、音を音(信号)データに変換する。音処理ユニット109は、マイク108から出力される音データをI/Fバスを通して取り込み、音データに対して所定の処理を施す。
CPU111は、特殊撮影装置1の全体の動作を制御すると共に必要な処理を実行する。ROM112は、CPU111のための種々のプログラムを記憶している。SRAM113及びDRAM114はワークメモリであり、CPU111で実行するプログラムや処理途中のデータ等を記憶する。特にDRAM114は、画像処理ユニット104での処理途中の画像データや処理済みの正距円筒射影画像のデータを記憶する。
操作部115は、シャッターボタン115aなどの操作ボタンの総称である。ユーザは操作部115を操作することで、種々の撮影モードや撮影条件などを入力する。
ネットワークI/F116は、SDカード等の外付けのメディアやパーソナルコンピュータなどとのインターフェース回路(USBI/F等)の総称である。また、ネットワークI/F116としては、無線、有線を問わない。DRAM114に記憶された正距円筒射影画像のデータは、このネットワークI/F116を介して外付けのメディアに記録されたり、必要に応じてネットワークI/F116を介してアダプタ9a等の外部端末(装置)に送信されたりする。
通信部117は、特殊撮影装置1に設けられたアンテナ117aを介して、Wi-Fi、NFC、Bluetooth等の近距離無線通信技術によって、アダプタ9a等の外部端末(装置)と通信を行う。この通信部117によって、正距円筒射影画像のデータを外部端末(装置)に送信することができる。
電子コンパス118は、地球の磁気から特殊撮影装置1の方位を算出し、方位情報を出力する。この方位情報はExifに沿った関連情報(メタデータ)の一例であり、撮影画像の画像補正等の画像処理に利用される。なお、関連情報には、画像の撮影日時、及び画像データのデータ容量の各データも含まれている。
ジャイロセンサ119は、全天球カメラ20の移動に伴う角度の変化(Roll角、Pitch角、Yaw角)を検出するセンサである。角度の変化はExifに沿った関連情報(メタデータ)の一例であり、撮像画像の画像補正等の画像処理に利用される。
加速度センサ120は、3軸方向の加速度を検出するセンサである。特殊撮影装置1aは、加速度センサ120が検出した加速度に基づいて、自装置(特殊撮影装置1a)の姿勢(重力方向に対する角度)を算出する。特殊撮影装置1aに、ジャイロセンサ119と加速度センサ120の両方が設けられることによって、画像補正の精度が向上する。
端子121は、Micro USB用の凹状の端子である。
<一般撮影装置の電気的なハードウェア構成>
次に、図13を用いて、一般撮影装置の電気的なハードウェア構成について説明する。図13は、一般撮影装置3のハードウェア構成図である。
図13に示されているように、一般撮影装置3aは、撮像ユニット301、画像処理ユニット304、撮像制御ユニット305、マイク308、音処理ユニット309、バス310、CPU311、ROM312、SRAM313、DRAM314、操作部315、ネットワークI/F316、通信部317、アンテナ317a、電子コンパス318、ディスプレイ319、及びアクセサリシュ320によって構成されている。画像処理ユニット104及び撮像制御ユニット105は、バス110を介してCPU111と接続される。
各構成304、310、311、312、313、314、315、316、317、317a、318は、それぞれ、一般撮影装置3aにおける各構成104、110、111、112、113、114、115、116、117、117a、118と同様の構成であるため、その説明を省略する。
更に、特殊撮影装置1の撮影ユニット301は、図13に示されているように、撮像素子303の前面にレンズユニット306、及びメカニカルシャッタ307が外部から撮像素子303の方向に順に設けられている。
撮像制御ユニット305は、基本的に撮像制御ユニット105と同様の構成及び処理を行なうが、更に、操作部315によって受け付けられた利用者の操作に基づいて、レンズユニット306、及びメカニカルシャッタ307の駆動を制御する。
また、ディスプレイ319は、操作メニュー、撮影中又は撮影後の画像を表示させる表示手段の一例である。
アクセサリシュ320は、一眼レフデジタルカメラや高級なコンパクトデジタルカメラに設けられており、外付けのフラッシュやファインダ等を機械的及び電気的に取り付けるための部位である。なお、電気的な接点があるアクセサリシュは、特にホットシュと言われ、電気的な接点がないアクセサリシュは、特にコールドシュと言われている。
<アダプタの電気的なハードウェア構成>
次に、図14を用いて、アダプタ9aの電気的なハードウェアについて説明する。図14は、アダプタ9aの電気的なハードウェア構成図である。なお、アダプタ9b,9cの電気的なハードウェアは、アダプタ9aと同様であるため、アダプタ9b,9cの電気的なハードウェアの説明は省略する。
図14に示されているように、アダプタ9aは、CPU901、ROM902、RAM903、EEPROM904、通信部917、及びアンテナ917aによって構成されている。
これらのうち、CPU901は、アダプタ9a全体の動作を制御する。ROM902は、CPU901やIPL等のCPU901の駆動に用いられるプログラムを記憶する。RAM903は、CPU901のワークエリアとして使用される。EEPROM904は、CPU901の制御にしたがって、アダプタ用プログラム等の各種データの読み出し又は書き込みを行う。通信部917は、アダプタ9aに設けられたアンテナ917aを介して、Wi-Fi、NFC、Bluetooth等の近距離無線通信技術によって、一般撮影装置3a等の外部端末(装置)と通信を行う。この通信部917によって、外部端末(装置)から透視射影方式で撮影された平面画像のデータが取得される。
また、アダプタ9aは、アクセサリシュ接続部材64、Micro USB用の凸状の端子65、チルト用のステッピングモータ71a、チルト用のフォトインタラプタ74a、パン用のステッピングモータ81、パン用のフォトインタラプタ84を備えている。なお、図9において説明したため、これらの説明を省略する。
また、アダプタ9aは、バスライン910を備えている。バスライン910は、CPU901等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。
なお、上記各プログラムが記憶されたHD(Hard Disk)やCD−ROM等の記録媒体は、いずれもプログラム製品(Program Product)として、国内又は国外へ提供されることができる。
<<実施形態の機能構成>>
次に、図12乃至図15を用いて、本実施形態の機能構成について説明する。図15は、本実施形態の撮影システムの一部を構成する、特殊撮影装置1、一般撮影装置3、及びアダプタ9aの各機能ブロック図である。なお、アダプタ9b,9cの各機能は、アダプタ9aの機能と同様であるため、アダプタ9b,9cの各機能の説明は省略する。
<特殊撮影装置の機能構成>
まず、図12及び図15を用いて、特殊撮影装置1の機能構成について詳細に説明する。図15に示されているように、特殊撮影装置1は、接触通信部11、受付部12、撮像部13、集音部14、画像・音処理部15、判断部17、非接触通信部18、及び記憶・読出部19を有している。これら各部は、図12に示されている各構成要素のいずれかが、SRAM113からDRAM114上に展開された特殊撮影装置用のプログラムに従ったCPU111からの命令によって動作することで実現される機能又は手段である。
また、特殊撮影装置1は、図12に示されているROM112、SRAM113、及びDRAM114によって構築される記憶部1000を有している。
(特殊撮影装置の各機能構成)
次に、図12及び図15を用いて、特殊撮影装置1の各機能構成について詳細に説明する。
特殊撮影装置1の接触通信部11は、主に、図12に示されている端子121、及びCPU111の処理によって実現され、後述のアダプタ9の接触通信部91bとの間で各種データ及び各種信号の授受を行なう。
受付部12は、主に、図12に示されている操作部115及びCPU111の処理によって実現され、利用者からの操作入力を受け付ける。
撮像部13は、主に、図12に示されている撮像ユニット101、画像処理ユニット104、及び撮像制御ユニット105、並びにCPU111の処理によって実現され、被写体や風景等を撮像し、撮影画像データを得る。この撮影画像データは、図3(a),(b)に示されているように、全天球画像データの元になる2つの半球画像データである。
集音部14は、図12に示されているマイク108及び音処理ユニット109、並びにCPU111の処理によって実現され、特殊撮影装置1の周囲の音を集音する。
画像・音処理部15は、主にCPU111からの命令によって実現され、撮影部13によって得られた撮影画像データ、又は集音部14によって得られた音データに対して、各種処理を行なう。例えば、画像・音処理部15は、2つの撮像素子103a,103bのそれぞれによって得られた2つの半球画像データ(図3(a),(b)参照)に基づいて、正距円筒射影画像データ(図3(c)参照)を作成する。
判断部17は、CPU111の処理によって実現され、各種判断を行なう。
非接触通信部18は、主に、CPU111の処理、並びに通信部117及びアンテナ117aによって実現され、後述のアダプタ9の非接触通信部98と、Wi-Fi等による近距離無線通信技術によって通信することができる。
記憶・読出部19は、主に、図12に示されているCPU111の処理によって実現され、記憶部1000に各種データ(または信号)を記憶したり、記憶部1000から各種データ(または信号)を読み出したりする。
<一般撮影装置の機能構成>
続いて、図13及び図15を用いて、一般撮影装置3の機能構成について詳細に説明する。図15に示されているように、一般撮影装置3は、接触通信部31、受付部32、撮像部33、集音部34、画像・音処理部35、表示制御部36、判断部37、非接触通信部38、及び記憶・読出部39を有している。これら各部は、図13に示されている各構成要素のいずれかが、SRAM313からDRAM314上に展開された特殊撮影装置用のプログラムに従ったCPU311からの命令によって動作することで実現される機能又は手段である。
また、一般撮影装置3は、図13に示されているROM312、SRAM313、及びDRAM314によって構築される記憶部3000を有している。
(一般撮影装置の各機能構成)
一般撮影装置3の接触通信部31は、主に、図13に示されているアクセサリシュ320、及びCPU311の処理によって実現され、後述のアダプタ9の接触通信部91aに接続された場合に、接触通信部91aの間で各種データ及び各種信号の授受を行なう。
受付部32は、主に、図13に示されている操作部315及びCPU311の処理によって実現され、利用者からの操作入力を受け付ける。
撮像部33は、主に、図13に示されている撮像ユニット301、画像処理ユニット304、及び撮像制御ユニット305、並びにCPU311の処理によって実現され、被写体や風景等を撮像し、撮影画像データを得る。この撮影画像データは、透視射影方式で撮影された平面画像データである。
集音部34は、図13に示されているマイク308及び音処理ユニット309、並びにCPU311の処理によって実現され、一般撮影装置3の周囲の音を集音する。
画像・音処理部35は、主にCPU311からの命令によって実現され、撮影部33によって得られた撮影画像データ、又は集音部34によって得られた音データに対して、各種処理を行なう。
表示制御部36は、図13に示されているCPU311の処理によって実現され、ディスプレイ319に、撮影中又は撮影後の撮影画像データに係る平面画像Pを表示させる。
判断部37は、CPU311の処理によって実現され、各種判断を行なう。例えば、判断部37は、利用者によって、シャッターボタン315aが押下されたかを判断する。
非接触通信部38は、主に、CPU311、並びに通信部317及びアンテナ317aによって実現され、後述のアダプタ9の非接触通信部98と、Wi-Fi等による近距離無線通信技術によって通信することができる。
記憶・読出部39は、主に、図13に示されているCPU311の処理によって実現され、記憶部3000に各種データ(または信号)を記憶したり、記憶部3000から各種データ(または信号)を読み出したりする。
<アダプタの機能構成>
次に、図14及び図15を用いて、アダプタ9aの機能構成について詳細に説明する。アダプタ9aは、図15に示されているように、接触通信部91a,91b、駆動部95A、制御部96、非接触通信部98、及び記憶・読出部99を有している。これら各部は、図14に示されている各構成要素のいずれかが、EEPROM904からRAM903上に展開されたアダプタ9a用プログラムに従ったCPU901からの命令によって動作することで実現される機能又は手段である。
また、アダプタ9aは、図14に示されているROM902、RAM903、及びEEPROM904によって構築される記憶部9000を有している。この記憶部9000には、駆動管理DB9001が構築されている。この駆動管理DB9001は、図16の示されている駆動管理テーブルによって構成されている。
なお、アダプタ9aは、一般撮影装置3が接触通信部31を有していない場合であっても、一般撮影装置3との通信を可能にするため、一般撮影装置3の非接触通信部38と無線通信可能な非接触通信部98を有している。
(駆動管理テーブル)
次に、図16を用いて、駆動管理テーブルについて説明する。図16に示されているように、駆動管理テーブルでは、焦点距離(mm)に対する被写体距離(m)毎に、基準位置からのチルト角度(θ)及びパン角度(φ)を示す制御値が管理されている。被写体距離は、一般撮影装置3aから被写体まで距離、詳細には、一般撮影装置3aの撮像素子303から被写体まで距離を示している。
(アダプタの各機能構成)
アダプタ9aの接触通信部91aは、主に、図14に示されているアクセサリシュ接続部材64及びCPU901の処理によって実現され、一般撮影装置3aの接触通信部31に接続された場合に、接触通信部31の間で各種データ及び各種信号の授受を行なう。例えば、接触通信部91aは、取得部としての役割を果たし、一般撮影装置3でズーム操作又はフォーカス操作が行なわれた場合に、この操作の内容を示す操作データを一般撮影装置3の接触通信部31から取得する。また、接触通信部91aは、取得部として、一般撮影装置3でシャッターボタン315aが押下された場合に、一般撮影装置3の接触通信部31から撮影開始情報を示すデータ(又は信号)を取得する。
また、アダプタ9aの接触通信部91bは、主に、図14に示されているMicro USBの凸状の端子65及びCPU901の処理によって実現され、特殊撮影装置1aの接触通信部11に接続された場合に、接触通信部11の間で各種データ及び各種信号の授受を行なう。例えば、接触通信部91bは、提供部としての役割を果たし、接触通信部91aによって取得された操作データを、特殊撮影装置1aの接触通信部11に提供する。また、接触通信部91bは、開始部としての役割を果たし、接触通信部91aによって撮影開始情報が取得されたことに基づき、特殊通信部11に撮影開始要求情報を示すデータ(又は信号)を提供する。
駆動部95Aは、制御部96の制御命令によって駆動する。また、駆動部95Aは、チルト用回動部95a、及びパン用回動部95bを有している。これらのうち、チルト用回動部95aは、チルト機構(主に、本体61a、ステッピングモータ71a、及びアーム73a)によって実現され、特殊撮影装置1をチルト方向(θ)に移動させることができる。即ち、チルト用回動部95aは、特殊撮影装置1の対物レンズであるレンズ102a,102bを変位させることができる。また、パン用回動部95bは、パン機構(主に、基板62、ステッピングモータ81、及び回動台83)によって実現され、特殊撮影装置1をパン方向(φ)に移動させることができる。即ち、パン用回動部95bは、特殊撮影装置1の対物レンズであるレンズ102a,102bを変位させることができる。
制御部96は、図14に示されているCPU901の処理によって実現され、駆動管理テーブルにおいて、一般撮影装置3から受信された操作データに対応するチルト角度(θ)及びパン角度(φ)に基づいて、それぞれチルト用回動部95a及びパン用回動部95bの駆動を制御する。
非接触通信部98は、主に、CPU901、並びに通信部917及びアンテナ917aによって実現され、一般撮影装置3の非接触通信部38と、Wi-Fi等による近距離無線通信技術によって通信することができる。一般撮影装置3にアクセサリシュが設けられていなかったり、アクセサリシュがコールドシュであったりする場合でも、アダプタ9aは、非接触通信部98によって一般撮影装置3と通信することができる。そのため、非接触通信部98は、上述の接触通信部91aによる取得部、並びに接触通信部91bによる提供部及び開始部の役割も果たす。
記憶・読出部39は、主に、図14に示されているCPU911の処理によって実現され、記憶部9000に各種データ(または信号)を記憶したり、記憶部9000から各種データ(または信号)を読み出したりする。
<<チルト変位及びパン変位の詳細な説明>>
続いて、本実施形態におけるチルト変位及びパン変位による視差の変化ついて、詳細に説明する。
<チルト変位による視差>
まずは、図17及び図18を用いて、チルトによる視差の変化について説明する。図17は、チルト角度θ方向の回転に伴う特殊撮影装置の上下方向の移動と視差との関係を示した説明図である。図18は、チルト角度θと被写体距離L1との関係と被写体の見え方との説明図である。
図17では、一般撮影装置3aから距離L1の位置に被写体ob1が位置しているときの状況が示されている。ここでは、アダプタ9aのチルト機構によって、特殊撮影装置1aがチルト変位の基準位置rp1から角度θ移動するとする。θ<90°チルト変位した状態ST1と、基準位置からθ=90°チルト変位した状態ST2を示している。状態ST1と状態ST2とで、特殊撮影装置1aのレンズ102a(102b)の位置が変化した場合、2つの状態ST1,ST2で垂直方向に距離L2の差が生じる。また、特殊撮影装置1aと一般撮影装置3aの視差は、状態ST1の場合には角度α1、状態ST2の場合には角度β1とすると、視差の関係は、β1>α1の関係が成立する。
一般撮影装置3aのレンズ306aの位置と特殊撮影装置1aのレンズ102a(102b)の位置が近付くほど視差が小さくなることから、チルト変位の制御で、特殊撮影装置1aのレンズ102a(102b)位置を一般撮影装置3aのレンズ306aの位置に近付けることで、視差を小さくすることができる。
また、図18(a)は、ある被写体ob1の形状を示しており、ここでは直方体の被写体を示している。図18(b)は、一般撮影装置3aのレンズ306aから見た場合の被写体ob1の見え方を示している。被写体ob1の直方体の1面のみが見える方向から撮影しているとする。図18(c)は、特殊撮影装置1aのレンズ306aから被写体ob1を見た場合の見え方を示している。縦方向に一般撮影装置3aと被写体ob1との距離である被写体距離L1、横方向にアダプタ9aのチルト変位を制御するチルト角度θを示している。チルト角度θは、一般撮影装置3aの光軸方向に対して垂直方向からの角度とする(図8参照)。
被写体距離L1が∞のとき、すなわち被写体ob1が限りなく遠くに存在する場合は、チルト角度θに関係なく特殊撮影装置1aレンズ102a(102b)から見える被写体ob1は一般撮影装置3aと同じで直方体の側面(「Y」が表された面)しか見えない。これに対して、被写体距離L1が小さくなってくる場合(5m、1m)、すなわち被写体ob1が一般撮影装置3aに近づいて来る場合、チルト角度θ=0°では一般撮影装置3aと特殊撮影装置1aとで視差が発生し、特殊撮影装置1aから見える被写体ob1は直方体の側面だけでなく上面(「X」が表された面)も見える。チルト角度をθ=0°に近づけると、一般撮影装置3aとの視差が減少することで直方体の上面の見える割合が減り、特殊撮影装置1aからの被写体ob1の見え方が一般撮影装置3aの見え方に近づいて来る。このように、被写体距離L1に応じてアダプタ9aのチルト変位を制御するためのチルト角度(θ)を変更することで、一般撮影装置3aと特殊撮影装置1aの視差を制御することが可能となる。また、被写体距離L1が大きくなるに従って一般撮影装置3aと特殊撮影装置1aの視差の影響が小さくなることから、被写体距離L1が大きいときには一般撮影装置3aから特殊撮影装置1aを離すことで、特殊撮影装置1aに一般撮影装置3aが写りこむ影響を低減することが可能となる。よって、図16に示されている駆動管理テーブルでは、被写体距離の値が小さいほど特殊撮影装置1aを一般撮影装置3aに近付け、被写体距離の値が大きいほど特殊撮影装置1aを一般撮影装置3aから離すような制御値(チルト角度)を設定するとよい。また、焦点距離が大きくなると、一般撮影装置3aで撮影される被写体ob1の大きさが大きくなり、視差の影響を受けやすくなる傾向があるため、焦点距離が大きいほど特殊撮影装置1aを一般撮影装置3aに近付けるように制御値(チルト角度)を設定するとよい。
<パン変位による視差>
次に、図19乃至図21を用いて、パン変位による視差の変化について説明する。図19は、パン角度φとレンズ繋ぎ目との関係を示した図である。図21は、全天球画像における平面画像の位置を示した概念図である。
アダプタ9aのパン変位の制御により、特殊撮影装置1aが回動し、図19(a)に示されているように、特殊撮影装置1aレンズ306aは図示の回動方向(φ)でパン変位する。図19(b)〜(f)は、特殊撮影装置1aのレンズ102a(102b)が回動したときの状態を模式的に示したもので、矢印方向から見た場合の第1の状態から第5の状態までの5パターンの回動状態を示している。本実施形態では、2つのレンズ102a,102bを備えた特殊撮影装置1aを使って説明を行っているため、レンズの継ぎ目102cが発生する。ここでレンズの継ぎ目102cとは、物理的なレンズの継ぎ目ではなく、各レンズ102a,102b間の撮像範囲の重複領域のことを指している。通常、特殊撮影装置1aは、複数個のレンズを用いて全天球(360度)を撮像しており、使用するレンズの個数が多くなるほどレンズの継ぎ目は多くなる。第1の状態(図19(b)参照)の場合、レンズ102aは被写体ob1に対して垂直方向に向いている。また、第1の状態の場合、レンズの継ぎ目102cは被写体ob1の方向に向いている。特殊撮影装置1aのレンズ102a(102b)が第2の状態(φ=22.5°)、第3の状態(φ=45°)、第3の状態(φ=67.5°)及び第5の状態(φ=90°)に変位するにつれて、レンズの継ぎ目102cも変位し、第5の状態では、レンズの継ぎ目102cが被写体ob1に対して垂直方向に向いている。
図20は、レンズの繋ぎ目の位置による全天球画像への影響を示す図である。図20(a)は、特殊撮影装置1aで撮影したときに得られる全天球画像を示しており、図20(b)は、2つのレンズ102a,102bを使用した場合に、各レンズ102a,102bを介して撮像されている領域を示している。ここでは、レンズ102aを介して撮像される領域をA面、レンズ102bを介して撮像される領域をB面と示している。また、点線で示した位置が2個のレンズの継ぎ目102c1,102c2の位置となる。図20(c)は、全天球画像における各レンズ102a,102bの各光軸中心ca,cbを示している。一般的に、特殊撮影装置1aに用いられるレンズ102a,102bは、1つのレンズで広い撮像範囲を得るために魚眼レンズが用いられる。魚眼レンズは一般的なレンズに比べ光軸中心の位置から距離が離れるにつれて、即ち、レンズ繋ぎ目102c1,102c2に近づくにつれて、結像性能や収差特性が悪くなる。更に、レンズの繋ぎ目102c1,102c2付近は、光軸中心に比べ光量落ち(周辺光量落ち)も発生するため、レンズの繋ぎ目102c1,102c2付近の画質は悪くなる傾向にある。また、全天球画像は、各レンズ102a,102bを介して撮影されることで得られた画像を繋ぎ合わせて作成されるため、繋ぎ合わせ精度や画像撮影条件(明るさ、感度)の違いにより繋ぎ目が目立ち、画質が悪くなる場合もある。
図21は、全天球画像における平面画像の位置を示した概念図である。図21(a)は、図19(b)の状態の撮影画像を示し、一般撮影装置3のレンズ306aと特殊撮影装置1aのレンズ102aが同じ被写体ob1の方向に向いている場合の撮影画像を示している。この場合、特殊撮影装置1によって得られた2つの画像(A面とB面)と、一般撮影装置3によって得られた平面画像P(重畳画像S)を表している。平面画像Pは矩形の点線枠内の画像である。この場合、レンズ102aの光軸中心付近に一般撮影装置3の撮像範囲が位置するため、一般撮影装置3の撮像範囲は、全天球画像で画質の良い領域となる。
図21(b)は、図19(d)の状態の撮影画像を示し、図21(a)の場合に対して、特殊撮影装置1aをφ=45°回動させた場合の画像を表している。この場合、レンズ102aの光学中心とレンズ継ぎ目102c1の中間付近に一般撮影装置3の撮像範囲が位置している。
図21(c)は、図19(f)の状態の撮影画像を示し、図21(a)の場合に対して、特殊撮影装置1aをφ=90°回動させた場合の画像を表している。即ち、図21(c)は、特殊撮影装置1aのレンズの繋ぎ目102c1を被写体ob1に向けた場合の画像を示している。この場合、上述のように、レンズの継ぎ目102c1付近の画質は悪くなる傾向にあるが、一般撮影装置3による高精細な平面画像Pを重畳すれば、画質が悪い点を補うことができる。
図21(d)は、図21(a)の場合に対して、特殊撮影装置1aをφ=270°回動(φ=−90°)させた場合の画像を表している。即ち、図21(d)は、特殊撮影装置1aのレンズの繋ぎ目102c2を被写体ob1に向けた場合の画像を示している。この場合も、上述のように、レンズの継ぎ目102c2付近の画質は悪くなる傾向にあるが、一般撮影装置3による高精細な平面画像Pを重畳すれば、画質が悪い点を補うことができる。
以上のように、特殊撮影装置1aで得られた画像において、一般撮影装置3が写り込む領域に対しては、一般撮影装置3で得られた高精細な画像を重畳して補うことができるため、この写り込む領域をレンズの繋ぎ目102c付近で撮像するようにすることで、一般撮影装置3と特殊撮影装置1aとの視差を低減することを優先している。
<<実施形態の処理又は動作>>
続いて、図22乃至図25を用いて、本実施形態の撮影システムが実行する撮影方法を説明する。図22は、撮影システムの連携撮影を示したシーケンス図である。なお、以下では、被写体や風景等の撮影を行なう場合について説明するが、撮影と同時に集音部14によって周囲の音を録音してもよい。
また、一般撮影装置3からアダプタ9aを介して特殊撮影装置1aへデータを送信するルートは複数ある。
第1のルートは、全て電気接点を用いて通信する場合である。例えば、一般撮影装置3の接触通信部31からアダプタ9aの接触通信部91a,91bを介して特殊撮影装置1aの接触通信部11にデータが送信される場合である。
第2のルートは、電気接点と無線通信の併用として、電気接点による通信後に無線通信する場合である。例えば、一般撮影装置3の接触通信部31からアダプタ9aの接触通信部91a及び非接触通信部98を介して特殊撮影装置1aの非接触通信部18にデータが送信される場合である。
第3のルートは、電気接点と無線通信の併用として、無線通信後に電気接点による通信を行なう場合である。例えば、一般撮影装置3の非接触通信部38からアダプタ9aの非接触通信部98及び接触通信部91bを介して特殊撮影装置1aの接触通信部11にデータが送信される場合である。
第4のルートは、全て無線通信を行なう場合である。例えば、一般撮影装置3の非接触通信部38からアダプタ9aの非接触通信部98を介して特殊撮影装置1aの非接触通信部18にデータが送信される場合である。
なお、以下では、第1のルートについて説明するが、他のルートであってもよい。
まず、利用者が図11に示されているように撮影システムを持った状態で、一般撮影装置3に対してズーム操作又はフォーカス操作を行なうと、一般撮影装置3の受付部32が利用者の操作を受け付ける(ステップS11)。なお、フォーカス操作は、利用者がシャッターボタン315aを半押しすることで一般撮影装置3aが自動的に焦点を合わせる場合、利用者が手動で焦点を合わせる場合、利用者がシャッターボタン315aを半押し等しなくても、一般撮影装置3のレンズ306を被写体に向けただけで一般撮影装置3が自動的に焦点を合わせる場合がある。
そして、受付部32が利用者の操作を受け付ける度に、一般撮影装置3の接触通信部31が、アダプタ9aの接触通信部91aに対して、操作データを送信する(ステップS12)。この操作データは、ステップS11で受け付けられた操作内容に基づくデータである。例えば、ズーム操作が行なわれた場合には、操作データに、変更後の焦点距離を示す焦点距離情報が含まれている。また、フォーカス操作が行なわれた場合には、操作データに、変更後の被写体距離を示す被写体距離情報が含まれている。これにより、アダプタ9aの接触通信部91aは、操作データを受信する。
次に、アダプタ9aの記憶・読出部19は、操作データを検索キーとして、駆動管理DB9001(図16参照)を検索することにより、対応する制御値を読み出す(ステップS13)。
そして、制御部96が、制御値に基づき、駆動部95Aの駆動を制御する(ステップ14)。
これにより、チルト用回動部95a及びパン用回動部96bのうち少なくとも一方が回動することで、一般撮影装置3のレンズ308aに対して特殊撮影装置1aのレンズ102a,102bを変位させるように、特殊撮影装置1aを変位させることができる。この場合の変位は、上述のチルト変位及びパン変位のうちの少なくとも一方の変位である。
次に、利用者は、図11に示されているように撮影システムを持った状態のままで、シャッターボタン315aを完全に押下すると、一般撮影装置3の受付部32が利用者から撮影開始を受け付ける(ステップS15)。そして、一般撮影装置3の接触通信部31が、アダプタ9aの接触通信部91aに対して、撮影開始を示す撮影開始情報を送信する(ステップS16)これにより、アダプタ9aの接触通信部91aは、撮影開始情報を受信する。また、一般撮影装置3では、撮像部33が撮影を開始する(ステップS17)。
一方、アダプタ9aの接触通信部91bは、特殊撮影装置1aの接触通信部11に対して、撮影開始の要求を示す撮影開始要求情報を送信する(ステップS18)。これにより、特殊撮影装置1aの接続通信部11は、撮影開始要求情報を受信する。
以上により、一般撮影装置3の撮像部33が撮影を開始するとともに(ステップS17)、この撮影の開始に連携して、特殊撮影装置1aの撮像部13も撮影を開始する(ステップS18)。その後、他のPC等の通信端末で、特殊撮影装置1aによって撮影された2つの半球画像のデータに基づき全天球画像CEを作成し、更に、一般撮影装置3で撮影された高精細な平面画像P(重畳画像S)を重畳することができる。
なお、ステップS14において駆動部95Aの駆動制御を実行した後、特殊撮影装置1aが設定した位置に移動するまでには所定の時間を要するが、ステップS15が移動完了前に発生した場合には特殊撮影装置1aの移動完了を待たずに、一般撮影装置3aはステップS16、S17を実行する。そして特殊撮影装置1aは移動が完了した後に、ステップS18の撮影開始要求情報に基づいて撮影を実行する。このようにすることで、高画質で撮影したい一般撮影装置3による撮影が使用者の意図したタイミングを優先して実行されるようになる。
続いて、図23乃至図25を用いて、重畳表示された状態について詳細に説明する。図23は、全天球画像に平面画像を重畳した場合の二次元の概念図である。ここでは、図5に対して、平面画像Pを重畳している場合を示している。図23に示されているように、高精細な重畳画像Sは、立体球CSに張り付けられた低精細な全天球画像CEに対し、位置パラメータに従って、仮想カメラIC側に重畳されている。
図24は、全天球画像に平面画像を重畳した場合の三次元の概念図である。図24では、立体球CSに全天球画像CE及び重畳画像Sが貼り付けられ、重畳画像Sを含む画像が所定領域画像Qとなっている状態を表している。
図25(a)は重畳表示しない場合のワイド画像の表示例、図25(b)は重畳表示しない場合のテレ画像の表示例、図25(c)は重畳表示する場合のワイド画像の表示例、図25(d)は重畳表示する場合のテレ画像の表示例を示した概念図である。なお、図中の波線は、説明の便宜上表しただけであり、実際にディスプレイ517上には表示されてもよく、表示されなくてもよい。
図25(a)に示されているように、全天球画像CEに対して平面画像Pを重畳して表示しない場合、図25(a)における波線で示される領域まで拡大表示すると、図25(b)に示されているように、低精細の画像のままとなっており、利用者は鮮明でない画像を見ることになってしまう。これに対して、図25(c)に示されているように、全天球画像CEに対して平面画像Pを重畳して表示する場合、図25(c)における波線で示される領域まで拡大表示すると、図25(d)に示されているように、高精細の画像が表示され、利用者は鮮明な画像を見ることができる。特に、波線で示されている領域に、文字が描かれた看板等が表示されている場合、高精細な平面画像Pを重畳表示しなければ、拡大表示させても文字がぼやけてしまい、何が書かれてあるのか分からない。しかし、高精細な平面画像Pを重畳表示すれば、拡大表示させても文字が鮮明に見えるため、利用者は何が書かれているのかを把握することができる。
<<本実施形態の主な効果>>
以上説明したように本実施形態によれば、広角の画像の一部の領域に狭角の画像を嵌め込んで表示するために、一般撮影装置3と特殊撮影装置1aを同時に使用して撮影する場合、埋め込み後の画像に違和感がないようにすべく、利用者が一人であっても、一般撮影装置3と特殊撮影装置1aとの撮影開始のタイミングを合わせることができるという効果を奏する。
また、一般撮影装置3におけるズーム操作又はフォーカス操作等の所定の操作に基づき、アダプタ9aが一般撮影装置3の対物レンズ306aに対して、特殊撮影装置1aの(対物)レンズ102a,bを変位させるように、特殊撮影装置1aを移動又は回動させる駆動を行なうことで、上述のように、視差低減を優先したり(図8(a)参照)、特殊撮影装置1aによる画像の高画質領域における利用者の手や腕の写り込みの防止を優先したり(図8(b)参照)することができる。よって、利用者は、一般撮影装置3に対してズーム操作又はフォーカス操作する度に、手動で特殊撮影装置1aを移動させたり回転させたりする手間を省くことができる。
〔第2の実施形態〕
続いて、図26を用いて、本発明の第2の実施形態に係る撮影システムについて説明する。図26は、第2の実施形態に係る撮影システムの概略図である。
図26に示されているように、本実施形態の撮影システムは、特殊撮影装置1a、一般撮影装置3b、アダプタ9a、及びブラケット210aによって構成されている。
一般撮影装置3bは、アクセサリシュ320が設けられていないコンパクトデジタルカメラである。本実施形態では、専用のブラケット210aを用いている。これ以外は、第1の実施形態と同じであるため、同一の構成及び機能は同一の符号を付して、その説明を省略し、相違点のみを説明する。
ブラケット210aは、本体211a、支持棒212、三脚ねじ213、及びアクセサリシュ214によって構成されている。本体211a及び支持棒212は、棒状の金属又はプラスティックである。本体211aの基端部には、三脚ねじ213が設けられている。本体211aの先端部には、支持棒212の下端部が取り付けられており、支持棒212は本体211aから上方へ向けて設けられている。支持棒212の上端部には、アクセサリシュ214が設けられている。アクセサリシュ214には、アダプタ9aのアクセサリシュ接続部材64を接続することができる。但し、図26に示されているアクセサリシュ214は、電気接点のないコールドシュである。アダプタ9aには特殊撮影装置1aが取り付けられ、図26(a)のように一般撮影装置3bに対して特殊撮影装置1aを倒すように接近させた場合には、丁度、特殊撮影装置1aのレンズ102aの中心と、一般撮影装置3bのレンズ306bの中心が同じ鉛直線上に位置する。また、図26(b)のように一般撮影装置3bに対して特殊撮影装置1aをθ=90度起こすように遠ざけさせる場合には、回動台83の回転によって、特殊撮影装置1aのレンズ102a,102bの向きもφ=90度回転する。
図26(a)は初期状態を示し、図26(b)は変位後の状態を示す。図26(a)の初期状態は、一般撮影装置3bのレンズ306bと特殊撮影装置1aのレンズ102aを近づけることで、視差の低減を優先させた近距離被写体の撮影に適したパターンを示す。一方、図26(b)の変位後の状態は、特殊撮影装置1aの画質の悪い領域を補い、中・遠距離被写体の撮影に適したパターンを示す。コンパクトデジタルカメラの場合には、デジタル一眼レフカメラのように交換可能なレンズ部分が長くないため、図26(a)のように特殊撮影装置1aの画質の悪い領域に、一般撮影装置3bの本体、シャッターボタン315aや利用者(撮影者)の手が写り込むように、一般撮影装置3bと特殊撮影装置1aのレンズの光軸が平行になるように設置する方法も適している。
また、本実施形態の一般撮影装置3bにはアクセサリシュ320が設けられていないため、データの通信ルートは、上述の第3のルート又は第4のルートである。
<<本実施形態の主な効果>>
以上のような構成により、第1の実施形態と同様の動作又は処理を行なうことができ、更に、アクセサリシュが設けられていないタイプのコンパクトデジタルカメラであっても、第1の実施形態と同様の効果を奏する。
〔第3の実施形態〕
続いて、図27を用いて、本発明の第3の実施形態に係る撮影システムについて説明する。図27は、第3の実施形態に係る撮影システムの概略図である。図27に示されているように、本実施形態の撮影システムは、特殊撮影装置1b、一般撮影装置3c、アダプタ9a、及びブラケット210bによって構成されている。特殊撮影装置1bは、第1,2の実施形態の特殊撮影装置1aよりも短いタイプである。一般撮影装置3cは、アクセサリシュ320が設けられたタイプのコンパクトデジタルカメラである。また、本実施形態では、専用のブラケット210bを用いている。これ以外は、第2の実施形態と同じであるため、同一の構成及び機能は同一の符号を付して、その説明を省略し、相違点のみを説明する。
ブラケット210bは、本体211b、アクセサリシュ214、及びアクセサリシュ接続部材222によって構成されている。本体211bは、棒状の金属又はプラスティックである。本体211bの基端部には、アクセサリシュ接続部材222が設けられている。本体211bの先端部には、アクセサリシュ214が設けられている。そして、アクセサリシュ接続部材222とアクセサリシュ214は、空洞である本体211b内の電気コード等を介して電気的に接続されている。アクセサリシュ214には、アダプタ9aのアクセサリシュ接続部材64を接続することができる。この場合のアクセサリシュ214は、電気接点のあるホットシュである。アダプタ9aには特殊撮影装置1bが取り付けられ、図27(a)のように一般撮影装置3cに対して特殊撮影装置1bを倒すように接近させた場合には、丁度、特殊撮影装置1bのレンズ102aの中心と、一般撮影装置3cのレンズ306bの中心が同じ鉛直線上に位置する。また、図27(b)のように一般撮影装置3cに対して特殊撮影装置1bをθ=90度起こすように遠ざけさせる場合には、回動台83の回転によって、特殊撮影装置1bのレンズ102a,102bの向きもφ=90度回転する。
図27(a)は初期状態を示し、図27(b)は変位後の状態を示す。図27(a)の初期状態は、一般撮影装置3cのレンズ306bと特殊撮影装置1bのレンズ102aを近づけることで、視差の低減を優先させた近距離被写体の撮影に適したパターンを示す。
一方、図27(b)の変位後の状態は、特殊撮影装置1bの画質の悪い領域を補い、中・遠距離被写体の撮影に適したパターンを示す。
また、本実施形態のデータの通信ルートは、上述の第1乃至第4のルートのうちの何れか一つのルートである。
<<本実施形態の主な効果>>
以上のような構成により、第1の実施形態と同様の動作又は処理を行なうことができ、更に、小型の特殊撮影装置1bであっても、第1の実施形態と同様の効果を奏する。
〔第4の実施形態〕
続いて、図28乃至図31を用いて、本発明の第4の実施形態に係る撮影システムについて説明する。図28は、第4の実施形態に係る撮影システムの概略図である。図28に示されているように、本実施形態の撮影システムは、特殊撮影装置1c、一般撮影装置3c、及びアダプタ9bによって構成されている。特殊撮影装置1cは、第3の実施形態の特殊撮影装置baよりも更に筐体が短いタイプであり、ここでは球状のタイプが示されている。これ以外は、第3の実施形態と同じであるため、同一の構成及び機能は同一の符号を付して、その説明を省略し、相違点のみを説明する。
アダプタ9bは、回転台83をφ方向に回動させる点で、アダプタ9aと同じであるが、回転台83を上下移動させる点で、アダプタ9aと異なる。図28(a)は視差低減を優先した場合、図28(b)は特殊撮影装置1cの画質の悪い領域を補うことを優先した場合を示した図である。
図28(a)は、特殊撮影装置1cが、一般撮影装置3cに取り付けられたアダプタ9bに取り付けられている状態を示しており、初期状態を示している。図8(b)は、アダプタ9bが、特殊撮影装置1cをシフト変位させることで、初期状態から垂直に移動させ、かつ特殊撮影装置1cをパン変位させることで、初期状態(φ=0°)から向きを変更(φ=90°)させた状態を示している。図28(a)のように、一般撮影装置3cに対して特殊撮影装置1cを接近させた場合には、丁度、特殊撮影装置1cのレンズ102aの中心と、一般撮影装置3cのレンズ306bの中心が同じ鉛直線上に位置する。また、図28(b)のように、一般撮影装置3cに対して特殊撮影装置1cを遠ざけさせる場合には、回動台83の回転によって、特殊撮影装置1cのレンズ102a,102bの向きもφ=90度回転する。
<<アダプタの機械的なハードウェア構成>>
図29を用いて、本実施形態に係るアダプタの機械的なハードウェアについて説明する。図29は、第4の実施形態に係る連携装置の機械的なハードウェア構成図であり、(a)は連携装置の平面図、(b)は(a)のA2−B2切断における側面図(c)は底面図、(d)は(a)の矢印C2方向から見た側面図、(e)は回動台から矢印D2方向に端子を突出させた状態を示した側面図である。なお、矢印D2方向は、図9に示されている矢印D1方向と同じである。
アダプタ9bは、垂直方向に段階的に回転台83を移動するシフト(Shift)機構と、水平方向に段階的に回転台をφ度回動するパン(Pan)機構とを備えている。アダプタ9bは、図9に示されているアダプタ9aのチルト機構に代えて、シフト機構を採用している点以外は、アダプタ9aと同じ構成を有しているため、以下では、シフト機構を説明し、これ以外の構成については、同一符号を付して説明を省略する。
本体61bには、ステッピングモータ71bが設けられている。また、アーム73bの基端部にラック機構78が設けられており、ステッピングモータ71bのモータ軸72bに設けられたピニオン機構79によって、ステッピングモータ71bの回転力が、ピニオン機構79を介してラック機構78に伝達され、アーム73bの垂直方向の動きに変換される。
これにより、ステッピングモータ71bの回動によって、アーム73bが本体61bに対して、垂直方向に段階的に移動することで、三脚ねじ63に取り付けられた物体をシフト変位させることができる。また、本体61bには、フォトインタラプタ74b設けられている。一方、アームには遮光部材75bが設けられている。これにより、アーム73bがシフト変位する場合の基準位置を検出することができる。図29におけるシフト変位の基準位置は、アーム73bが本体61bに対して最下位置に沈み込んでいる場合である(図28(a)参照)。
また、図30は、第4の実施形態に係る撮影システムのアダプタ9bにおける駆動部95Bの機能ブロック図を示している。これ以外の機能は、第1の実施形態と同様であるため、説明を省略する。また、本実施形態の駆動部95Bは、第1の実施形態と同じパン用回動部95bを有しているため、パン用回動部95bの説明も省略する。
更に、駆動部95Bは、シフト用移動部95cを有している。シフト用移動部95cは、シフト機構(主に、本体61b、ステッピングモータ71b、及びアーム73b)によって実現され、特殊撮影装置1を上下方向(L3)に移動させることができる。即ち、シフト用回動部95cは、特殊撮影装置1の対物レンズであるレンズ102a,102bを変位させることができる。
図31では、一般撮影装置3cから距離L1の位置に被写体ob2が位置しているときの状況が示されている。ここでは、アダプタ9bのシフト機構によって、特殊撮影装置1cがシフト変位の基準位置rp2から距離L3移動するとする。状態ST3と状態ST4とで、特殊撮影装置1cのレンズ102a(102b)の位置が変化した場合、2つの状態ST3,ST4で垂直方向に距離L3の差が生じる。また、特殊撮影装置1cと一般撮影装置3cの視差は、状態ST3の場合には角度α2、状態ST4βの場合には角度β2とすると、視差の関係は、β2>α2の関係が成立する。
一般撮影装置3cのレンズ306bの位置と特殊撮影装置1cレンズ102a(102b)の位置が近付くほど視差が小さくなることから、シフト変位の制御で、特殊撮影装置1cのレンズ102a(102b)位置を一般撮影装置3cのレンズ306bの位置に近付けることで、視差を小さくすることができる。
また、本実施形態のデータの通信ルートは、上述の第1乃至第4のルートのうちの何れかのルートである。
<<本実施形態の主な効果>>
以上のような構成により、第1の実施形態と同様の動作又は処理を行なうことができ、更に、筐体が短い小型の特殊撮影装置1cであっても、第1の実施形態と同様の効果を奏する。
〔第5の実施形態〕
続いて、図32を用いて、本発明の第5の実施形態に係る撮影システムについて説明する。図32は、第5の実施形態に係る撮影システムの概略図である。図31に示されているように、本実施形態の撮影システムは、特殊撮影装置1a、一般撮影装置3a、及びアダプタ9cによって構成されている。アダプタ9cは、基本的に、図29に示されているアダプタ9bと同様の構成を有しており、アクセサリシュ接続部材64の取付位置が異なるのみである。これ以外は、第4の実施形態と同じであるため、同一の構成及び機能は同一の符号を付して、その説明を省略し、相違点のみを説明する。
アダプタ9cでは、図32(a)に示されているように、アダプタ9bの場合の側面に相当する面にアクセサリシュ接続部材64が設けられている。そして、本実施形態では、一般撮影装置3cのレンズ306aのズーム操作に応じて、図32(b)に示されているように、アダプタ9cはアーム73bを入出する。この場合、パン変位(φ)は基本的に行なわないが、行なってもよい。
図32(a)のように、レンズ306aが初期状態の位置にある場合には、アーム73bも初期状態の位置にある。これに対して、図32(b)のように、レンズ306aが伸びた場合には、アーム73bが本体61bから突出することで、特殊撮影装置1aもレンズ306aが伸びた方向に伸びる。図32(a),(b)は、ともに視差低減を優先した場合であり、かつ、レンズ306aの伸び縮みに合わせて特殊撮影装置1aを移動させた場合を示した図である。
また、本実施形態のデータの通信ルートは、上述の第1乃至第4のルートのうちの何れか一つのルートである。
<<本実施形態の主な効果>>
以上のような構成により、視差低減を行うことができ、しかも、レンズ306aの伸び縮みに対応して特殊撮影装置1aが移動するため、特殊撮影装置1aで撮影される正距円筒射影画像にレンズ306aが写り込む領域を低減できるという効果を奏する。
〔第6の実施形態〕
続いて、図33乃至図39を用いて、本発明の第6の実施形態について説明する。上述までの実施形態では、アダプタ9aが一般撮影装置3における所定の操作情報(ズーム操作又はフォーカス操作等)からチルト角度、パン角度を制御する機構を有していたが、第6の実施形態では、利用者(撮影者)が一般撮影装置3における所定の操作情報等に応じて手動でアダプタ9のチルト角度、パン角度を変更する点が異なっている。なお、第1の実施形態と同一の構成及び機能は同一の符号を付して、その説明を省略し、相違点のみを説明する。
<<アダプタの機械的なハードウェア構成>>
図33を用いて、本実施形態に係るアダプタの機械的なハードウェアについて説明する。図33は、第6の実施形態に係る連携装置の機械的なハードウェア構成図であり、(a)は連携装置の平面図、(b)は(a)のA3−B3切断における側面図(c)は底面図、(d)は(a)の矢印C3方向から見た側面図、(e)は回動台から矢印D3方向に端子を突出させた状態を示した側面図である。
本実施形態のアダプタ9dは、垂直方向にθ度回動するチルト(Tilt)機構と、水平方向にφ度回動するパン(Pan)機構とを備えている。チルト機構は、主に、本体61d、チルト用のチルト軸76、及びチルト用のアーム73dによって構成されている。また、パン機構は、主に、基板62、回動用のパン軸68、及び回動用の回動台83によって構成されている。また、本体61dの下部には、アクセサリシュ接続部材64が設けられ、回動台83の上面には三脚ねじ63が設けられている。この三脚ねじ63に特殊撮影装置1の三脚ねじ穴151を螺合させることで、回動台83の上面に特殊撮影装置1を固定することができる。
続いて、チルト機構について説明する。チルト軸76を回動中心としてアーム73dが本体61dに対してθ方向に回動することで、三脚ねじ63に取り付けられた物体をチルト変位させることができる。チルト機構では、任意の角度や所定の角度間隔(例えば、15度間隔等)で変更できるようにするとよい。
次に、パン機構について説明する。アーム73dの先端部には基板62が固定され、基板62上には回動台83が設けられている。円柱状の回動台83の下面の中心にパン軸68が固定されている。これにより、回動台83がパン軸68を回動中心として回動することで、三脚ねじ63に取り付けられた物体をパン変位させることができる。パン機構では、任意の角度や所定の角度間隔(例えば、15度間隔等)で変更できるようにするとよい。チルト機構とパン機構は、手動でそれぞれ個別に角度変更が可能であり、変更後の位置を固定できる。また、変更時の角度が分かるようにチルト機構、パン機構それぞれに角度目盛を追加し、基準位置からの角度が分かるようにしてもよい。なお、チルト変位の基準位置は図33の状態からアーム73dが本体61dに対して左側に水平に倒れている場合であり、パン変位の基準位置は回転台83が図33の位置にある場合とする。
次に、図34を用いて、アダプタの駆動例を説明する。図34は、アダプタの駆動例を示した図である。図34(a)は、アーム73dがチルト機構の基準位置(θ=0°)に位置した状態を示している。図34(b)は、アーム73dが基準位置からθ=45°の位置までチルトした状態を示している。図34(c)は、アーム73dが基準位置からθ=90°の位置までチルトした状態を示している。
<アダプタの電気的なハードウェア構成>
次に、図35を用いて、アダプタ9dの電気的なハードウェアについて説明する。図35は、アダプタ9dの電気的なハードウェア構成図である。図35から自動制御に使用する構成(ステッピングモータ71、81、フォトインタラプタ74、84)が削除されている。
<アダプタの機能構成>
次に、図35及び図36を用いて、アダプタ9の機能構成について詳細に説明する。ア
ダプタ9は、図36に示されているように、接触通信部91a,91b、非接触通信部98、を有している。図15から自動制御に使用する構成(制御部96、駆動部95A、記憶・読出部99、記憶部9000)が削除されている。
<特殊撮影装置1の設置例>
続いて、図37及び図38を用いて、本実施形態の特殊撮影装置1の設定例について説明する。
(設置例1)
図37は、特殊撮影装置1の第1の設置例を示している。図37の設置例では、アダプタ9dを基準位置からチルト角度θ=0°とすることで、特殊撮影装置1のレンズの繋ぎ目が一般撮影装置3の光軸方向となるようにし、特殊撮影装置1の画質の悪い領域を一般撮影装置3で得られた高精細な画像を重畳して補うことが可能な位置に配置している。更にシャッターボタン315aを押下して撮影する利用者(撮影者)を一般撮影装置3の光軸方向とは反対側の特殊撮影装置1のレンズの繋ぎ目に配置し、画質の良い領域に影響を与えずに、後処理で利用者(撮影者)の写り込んだ領域を除去することが可能である。そして、一般撮影装置3の対物レンズ306と特殊撮影装置1のレンズ102a及び102bが近づくことで撮影される画像間の視差を小さくすることができる。また、基準位置からパン角度φ=0°とすることで、特殊撮影装置1や一般撮影装置3の対物レンズ306が写り込む領域を特殊撮影装置1のレンズの繋ぎ目の領域にすることができ、高画質領域における不要な被写体の写り込みを防止することができる。よって、図37に示した設置例は、視差を低減することができるため、近距離の被写体を撮影する場合に適している。
(設置例2)
図38は、特殊撮影装置1の第2の設置例を示している。図38の設置例では、基準位置からパン角度φ=0°とすることで、特殊撮影装置1のレンズの繋ぎ目を一般撮影装置3の光軸方向となるようにし、特殊撮影装置1の画質の悪い領域を一般撮影装置3で得られた高精細な画像を重畳して補うことが可能な位置に配置している。更に基準位置からチルト角度θ=90°とすることで、特殊撮影装置1のレンズ102a及び102bが特殊撮影装置1や一般撮影装置3の対物レンズ306から遠ざかることで、特殊撮影装置1の画像に写り込む領域を少なくすることができる。よって、図38に示した設置例は、特殊撮影装置1aと一般撮影装置3aとのレンズ位置の差によって生じる視差の影響の少ない中・遠距離の被写体を撮影する場合に適している。
<<実施形態の処理又は動作>>
続いて、図39を用いて、本実施形態の撮影システムが実行する撮影方法を説明する。図39は、撮影システムの連携撮影を示したシーケンス図である。なお、以下では、被写体や風景等の撮影を行なう場合について説明するが、撮影と同時に集音部14によって周囲の音を録音してもよい。
利用者(撮影者)は、図11に示されているように撮影システムを持った状態のままで、シャッターボタン315aを完全に押下すると、一般撮影装置3の受付部32が利用者から撮影開始を受け付ける(ステップS115)。そして、一般撮影装置3の接触通信部31が、アダプタ9dの接触通信部91aに対して、撮影開始を示す撮影開始情報を送信する(ステップS116)これにより、アダプタ9dの接触通信部91aは、撮影開始情報を受信する。また、一般撮影装置3では、撮像部33が撮影を開始する(ステップS117)。
一方、アダプタ9の接触通信部91bは、特殊撮影装置1の接触通信部11に対して、撮影開始の要求を示す撮影開始要求情報を送信する(ステップS118)。これにより、特殊撮影装置1の接続通信部11は、撮影開始要求情報を受信する。
以上により、一般撮影装置3の撮像部33が撮影を開始するとともに(ステップS117)、この撮影の開始に連携して、特殊撮影装置1の撮像部13も撮影を開始する(ステップS118)。その後、他のPC等の通信端末で、特殊撮影装置1によって撮影された2つの半球画像のデータに基づき全天球画像CEを作成し、更に、一般撮影装置3で撮影された高精細な平面画像P(重畳画像S)を重畳することができる。
<<本実施形態の主な効果>>
以上説明したように本実施形態によれば、一般撮影装置3と特殊撮影装置1を組合せたシステムにおいて、特殊撮影装置1のレンズ102a,bを変位させるように、アダプタ9dを介して特殊撮影装置1を移動又は回動させて適切な位置(図37、図38参照)に設置することで、画像間の視差を低減させたり、特殊撮影装置1による画像の高画質領域における不要な被写体の写り込みを防止することができる。また、広角の画像の一部の領域に狭角の画像を嵌め込んで表示するために、一般撮影装置3と特殊撮影装置1を同時に使用して撮影する場合に埋め込み後の画像に違和感がないようにすべく、一般撮影装置3と特殊撮影装置1との撮影開始のタイミングを合わせることができるという効果を奏する。更に、第1の実施形態に対し利用者(撮影者)が手動で特殊撮影装置1を回動させて適切な位置に設置するため、回動に必要な駆動部品を必要とせず安価にアダプタ9を製造することができる。
〔第7の実施形態〕
続いて、図40を用いて、本発明の第7の実施形態に係る撮影システムについて説明する。図40は、第7の実施形態に係る撮影システムの概略図である。
図40に示されているように、本実施形態の撮影システムは、特殊撮影装置1a、一般撮影装置3b、アダプタ9d、及びブラケット210bによって構成されている。
一般撮影装置3bは、アクセサリシュ320が設けられていないコンパクトデジタルカメラである。本実施形態では、専用のブラケット210bを用いている。これ以外は、第6の実施形態と同じであるため、同一の構成及び機能は同一の符号を付して、その説明を省略し、相違点のみを説明する。
ブラケット210bは、本体211b、三脚ねじ213、及びアクセサリシュ214によって構成されている。本体211bは、棒状の金属又はプラスティックであり、コの字の形状をしている。本体211bの基端部には三脚ねじ213が、上端部にはアクセサリシュ214が設けられている。アクセサリシュ214には、アダプタ9dのアクセサリシュ接続部材64を接続することができる。但し、図40に示されているアクセサリシュ214は、電気接点のないコールドシュである。アダプタ9dには特殊撮影装置1aが取り付けられる。図40で本体211bは、1つの部品として示しているが、複数の部品に分離して一般撮影装置3bの大きさによって幅を調節できる構成であっても良い。図40では、近距離の被写体を撮影する場合に適した配置例を示している。
また、本実施形態の一般撮影装置3bにはアクセサリシュ320が設けられていないため、データの通信ルートは、上述の第3のルート又は第4のルートである。
<<本実施形態の主な効果>>
以上のような構成により、第6の実施形態と同様の動作又は処理を行なうことができ、更に、アクセサリシュが設けられていないタイプのコンパクトデジタルカメラであっても、第6の実施形態と同様の効果を奏する。
〔第8の実施形態〕
続いて、図41を用いて、本発明の第8の実施形態に係る撮影システムについて説明する。図41は、第8の実施形態に係る撮影システムの概略図である。図41に示されているように、本実施形態の撮影システムは、特殊撮影装置1c、一般撮影装置3a、及びアダプタ9eによって構成されている。特殊撮影装置1cは、特殊撮影装置1a及び1bよりも筐体が短いタイプであり、ここでは球状のタイプが示されている。これ以外は、第6の実施形態と同じであるため、同一の構成及び機能は同一の符号を付して、その説明を省略し、相違点のみを説明する。第6の実施形態であるアダプタ9dを用いて特殊撮影装置1cを設置すると、筐体が短いことにより、図37の設置方法では特殊撮影装置1cと一般撮影装置3aの筐体同士が干渉したり、図38の設置方法では一般撮影装置3aや一般撮影装置3aの対物レンズ306が写り込む範囲が大きかったりする問題が生じる。それらの問題に対して、第8の実施形態では、アダプタ9eのアーム73eを伸縮可能な構造とし、アーム73eを任意の長さに変更可能であり、変更後の位置で固定可能であるものとする。伸縮構造については公知技術であるため説明を省略するが、特殊撮影装置1cを設置しても撓まない耐加重に優れた構造が望ましい。アダプタ9eのアーム73eの伸縮構造によって、筐体が短い小型の特殊撮影装置1cであっても筐体が長い特殊撮影装置1aと同様の位置に設置することが可能となる。
<<本実施形態の主な効果>>
以上のような構成により、第1の実施形態と同様の動作又は処理を行うことができ、更に、筐体が短い小型の特殊撮影装置1cであっても第1の実施形態と同様の効果を奏する。
〔補足〕
上述の各実施形態では、一般撮影装置3の撮影開始に連携して特殊撮影装置1の撮影も開始されたが、逆に、特殊撮影装置1の撮影開始に連携して一般撮影装置3の撮影も開始されるようにしてもよい。
また、上述の各実施形態では、特殊撮影画像3は、利用者(撮影者)の周りの被写体が撮像されることで、全天球画像の元になる2つの半球画像を得ることができるが、これに限るものではない。即ち、一般撮影装置3よりも広角撮影することができれば、全天球画像の元になる2つの半球画像を得る必要はない。例えば、特殊撮影画像3は、一般撮影装置3よりも広角撮影することで、1つの平面画像を得るデジタルカメラであってもよい。
更に、上述の各実施形態では、アダプタ9は、チルト機構、パン機構、又はシフト機構を備えているが、これらの機構のうちの1つの機構だけを備えていてもよいし、3つの機構を全て備えていてもよい。
また、アダプタ9は、チルト機構、パン機構、又はシフト機構の3つの機構のいずれも備えていなくてもよい。例えば、アダプタ9のアクセサリシュ接続部材64がホットシュの場合、一般撮影装置3のシャッターボタン315aが全押しされたときには、一般撮影装置3からアダプタ9に撮影開始の電気信号が送られた後、アダプタ9から特殊撮影装置1aに撮影開始の電気信号が電気接点によって送られるか、又はアダプタ9から特殊撮影装置1aに撮影開始の命令データが無線通信によって送られる。これにより、特殊撮影装置1での撮影が開始されることで、一般撮影装置3と特殊撮影装置1との間で連携撮影が可能となる。一方、アダプタ9のアクセサリシュ接続部材64がコールドシュの場合、一般撮影装置3のシャッターボタン315aが全押しされたときには、一般撮影装置3からアダプタ9に撮影開始の命令データが無線通信によって送られた後、アダプタ9から特殊撮影装置1aに撮影開始の電気信号が電気接点によって送られるか、又はアダプタ9から特殊撮影装置1aに撮影開始の命令データが無線通信によって送られる。更に、アダプタ9の通信機能(電気接点のよる通信又は無線による通信)を一般撮影装置3内に内蔵してもよい。これにより、アダプタ9は、特殊撮影装置1と一般撮影装置3の中継装置又は接続装置としての役割を果たす。
また、上記では、全天球画像に平面画像を重畳する場合について説明したが、この「重畳」には、貼り付け、嵌め込み、合成、重ね合わせ等も含まれる。
1 特殊撮影装置(第2の撮影装置の一例)
3 一般撮影装置(第1の撮影装置の一例)
9 アダプタ(連携装置の一例、中継装置の一例、接続装置の一例)
91a 接触通信部(取得手段の一例)
91b 接触通信部(提供部の一例、開始部の一例)
95 駆動部(位置変更手段の一例、駆動手段の一例)
95a チルト用回動部(第1の回動手段の一例)
95b パン用回動部(第2の回動手段の一例、回動手段の一例)
95c シフト用移動部(移動手段の一例)
96 制御部
98 非接触通信部(取得手段の一例、提供手段の一例、開始手段の一例)
9000 記憶部(記憶手段の一例)
9001 駆動管理DB(駆動管理手段の一例)
特開2016−96487号公報

Claims (15)

  1. 第1の撮影装置と当該第1の撮影装置よりも広角撮影を行なう第2の撮影装置とを連携する連携装置であって、
    前記第1の撮影装置及び前記第2の撮影装置のうち一方の撮影装置によって撮影開始の操作が行なわれたことに基づき、前記第1の撮影装置及び前記第2の撮影装置のうち他方の撮影装置に対して撮影開始を実行させる開始手段を有することを特徴とすることを特徴とする連携装置。
  2. 請求項1に記載の連携装置であって、
    前記一方の撮影装置から、当該一方の撮影装置で撮影開始された旨を示す撮影開始データを取得する取得手段を有し、
    前記開始手段は、前記取得手段によって前記撮影開始データが取得されたことに基づき、前記他方の撮影装置に対して、撮影開始を要求する旨を示す撮影開始要求データを提供することを特徴とする連携装置。
  3. 請求項1又は2に記載の連携装置であって、
    前記第1の撮影装置に対して前記第2の撮影装置の位置を変更する位置変更手段を有することを特徴とすることを特徴とする連携装置。
  4. 前記位置変更手段は、前記第1の撮影装置に対して、前記第2の撮影装置の対物レンズを変位させるように位置を変更することを特徴とする請求項3に記載の連携装置。
  5. 前記位置変更手段は、前記第1の撮影装置の対物レンズに対して、前記第2の撮影装置の対物レンズを変位させるように位置を変更することを特徴とする請求項4に記載の連携装置。
  6. 請求項3乃至5のいずれか一項に記載の連携装置であって、
    前記位置変更手段は、前記第2の撮影装置を回動する第1の回動手段と、当該第1の回動手段とは異なる回動軸で前記第2の撮影装置を回動する第2の回動手段とを有することを特徴とする連携装置。
  7. 前記位置変更手段は、前記第1の回動手段が前記第1の撮影装置の対物レンズに対して前記第2の撮影装置の対物レンズを近づけるように前記第2の撮影装置を回動する場合には、前記第2の回動手段が前記第1の撮影装置の対物レンズの光軸に対して前記第2の撮影装置の対物レンズの光軸がねじれの位置となるように前記第2の撮影装置を回動するように位置を変更すること
    を特徴とする請求項6記載の連携装置。
  8. 請求項3乃至5のいずれか一項に記載の連携装置であって、
    前記位置変更手段は、前記第2の撮影装置を移動する移動手段と、前記第2の撮影装置を回動する回動手段とを有していることを特徴とする連携装置。
  9. 前記位置変更手段は、前記移動手段が前記第1の撮影装置の対物レンズに対して前記第2の撮影装置の対物レンズを近づけるように前記第2の撮影装置を移動する場合には、前記回動手段が前記第1の撮影装置の対物レンズの光軸に対して前記第2の撮影装置の対物レンズの光軸がねじれの位置となるように前記第2の撮影装置を回動するように位置を変更すること
    を特徴とする請求項8記載の連携装置。
  10. 請求項3乃至5のいずれか一項に記載の連携装置であって、
    前記第1の撮影装置の所定の操作データを取得する取得手段と、
    前期位置変更手段を移動又は回動させる駆動を行う駆動手段とを有し、
    前記取得手段は、所定の操作を示す操作データを取得し、
    前記操作データに基づいて、前記駆動手段による駆動を制御する制御手段を有することを特徴とする連携装置。
  11. 前記所定の操作は、ズーム操作及びフォーカス操作のうち少なくとも一方であることを特徴とする請求項10に記載の連携装置。
  12. 請求項1乃至11のいずれか一項に記載の連携装置と、
    前記第1の撮影装置と、
    前記第2の撮影装置と、
    を有する撮影システム。
  13. 前記第1の撮影装置は、被写体を撮影して平面画像の基になる単一の画像データを作成し、前記第2の撮影装置は被写体を撮影して全天球画像の基になる複数の画像データを作成することを特徴とする請求項12に記載の撮影システム。
  14. 第1の撮影装置と当該第1の撮影装置よりも広角撮影を行なう第2の撮影装置とを連携する連携装置が実行する撮影方法であって、
    前記第1の撮影装置及び前記第2の撮影装置のうち一方の撮影装置によって撮影開始の操作が行なわれたことに基づき、前記第1の撮影装置及び前記第2の撮影装置のうち他方の撮影装置に対して撮影開始を実行させることを特徴とする撮影方法。
  15. コンピュータに、請求項14に記載の方法を実行させるプログラム。
JP2017245495A 2016-12-28 2017-12-21 連携装置、撮影システム、撮影方法、及びプログラム Withdrawn JP2018169601A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201711458852.5A CN108259717A (zh) 2016-12-28 2017-12-28 联动装置、摄影系统、摄影方法
US15/856,848 US10638039B2 (en) 2016-12-28 2017-12-28 Apparatus, system, and method of controlling image capturing, and recording medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017068681 2017-03-30
JP2017068681 2017-03-30

Publications (1)

Publication Number Publication Date
JP2018169601A true JP2018169601A (ja) 2018-11-01

Family

ID=64018828

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017245495A Withdrawn JP2018169601A (ja) 2016-12-28 2017-12-21 連携装置、撮影システム、撮影方法、及びプログラム

Country Status (1)

Country Link
JP (1) JP2018169601A (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020150297A (ja) * 2019-03-11 2020-09-17 池上通信機株式会社 リモートカメラシステム、コントロールシステム、映像出力方法、バーチャルカメラワークシステム、及びプログラム
JP2020204874A (ja) * 2019-06-17 2020-12-24 株式会社リコー 画像処理システム、撮像システム、画像処理装置、撮像装置およびプログラム
US11533430B2 (en) 2019-11-29 2022-12-20 Ricoh Company, Ltd. Image capturing device with display control, image communication system, and method for display control, and recording medium
JP7225440B1 (ja) 2022-01-05 2023-02-20 キヤノン株式会社 撮像装置、撮影システム、撮像装置の制御方法およびプログラム
US11700455B2 (en) 2020-02-19 2023-07-11 Ricoh Company, Ltd. Image capturing device, image communication system, and method for display control
US11928775B2 (en) 2020-11-26 2024-03-12 Ricoh Company, Ltd. Apparatus, system, method, and non-transitory medium which map two images onto a three-dimensional object to generate a virtual image

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020150297A (ja) * 2019-03-11 2020-09-17 池上通信機株式会社 リモートカメラシステム、コントロールシステム、映像出力方法、バーチャルカメラワークシステム、及びプログラム
JP7287798B2 (ja) 2019-03-11 2023-06-06 池上通信機株式会社 リモートカメラシステム、コントロールシステム、映像出力方法、バーチャルカメラワークシステム、及びプログラム
JP2020204874A (ja) * 2019-06-17 2020-12-24 株式会社リコー 画像処理システム、撮像システム、画像処理装置、撮像装置およびプログラム
JP7306089B2 (ja) 2019-06-17 2023-07-11 株式会社リコー 画像処理システム、撮像システム、画像処理装置、撮像装置およびプログラム
US11825213B2 (en) 2019-06-17 2023-11-21 Ricoh Company, Ltd. Removal of image capture device from omnidirectional image created by stitching partial images
US11533430B2 (en) 2019-11-29 2022-12-20 Ricoh Company, Ltd. Image capturing device with display control, image communication system, and method for display control, and recording medium
US11700455B2 (en) 2020-02-19 2023-07-11 Ricoh Company, Ltd. Image capturing device, image communication system, and method for display control
US11928775B2 (en) 2020-11-26 2024-03-12 Ricoh Company, Ltd. Apparatus, system, method, and non-transitory medium which map two images onto a three-dimensional object to generate a virtual image
JP7225440B1 (ja) 2022-01-05 2023-02-20 キヤノン株式会社 撮像装置、撮影システム、撮像装置の制御方法およびプログラム
JP2023100084A (ja) * 2022-01-05 2023-07-18 キヤノン株式会社 撮像装置、撮影システム、撮像装置の制御方法およびプログラム

Similar Documents

Publication Publication Date Title
JP2018169601A (ja) 連携装置、撮影システム、撮影方法、及びプログラム
US9374529B1 (en) Enabling multiple field of view image capture within a surround image mode for multi-LENS mobile devices
US10638039B2 (en) Apparatus, system, and method of controlling image capturing, and recording medium
US8760518B2 (en) Photographing apparatus, photographing system and photographing method
WO2013069047A1 (ja) 画像生成装置および画像生成方法
EP2563009A1 (en) Method and electric device for taking panoramic photograph
WO2013069050A1 (ja) 画像生成装置および画像生成方法
WO2013069048A1 (ja) 画像生成装置および画像生成方法
JP2015186020A (ja) 表示機器、撮影機器及び表示方法
JP2011166756A (ja) 撮影装置及び撮影システム
JP5275789B2 (ja) カメラ
JP2012239135A (ja) 電子機器
JP2018056889A (ja) 表示端末、表示方法、及びプログラム
JP2010157851A (ja) カメラ及びカメラシステム
US11849100B2 (en) Information processing apparatus, control method, and non-transitory computer readable medium
US11533430B2 (en) Image capturing device with display control, image communication system, and method for display control, and recording medium
JP6376753B2 (ja) 撮像装置、表示制御装置の制御方法、記録装置の制御方法
JP2022183843A (ja) 電子機器及びその制御方法及びプログラム及び記録媒体
US20220385830A1 (en) Electronic apparatus, control method, and non-transitory computer readable medium
JP6456093B2 (ja) 撮像装置、および、撮像装置の制御方法
JP6218615B2 (ja) 表示機器、表示方法、撮影装置及び撮影システム
JP7358938B2 (ja) 通信端末、画像通信システム、表示方法、及びプログラム
US20230281768A1 (en) Electronic apparatus, control method of electronic apparatus, and non-transitory computer readable medium
KR20120106019A (ko) 다기능 카메라
JP2012237937A (ja) 電子機器

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200916

A761 Written withdrawal of application

Free format text: JAPANESE INTERMEDIATE CODE: A761

Effective date: 20201102