JP2016054352A - 撮影装置及びその制御方法、並びに、プログラム - Google Patents

Abstract

【課題】動きのある被写体の適切な被写体画像の取得を実現する仕組みを提供する。【解決手段】撮影装置１２０−１において、被写体Ｈに対して第１の照明光１４１が照射されている状態で撮像部１２１において行われる第１の撮影に係るタイミングと、被写体Ｈに対して第２の照明光１４２が照射されている状態で撮像部１２１において行われる第２の撮影に係るタイミングとを制御し、撮像部１２１において第１の撮影を複数回行うことにより得られた複数の第１画像間における被写体Ｈの動きに係る動き情報を検出し、当該動き情報に基づいて、撮像部１２１において第２の撮影を複数回行うことにより得られた複数の第２画像に対して第１の処理を行い、当該第１の処理を施した複数の第２画像に対して第２の処理を行って１つの出力画像を生成する。【選択図】図１

Description

本発明は、被写体の撮影を行って画像を得る撮像手段を備える撮影装置及びその制御方法、並びに、当該制御方法をコンピュータに実行させるためのプログラムに関するものである。

近年、病巣を何らかの手段により可視化し、撮影することをテーマとした、病理撮影の研究及び実用化がなされている。

例えば、蛍光イメージング等では、動物実験を中心に大がかりな装置なしで、癌細胞の有無をビジュアル的に確認することができるようになりつつある。例えば、下記の特許文献１、特許文献２には、この分野における最近の状況が開示されている。

一般に、病理検査では、患者の組織の一部を切除して固定化して標本にし、これを所定の環境下で観察するのが普通である。この病理検査の１つである病理撮影（例えば蛍光撮影）も、このように固定化して標本とした上で所定の環境下で行われる。当然であるが、病理撮影では、標本を人体の一部として再度機能させることはないという前提で行われる。

ところで、例えば癌の切除等の手術において、その途中で病理検査を行うことが多くなっている。この場合においても、病理検査（生検）は、患者の組織の一部を切除して標本化した上で、別室で所定の環境下で行われる。

しかしながら、より適切な手術をするためには、その場で実時間の病理診断が必要である。即ち、その場で蛍光イメージング等による画像診断ができるような環境が望まれている。

その場で実時間の画像診断による病理診断ができれば、以下のような利点がある。
・実時間で病理的な情報を取得しつつ手術を行えるので、検査結果に応じて臨機応変に手術方針を変更することが可能である。例えば癌の切除において、切り口の病理診断ができるため、癌細胞の取り残しの確率を低くできることや、また、必要以上に広く取りすぎて患者のＱＯＬの低下を招くようなことを回避することが可能である。
・病理検査のために（場合によってはその結果を待つために）手術が中断するということがないので、例えば開腹している時間を最小限にすることができ、患者の体力的負担を軽くすることができる。
・患者の組織を切除せずに病理診断を行えるので、切除による人体組織の損失を回避することができる。
・また、患者の組織を切除せずに病理診断を行えるので、生体の一部として機能している状態での検査が可能となり、生きた状態での細胞の振る舞いに基づく適切な診断が可能である。

特許第３４８２４４０号公報 特開２００６−１８０９２６号公報 特開２０１０−２７３１４１号公報 特開２０１０−２７３１４２号公報

蛍光撮影等に代表される病理検査のための撮影は、被写体が低照度であることが多いため、外光を除外した環境で行われる。特許文献２においては、蛍光撮影するために照明を暗くして撮影することが記載されている。以下、このように、被写体の照度が弱く、一般的に外光が少ない環境を必要とする撮影を「低照度撮影」と呼ぶ。

一般に、低照度撮影をする場合には、露光時間を長くする、絞りを開放する、撮像素子の感度を向上させる等の方法がある。また、蛍光撮影の場合には、フラッシュの照射光の代わりに励起光の強度を上げるという方法もある。

しかしながら、例えば手術中に蛍光撮影をする場合には、問題点として以下のことが挙げられる。
・蛍光撮影を行う対象である被写体は、標本ではなく生きた人体であり、治療対象としての人体組織である。したがって、励起による組織のダメージを最小限に抑える必要がある。即ち、励起光は必要最小限の強度に抑えなければならない。言い換えると、撮影において露光量を稼ぐために励起光のレベルをむやみに上げることはできない。
・また、生きた患者の一部を被写体とする以上、被写体は、拍動、呼吸、蠕動運動等の諸々の不随意運動等で少なからず動いている。更には、同時並行的に行われる手術や処置の作業によっても、被写体は、変形したり動いたりする。また、手術中、撮影装置を必ずしもしっかり固定できているとも言えない。したがって、このような条件下における撮影で長時間の露光をすることは難しい。

以上のような問題点により、動きのある被写体を低照度撮影することは、困難である。即ち、従来においては、動きのある被写体に対して作業を行いつつ、当該動きのある被写体の適切な被写体画像の取得を実現することは難しかった。

本発明は、このような問題点に鑑みてなされたものであり、動きのある被写体の適切な被写体画像の取得を実現する仕組みを提供することを目的とする。

本発明の撮影装置は、被写体の撮影を行って画像を得る撮像手段を備える撮影装置であって、前記被写体に対して第１の照明光が照射されている状態で前記撮像手段において行われる第１の撮影に係るタイミングと、前記被写体に対して前記第１の照明光とは異なる第２の照明光が照射されている状態または前記第１の照明光および前記第２の照明光のいずれも照射されていない状態で前記撮像手段において行われる第２の撮影に係るタイミングとを制御するタイミング制御手段と、前記撮像手段において前記第１の撮影を複数回行うことにより得られた複数の第１画像を取得する第１の取得手段と、前記撮像手段において前記第２の撮影を複数回行うことにより得られた複数の第２画像を取得する第２の取得手段と、前記第１の取得手段で取得された複数の第１画像間における前記被写体の動きに係る動き情報を検出する検出手段と、前記検出手段で検出された動き情報に基づいて前記第２の取得手段で取得された複数の第２画像に対して第１の処理を行い、当該第１の処理を施した複数の第２画像に対して第２の処理を行って１つの出力画像を生成する生成手段とを有する。
また、本発明は、上述した撮影装置による制御方法、及び、当該制御方法をコンピュータに実行させるためのプログラムを含む。

本発明では、動く可能性のある被写体を撮影する手法として、２種類の露光による撮影、即ち、第１の照明光の照射下での露光（例えば十分明るい照明光の照射下での一般的な露光）による第１の撮影と、第１の照明光とは異なる第２の照明光の照射下または第１の照明光及び第２の照明光のいずれも照射されていない状態での露光（例えば診断用の低照度の露光）による第２の撮影とのタイミングを制御するものである。具体的には、第１の撮影に係る第１の照明光の照射タイミングと第２の撮影に係る第２の照明光の照射タイミングとが重複しないように制御する、或いは、第１の撮影に係る第１の照明光の照射タイミングと第２の撮影のタイミングとが重複しないように制御する。
本発明では、第１の撮影は、被写体の動きに係る動き情報を検出するための撮影に相当し、第２の撮影は、本来の目的である診断用の被写体画像を取得するための撮影に相当する。そして、本発明では、第１の撮影により得られた動き情報に基づいて、第２の撮影により得られた画像（例えば低照度画像等）を補正処理する。
このようにすることにより、例えばＳ／Ｎや輝度に関して、動く被写体について被写体を固定して長時間露光した場合に近いレベルの被写体画像を得ることができる。

なお、本発明の目的とは異なるが、本発明に類似した手法を提案する先行技術文献として、上記の特許文献３、上記の特許文献４等がある。
特許文献３及び４には、撮影画像を時分割して撮影し、その中で動き検出に適したものを検出画像として用いて、これをもとに他の画像（合成画像）を位置合わせして合成する技術に関する発明が記載されている。
これらの特許文献３及び４に記載の発明は、同一の発光原理に基づいて撮像された画像を処理するものであり、当該画像の中から、動きを検出する画像に適したものを選択することにより他の画像を位置合わせして合成するものである。また、特許文献３及び４では、動き検出用画像として適したものを選択する際に、主として撮像時のブラーが少ないという観点で選択している。
これに対して、本発明は、それぞれ異なる発光原理に基づいて取得された動き検出用画像と合成用画像（観測画像）に関するものである。また、本発明では、それぞれの画像の違いは、撮像時のブラーの大小ではなく、１回の撮影で十分に露光できる画像と露光できない画像という観点である。
以上により、特許文献３及び４に記載の発明と本発明とは異なる。

本発明によれば、動きのある被写体の適切な被写体画像を取得することができる。

本発明の第１の実施形態に係る撮影システムの概略構成の一例を示す図である。 図１に示す照明装置及び撮影装置の内部構成の一例を示す図である。 図１に示す撮影システムによる制御方法の処理手順の一例を示すタイミングチャートである。 本発明の第１の実施形態を示し、通常発光期間及び周期的消灯期間における第１の照明光の発光タイミング、並びに、周期的消灯期間における第２の照明光の発光タイミング及び露光タイミングの一例を示すタイミングチャートである。 本発明の第１の実施形態に係る撮影装置による動き情報の検出処理を説明するための図である。 本発明の第１の実施形態に係る撮影装置による動き情報の検出処理を説明するための図である。 本発明の第１の実施形態に係る撮影装置による動き情報の検出処理を説明するための図である。 本発明の第２の実施形態に係る撮影装置の外観の一例を示す図である。 図８に示す撮像装置の内部構成の一例を示す図である。 本発明の第３の実施形態を示し、通常発光期間及び周期的消灯期間における第１の照明光の発光タイミング、並びに、周期的消灯期間における露光タイミングの一例を示すタイミングチャートである。 本発明の第４の実施形態を示し、第１の照明光の発光タイミング、第２の照明光の発光タイミング、露光タイミング及び画像出力タイミングの一例を示すタイミングチャートである。 本発明の第４の実施形態に係る撮影装置の機能構成の一例を示す図である。 本発明の第４の実施形態を示し、図１２に示す制御・処理手段による各フレームメモリを用いた演算処理を説明するための図である。 本発明の第４の実施形態を示し、図１２に示す制御・処理手段による各フレームメモリを用いた演算処理を説明するための図である。 本発明の第５の実施形態に係る撮影装置の外観の一例を示す図である。 図１５に示す撮影装置の内部構成の一例を示す図である。 本発明の第５の実施形態を示し、周期的消灯期間における第１の照明光の発光タイミング、並びに、周期的消灯期間における第２の照明光の発光タイミング及び露光タイミングの一例を示すタイミングチャートである。 本発明の第５の実施形態に係る撮影装置による制御方法の処理手順の一例を示すフローチャートである。 本発明の第５の実施形態を示し、複数の第１画像に基づいて得られた３次元形状データと第２画像との対応関係を説明するための図である。 本発明の第５の実施形態を示し、複数の第１画像に基づいて得られた３次元形状データと第２画像との対応関係を説明するための図である。 本発明の第５の実施形態に係る撮影装置において、各種の画像を取得し、動き情報を処理するシーケンスの一例を示す図である。

以下に、図面を参照しながら、本発明を実施するための形態（実施形態）について説明する。

（第１の実施形態）
まず、本発明の第１の実施形態について説明する。

図１は、本発明の第１の実施形態に係る撮影システム１００の概略構成の一例を示す図である。なお、本実施形態では、手術室において、作業者Ｓである執刀医が、手術台に載置された患者に対して手術の作業を行う際に、当該患者を被写体Ｈとして撮影装置１２０−１にて低照度撮影を行う場合を想定している。

撮影システム１００は、図１に示すように、照明装置１１０−１、撮影装置１２０−１、及び、表示装置１３０を有して構成されている。

照明装置１１０−１は、被写体Ｈの撮影を行う撮影装置１２０−１と通信可能に構成され、被写体Ｈに対して照明光（第１の照明光）１４１を照射する。この第１の照明光１４１は、手術室において必要とされる無影光の条件を満たした光となっており、また、特に術野に対しては高い照度の光となっている。
また、照明装置１１０−１には、撮影装置１２０−１と通信を行って、撮影装置１２０−１から第１の照明光１４１の消灯期間のタイミングに係る消灯指示情報（第１の照明光１４１の消灯期間の情報を含む）、等を受信する通信部１１１が設けられている。

撮影装置１２０−１は、動く被写体Ｈの撮影を行うものである。この撮影装置１２０−１としては、一般の一眼レフカメラやコンパクトカメラと似た形状が想定されるが、必ずしもそのような形状をしている必要はない。また、例えば、撮影装置１２０−１は、蛍光撮影を行うことができる。

この撮影装置１２０−１は、レンズや絞り等の撮像光学系及び撮像素子を含む撮像部１２１、発光部１２２、及び、通信部１２３を有して構成されている。
撮像部１２１は、被写体Ｈの撮影を行って、被写体Ｈからの光１４３に基づく画像を撮像する。
発光部１２２は、被写体Ｈに対して、第１の照明光１４１とは異なる光であって撮影の目的に応じた第２の照明光１４２を発光する。第２の照明光１４２は、例えば、撮影の目的が蛍光撮影である場合には励起光であり、例えば、撮影の目的が通常のフラッシュ撮影である場合にはフラッシュ光である。
通信部１２３は、照明装置１１０−１及び表示装置１３０と通信を行う。通信部１２３は、例えば、照明装置１１０−１に対しては、第１の照明光１４１の消灯期間のタイミングに係る消灯指示情報（第１の照明光１４１の消灯期間の情報を含む）、等の無線信号（赤外線信号）１４４を送信する。また、通信部１２３は、例えば、表示装置１３０に対しては、撮像部１２１で撮像された被写体画像（出力画像）等を送信する。

表示装置１３０は、撮影装置１２０−１（通信部１２３）と通信を行って、撮像部１２１で撮像された被写体画像（出力画像）等を受信し、当該被写体画像（出力画像）等を表示する処理を行う。

次に、図１に示す照明装置１１０−１及び撮影装置１２０−１の内部構成について説明する。
図２は、図１に示す照明装置１１０−１及び撮影装置１２０−１の内部構成の一例を示す図である。具体的には、図２（ａ）に、図１に示す照明装置１１０−１の内部構成の一例を示し、図２（ｂ）に、図１に示す撮影装置１２０−１の内部構成の一例を示している。

照明装置１１０−１は、図２（ａ）に示すように、ＣＰＵ２１１、ＲＡＭ２１２、ＲＯＭ２１３、外部メモリ２１４、発光部２１５、入力デバイス２１６、通信インタフェース（通信Ｉ／Ｆ）２１７を有して構成されている。また、図２（ａ）に示す各構成は、バスを介して相互に通信可能に構成されている。
ＣＰＵ２１１は、例えば、ＲＯＭ２１３或いは外部メモリ２１４に記憶されたプログラムやデータを用いて、当該照明装置１１０−１の動作を統括的に制御する。
ＲＡＭ２１２は、ＲＯＭ２１３或いは外部メモリ２１４からロードされたプログラムやデータを一時的に記憶するエリアを備えるとともに、ＣＰＵ２１１が各種の処理を行うために必要とするワークエリアを備える。
ＲＯＭ２１３は、変更を必要としないプログラムや各種のパラメータ等の情報などを格納している。
外部メモリ２１４は、例えば、オペレーティングシステム（ＯＳ）やＣＰＵ２１１が実行するプログラム、更には、本実施形態の説明において既知としている情報などを記憶している。なお、本実施形態においては、本発明の実施形態に係る処理を実行するためのプログラムは、外部メモリ２１４に記憶されているものとするが、例えばＲＯＭ２１３に記憶されている形態であっても適用可能である。
発光部２１５は、ＣＰＵ２１１の制御に基づいて、第１の照明光１４１を発光する。
入力デバイス２１６は、例えば、当該照明装置１１０−１に備え付けられたスイッチやボタン等（電源スイッチを含む）で構成されている。
通信Ｉ／Ｆ２１７は、当該照明装置１１０−１と外部装置Ｇ（本例では、撮影装置１２０−１）との間で行われる各種の情報等の送受信を司るものである。
ここで、図２（ａ）に示す通信Ｉ／Ｆ２１７から、図１に示す通信部１１１が構成されている。

また、撮影装置１２０−１は、図２（ｂ）に示すように、ＣＰＵ２２１、ＲＡＭ２２２、ＲＯＭ２２３、外部メモリ２２４、撮像部２２５、発光部２２６、入力デバイス２２７、通信インタフェース（通信Ｉ／Ｆ）２２８を有して構成されている。また、図２（ｂ）に示す各構成は、バスを介して相互に通信可能に構成されている。
ＣＰＵ２２１は、例えば、ＲＯＭ２２３或いは外部メモリ２２４に記憶されたプログラムやデータを用いて、当該撮影装置１２０−１の動作を統括的に制御する。
ＲＡＭ２２２は、ＲＯＭ２２３或いは外部メモリ２２４からロードされたプログラムやデータを一時的に記憶するエリアを備えるとともに、ＣＰＵ２２１が各種の処理を行うために必要とするワークエリアを備える。
ＲＯＭ２２３は、変更を必要としないプログラムや各種のパラメータ等の情報などを格納している。
外部メモリ２２４は、例えば、オペレーティングシステム（ＯＳ）やＣＰＵ２２１が実行するプログラム、更には、本実施形態の説明において既知としている情報などを記憶している。なお、本実施形態においては、本発明の実施形態に係る処理を実行するためのプログラムは、外部メモリ２２４に記憶されているものとするが、例えばＲＯＭ２２３に記憶されている形態であっても適用可能である。
撮像部２２５は、被写体Ｈの撮影を行って、被写体Ｈからの光１４３に基づく画像を撮像する。具体的に、撮像部２２５は、被写体Ｈからの光１４３を内部の撮像素子２２５２に導くためのレンズや絞り等の撮像光学系２２５１と、撮像光学系２２５１を介して導光された被写体Ｈからの光１４３に基づく画像を撮像する撮像素子２２５２を備えて構成されている。
発光部２２６は、ＣＰＵ２２１の制御に基づいて、第２の照明光１４２を発光する。
入力デバイス２２７は、例えば、当該撮影装置１２０−１に備え付けられたスイッチやボタン等で構成されている。入力デバイス２２７は、例えばユーザが当該撮影装置１２０−１に対して各種の指示を行う際に操作され、当該指示をＣＰＵ２２１等に入力する。
通信Ｉ／Ｆ２２８は、当該撮影装置１２０−１と外部装置Ｇ（本例では、照明装置１１０−１及び表示装置１３０）との間で行われる各種の情報等の送受信を司るものである。
ここで、図２（ｂ）に示す撮像部２２５から、図１に示す撮像部１２１が構成されている。また、図２（ｂ）に示す発光部２２６から、図１に示す発光部１２２が構成されている。また、図２（ｂ）に示す通信Ｉ／Ｆ２２８から、図１に示す通信部１２３が構成されている。

本実施形態は、第１の照明光１４１による妨害をされることなく第２の照明光１４２に基づく低照度撮影等を行うものでもある。ここでいう妨害とは、低照度撮影等の撮影の際に第１の照明光１４１が外乱光ノイズとなり、本来の低照度撮影等の撮影に悪影響を与えることである。

また、本実施形態では、照明装置１１０−１が高速応答できるデバイスであることを前提としている。従来、この種の照明装置は、多くがハロゲンランプ等であり、必ずしも高速応答が可能なものではなかった。しかしながら、近年、照明用デバイスとしてＬＥＤや有機ＥＬが実用化されており、これらを利用した照明装置は高速応答が可能である。一般に、これらのデバイスが求められる理由は、発光効率が高いこと（即ち発熱が少ないこと）、輝度が高いこと、寿命が長いこと、波長特性の選択肢が広いこと等が主たるものであるが、本実施形態においては高速応答性に着目する。

次に、図１に示す撮影システム１００による制御方法の処理手順について説明する。
図３は、図１に示す撮影システム１００による制御方法の処理手順の一例を示すタイミングチャートである。

図３において、上から第１段目〜第４段目は、撮影装置１２０−１のシーケンスであり、上から第５段目〜第６段目は、照明装置１１０−１のシーケンスである。

図３の上から第１段目のシーケンスは、撮影装置１２０−１の入力デバイス２２７を介したユーザからの操作入力を示す。図３に示す例では、時刻Ｔ０において入力デバイス２２７のシャッターボタンの半押しが始まり、時刻Ｔ１において入力デバイス２２７のシャッターボタンの押し込みが行われている。

図３の上から第２段目のシーケンスは、撮影装置１２０−１の通信Ｉ／Ｆ２２８（通信部１２３）による照明装置１１０−１への送信タイミングを示す。
まず、撮影装置１２０−１のＣＰＵ２２１は、時刻Ｔ０において入力デバイス２２７のシャッターボタンの半押しが発生すると、周囲の状況等から、第１の照明光１４１を周期的に消灯及び点灯する期間である周期的消灯期間におけるタイミングを特定する。ここで、図３に示す例では、照明装置１１０−１は、通常発光の場合には、一定の光強度の第１の照明光１４１を連続して発光するものとする。
次いで、撮影装置１２０−１のＣＰＵ２２１は、特定した周期的消灯期間のタイミングに係る消灯指示情報（周期的消灯期間の情報を含む）を設定する。具体的に、図３に示す例では、シャッターボタンの押し込みがなされたことを示すトリガー情報を照明装置１１０−１が受信してから、時間ｔ７の経過後から所定期間のタイミングに、第１の照明光１４１を周期的に消灯及び点灯することを示す消灯指示情報を設定する。その後、撮影装置１２０−１の通信Ｉ／Ｆ２２８（通信部１２３）は、消灯指示情報を照明装置１１０−１に送信する。
また、撮影装置１２０−１のＣＰＵ２２１は、入力デバイス２２７のシャッターボタンの押し込みが行われると、これを検知する。そして、撮影装置１２０−１の通信Ｉ／Ｆ２２８（通信部１２３）は、シャッターボタンの押し込みがなされたことを示すトリガー情報を照明装置１１０−１に送信する。

図３の上から第３段目のシーケンスは、トリガー情報が発生してから時間ｔ５の経過後に周期的に露光をすること（周期的に電子シャッターを開くこと）を示す。具体的に、撮影装置１２０−１のＣＰＵ２２１は、照明装置１１０−１に対して指示した第１の照明光１４１の周期的消灯期間に応じて、周期的露光を行う時間である周期的露光時間を設定する。

図３の上から第４段目のシーケンスは、トリガー情報が発生してから時間ｔ６の経過後に、発光部２２６から第２の照明光１４２を周期的に発光することを示す。具体的に、撮影装置１２０−１のＣＰＵ２２１は、照明装置１１０−１に対して指示した第１の照明光１４１の周期的消灯期間に応じて、第２の照明光１４２の周期的発光を行う時間である周期的発光時間を設定する。

図３の上から第５段目のシーケンスは、照明装置１１０−１の通信Ｉ／Ｆ２１７（通信部１１１）による受信タイミングを示す。具体的に、図３に示す例では、撮影装置１２０−１から送信された消灯指示情報及びトリガー情報の受信タイミングが示されている。

図３の上から第６段目のシーケンスは、照明装置１１０−１の発光部２１５による第１の照明光１４１の通常発光、及び、周期的に消灯及び点灯する周期的消灯のタイミングと、その発光強度を示す。具体的に、照明装置１１０−１のＣＰＵ２１１は、通信Ｉ／Ｆ２１７（通信部１１１）がトリガー情報を受信したことにより設定されるトリガータイミングＴ１'を基準に、時間ｔ７が経過するまでは通常発光を行い、時間ｔ７の経過後に所定期間に亘り周期的消灯を行う。なお、本実施形態においては、ｔ１≒ｔ１'と考えることができるものとする。

ここで、本実施形態の特徴の１つは、上述した周期的に消灯及び点灯する周期的消灯において、１つの消灯である瞬時消灯の長さを、人間の視覚応答性の範囲内でちらつき等として認識されない程度に抑えることである。具体的には、例えば、瞬時消灯の長さを、作業者Ｓが第１の照明光１４１の消灯を認識できない程度に抑えることである。この瞬時消灯の長さについては、個人差があるが、およそ１０ｍｓｅｃ〜２０ｍｓｅｃ程度である。

図３を用いた説明では、通常発光の場合、一定の光強度の第１の照明光１４１を連続して発光するものを想定したものであった。
一方で、実際に多くのＬＥＤ照明や有機ＥＬ照明では、インパルス的な駆動をしているものが多く、そのことに鑑み、図４以降では、第１の照明光１４１として、インパルス駆動により点灯する光を想定した例について説明を行う。

インパルス駆動の場合の第１の照明光１４１の周波数は、一般に数百ヘルツから１キロヘルツ程度である。なお、図４以降のパルス列は模式的に表現したもので、図中のパルス列の間隔が点灯周波数を正しく表現するものではない。

図４は、本発明の第１の実施形態を示し、通常発光期間及び周期的消灯期間における第１の照明光１４１の発光タイミング、並びに、周期的消灯期間における第２の照明光１４２の発光タイミング及び露光タイミングの一例を示すタイミングチャートである。
なお、図４では、図３に示すトリガー情報のタイミングの時刻（ｔ１≒ｔ１'）を時刻０としている。

図４の上から第１段目のシーケンスは、第１の照明光１４１の発光タイミング（第１の発光タイミング）を示し、時間ｔ７が経過するまでは通常発光を行い、時間ｔ７の経過後に所定期間（Ｔ＿ｓｅｑ）に亘り周期的消灯を行うことが示されている。図４に示す例では、所定期間（Ｔ＿ｓｅｑ）内に、周期Ｔ＿ｃｙｃｌｅで時間ΔＴの長さの瞬時消灯が６回行われることが示されている。
また、照明装置１１０−１のＣＰＵ２１１は、瞬時消灯の直前及び直後の時期においては、周期的消灯における点灯の通常の光強度よりも大きい光強度の第１の照明光１４１を照射する制御を行って、視覚的に瞬時消灯に伴うちらつき等が無いようになされている。

図４の上から第２段目のシーケンスは、周期的消灯期間（Ｔ＿ｓｅｑ）における第２の照明光１４２の発光タイミング（第２の発光タイミング）が示されている。具体的に、第２の照明光１４２の発光タイミングは、第１の照明光１４１の瞬時消灯の時間内（時間ΔＴ内）に設定されている。

図４の上から第３段目のシーケンスは、撮影装置１２０−１の撮像部２２５による露光のタイミングを示している。露光は、周期的消灯期間（Ｔ＿ｓｅｑ）内において行われており、第１の照明光１４１が発光（点灯）している期間に行われる第１の露光と、第２の照明光１４２が発光（点灯）している期間に行われる第２の露光とが交互に行われている。そして、それぞれの露光は、後から演算できるように、１回の露光ごとに画像（画像データ）として取り込まれる。即ち、第１の露光により第１の撮影が行われ、第２の露光により第２の撮影が行われる。具体的に、図４に示す例では、第１の露光による第１の撮影を複数回行うことにより得られた複数の第１画像（照明画像）Ｓ０〜Ｓ６と、第２の露光による第２の撮影を複数回行うことにより得られた複数の第２画像（観察画像）Ｋ１〜Ｋ６が示されている。

第１の露光による第１の撮影及び第２の露光による第２の撮影は、それぞれの条件に適した露光条件が設定される。
具体的に、本実施形態では、第１の露光は、例えば、１回ごとの露光が十分なレベルを持った画像になるように条件設定される。また、第２の露光は、例えば、１回の露光では不十分であり、例えばここでは６回分の露光で十分なレベルを持った画像になるように条件設定される。

本実施形態において、撮影装置１２０−１のＣＰＵ２２１は、第１の撮影に係るタイミング、及び、第２の撮影に係るタイミング等を制御する。このタイミング制御を行う撮影装置１２０−１のＣＰＵ２２１は、タイミング制御手段（後述の図１２に示すタイミング制御手段１２２１）を構成する。
具体的に、撮影装置１２０−１のＣＰＵ２２１は、図４に示すように、第１の撮影に係る第１の照明光１４１の照射のタイミング（第１の発光タイミング）と第２の撮影に係る第２の照明光１４２の照射のタイミング（第２の発光タイミング）とが重複しないように制御する。また、撮影装置１２０−１のＣＰＵ２２１は、図４に示すように、第１の撮影に係る第１の照明光の照射のタイミング（第１の発光タイミング）と第２の撮影（第２の露光）のタイミングとが重複しないように制御する。また、撮影装置１２０−１のＣＰＵ２２１は、図４に示すように、第１の撮影（第１の露光）と第２の撮影（第２の露光）とが交互に行われるように、第１の撮影に係るタイミングと第２の撮影に係るタイミングとを制御する。

次いで、撮影装置１２０−１のＣＰＵ２２１は、撮像部２２５において第１の撮影を複数回行うことにより得られた複数の第１画像（図４に示す照明画像Ｓ０〜Ｓ６）を取得する。この第１画像を取得する処理を行う撮影装置１２０−１のＣＰＵ２２１は、第１の取得手段（後述の図１２に示す照明画像取得手段１２２２）を構成する。
また、撮影装置１２０−１のＣＰＵ２２１は、撮像部２２５において第２の撮影を複数回行うことにより得られた複数の第２画像（図４に示す観察画像Ｋ１〜Ｋ６）を取得する。この第２画像を取得する処理を行う撮影装置１２０−１のＣＰＵ２２１は、第２の取得手段（後述の図１２に示す観察画像取得手段１２２３）を構成する。
次いで、撮影装置１２０−１のＣＰＵ２２１は、取得した複数の第１画像間（照明画像間）における被写体Ｈの動きに係る動き情報を検出する。この動き情報を検出する処理を行う撮影装置１２０−１のＣＰＵ２２１は、動き情報検出手段（後述の図１２に示す動き情報検出手段１２２４）を構成する。
次いで、撮影装置１２０−１のＣＰＵ２２１は、検出した動き情報に基づいて取得した複数の第２画像に対して第１の処理を行い、当該第１の処理を施した複数の第２画像に対して第２の処理を行って１つの出力画像を生成する。この出力画像を生成する処理を行う撮影装置１２０−１のＣＰＵ２２１は、出力画像生成手段（後述の図１２に示す出力画像生成手段１２２５）を構成する。

次に、撮影装置１２０−１のＣＰＵ２２１による動き情報の検出処理について説明する。

ここで、画像Ｉから画像Ｊへの移行で決まる動きベクトルマップをＭｖ［Ｉ＿Ｊ］と定義する。以下、図５を用いて説明する。

図５は、本発明の第１の実施形態に係る撮影装置１２０−１による動き情報の検出処理を説明するための図である。
ここで、図５には、図４に示す第１の露光及び第２の露光の露光タイミングの制御により時系列で取得された画像が示されている。具体的に、図５には、時系列取得画像として、照明画像Ｓ０、観察画像Ｋ１、照明画像Ｓ１、観察画像Ｋ２、照明画像Ｓ２、観察画像Ｋ３、照明画像Ｓ３、観察画像Ｋ４、照明画像Ｓ４、観察画像Ｋ５、照明画像Ｓ５、観察画像Ｋ６、照明画像Ｓ６が時系列で取得された例が示されている。なお、上述した説明では、第２の露光による第２の撮影により取得された第２画像である観察画像は、第２の照明光１４２が照射されている状態で撮影されたものとしたが、本発明においてはこれに限定されるものではない。例えば、図５に示すように、第２の露光による第２の撮影により取得された第２画像である観察画像は、第１の照明光１４１及び第２の照明光１４２のいずれも照射されていない状態で撮影されたものであってもよい。

図５に示すように、第１の露光による第１の撮影により取得された照明画像Ｓ０と照明画像Ｓ１との間で決まる動きベクトルマップをＭｖ［Ｓ０＿Ｓ１］とする。同様に、照明画像Ｓ１と照明画像Ｓ２との間で決まる動きベクトルマップをＭｖ［Ｓ１＿Ｓ２］とし、照明画像Ｓ２と照明画像Ｓ３との組み合わせ以降も同様とする。

ここで、画像Ｘに画像Ｉ，Ｊで決まる動きベクトルマップＭｖ［Ｉ＿Ｊ］を適用して画像Ｙを生み出す処理（即ち動き補償すること）を、以下の（１）式のように表現する。

次に、具体的な絵柄の画像を用いた説明を行う。
図６は、本発明の第１の実施形態に係る撮影装置１２０−１による動き情報の検出処理を説明するための図である。

本実施形態では、照明画像Ｓを取得するための第１の撮影（第１の露光）と観察画像Ｋを取得するための第２の撮影（第２の露光）とは、それぞれ同一周期で且つ丁度半周期ずれて撮影される場合を仮定している。

図６に示すように、照明画像Ｓ０、観察画像Ｋ１、照明画像Ｓ１、観察画像Ｋ２、照明画像Ｓ２が時系列で撮影される。ここで、図６に示す例では、画像の内容は、時間が進むに従って画像全体に亘る被写体Ｈが少しずつ右上の方向に動いている事例である。このようになるのは、例えば、被写体Ｈの位置が変わったり、或いは、撮影装置１２０−１が揺れて位置や撮影方向が変わったりする場合等である。この右上に動いていく状態を表すものとして、それぞれの照明画像間で動きベクトルマップＭｖ［Ｓ０＿Ｓ１］，Ｍｖ［Ｓ１＿Ｓ２］を求める。これが照明画像Ｓに基づく被写体Ｈの動き検出である。ここで、図６に示す場合において、動き情報としては、例えば、複数の照明画像間における被写体Ｈの画像全体に亘る並進移動または回転移動に係る情報が検出される。

ここで、照明画像Ｓ０から照明画像Ｓ１への変換を関数Ｍｖ［Ｓ０＿Ｓ１］（ ）で表わす。同様に、照明画像Ｓ１から照明画像Ｓ２への変換を関数Ｍｖ［Ｓ１＿Ｓ２］（ ）で表わす。ここで、本実施形態では、上述したように、観察画像Ｋ１の露光タイミングは、照明画像Ｓ０の露光タイミングと照明画像Ｓ１の露光タイミングとの中間という前提である。同様に、観察画像Ｋ２の露光タイミングは、照明画像Ｓ１の露光タイミングと照明画像Ｓ２の露光タイミングとの中間である。

ここで、照明画像Ｓと観察画像Ｋとは、露光条件は異なるものの、同一の被写体Ｈを同一の方向から同一の画角で撮影して得られたものである。このため、照明画像Ｓと観察画像Ｋとは、時間差を考慮した上で同じラインに乗った一連の動きをするはずである。

上述したように、観察画像Ｋ１の露光タイミングは、照明画像Ｓ０の露光タイミングと照明画像Ｓ１の露光タイミングとの中間である。このため、観察画像Ｋ１から観察画像Ｋ２への被写体Ｈの動きは、前後の照明画像Ｓの被写体Ｈの動きをそれぞれ半分にした変換を重ねたものに略等しい。

即ち、観察画像Ｋ１から観察画像Ｋ２への変換は、以下のように表すことができる。
Ｍｖ［Ｓ１＿Ｓ２］／２（Ｍｖ［Ｓ０＿Ｓ１］／２（ ））

したがって、観察画像Ｋ１から、観察画像Ｋ２の時点の画像を推定した画像（観察画像Ｋ１を観察画像Ｋ２の時点に動き情報をもとに移動させた画像）を、Ｋｖ１＿２とすると、以下の（２）式のように表すことができる。

これを一般化して、例えば、観察画像Ｋの露光タイミングが照明画像Ｓの露光タイミングの周期に対して、ａ：ｂ（ａ＋ｂ＝１，ａ＞０，ｂ＞０）の比率のタイミングである場合には、（２）式は、以下の（３）式のように書き換えられる。

本実施形態では、（２）式は、（３）式においてａ＝０．５，ｂ＝０．５としたものである。

図７は、本発明の第１の実施形態に係る撮影装置１２０−１による動き情報の検出処理を説明するための図である。この図７は、図６に示すように被写体Ｈの動きが画像全体に亘るもの（画像の全領域同一）ではなく、画像領域ごとによって異なる場合、即ち、被写体Ｈが部分的に変形している場合を示す。例えば、図７に示す例は、白抜きの矢印の被写体Ｈの部分を押さえたことによる被写体Ｈの変形等を示している。ここで、図７に示す場合において、動き情報としては、例えば、複数の照明画像間における被写体Ｈの画像領域ごとの並進移動または回転移動に係る情報が検出される。

このように被写体Ｈに部分的な動きがあった場合においても、図６の説明と同様に、上述した（２）式及び（３）式が成り立つ。

ここで、上述したＫｖ１＿２と同じ規則で、観察画像Ｋ１，Ｋ２，Ｋ３，Ｋ４及びＫ５のそれぞれについて、観察画像Ｋ６の時点を推定した画像（観察画像Ｋ１，Ｋ２，Ｋ３，Ｋ４，Ｋ５を観察画像Ｋ６の時点に動き情報をもとに移動させた画像）を、それぞれ、画像Ｋｖ１＿６，Ｋｖ２＿６，Ｋｖ３＿６，Ｋｖ４＿６，Ｋｖ５＿６とする。
この画像Ｋｖ１＿６，Ｋｖ２＿６，Ｋｖ３＿６，Ｋｖ４＿６，Ｋｖ５＿６は、それぞれ、上述した考え方に基づき、以下の（４−１）式〜（４−５）式のように表現することができる。

（４−１）式〜（４−５）式で行われた処理が、いわゆる位置合わせ処理である。また、Ｋｖ６＿６は観察画像Ｋ６となるため、（４−６）式が成り立つのは自明である。即ち、（４−１）式〜（４−６）式に示す処理は、検出された動き情報に基づいて複数の観察画像（第２画像）に対して行われる第１の処理に相当するものである。この第１の処理により、被写体Ｈの画像全体に亘る並進移動または回転移動を補正して位置を合わせる処理、或いは、被写体Ｈの画像領域ごとの並進移動または回転移動を補正して位置を合わせる処理がなされる。

さらに、（４−１）式〜（４−６）式に示される画像Ｋｖ１＿６〜Ｋｖ６＿６を、以下の（５）式のように加算処理することにより、１つの出力画像Ｋ＿ｓｕｍを生成する。また、出力画像Ｋ＿ｓｕｍの画素値が飽和する等の事情が生じる場合には、必要に応じて、（４−１）式〜（４−６）式に示される画像Ｋｖ１＿６〜Ｋｖ６＿６を、以下の（６）式のように平均化処理することにより、１つの出力画像Ｋ＿ａｖｅを生成する。この（５）式または（６）式に示す処理は、上述した第１の処理が施された複数の観察画像に対して１つの出力画像を生成する際に行われる第２の処理に相当するものである。

ここで、（５）式に示される出力画像Ｋ＿ｓｕｍ等は、仮に被写体Ｈを固定して観察画像Ｋ１〜Ｋ６の総露光時間で露光した１回の撮影と比較して、輝度或いはＳ／Ｎにおいて遜色のないものであり、且つ、動画ボケやブレに関しては遥かに優れたものとなる。

本実施形態によれば、動きのある被写体Ｈの適切な被写体画像（出力画像）を取得することができる。また、本実施形態によれば、第１の撮影に係る第１の照明光１４１の照射のタイミングと、第２の撮影に係る第２の照明光１４２の照射のタイミング（或いは第２の撮影のタイミング）とが重複しないように制御するため、動きのある被写体Ｈに対して作業を行う作業者Ｓによる作業を行いつつ、当該動きのある被写体Ｈの適切な被写体画像（出力画像）を取得することができる。これにより、例えば、被写体Ｈの手術中に、実時間で被写体画像（出力画像）に基づく病理診断を行うことが可能となり、適切な手術を施すことが可能となる。

（第２の実施形態）
次に、本発明の第２の実施形態について説明する。

第１の実施形態では、第１の照明光１４１は、手術室内の照明装置１１０−１から照射されるものであり、手術室内を照明することと、第１の撮影（第１の露光）によって被写体Ｈの動き情報を得るための照明画像を取得することの両方の目的を持っていた。

第２の実施形態では、第１の照明光１４１は、純粋に第１の撮影（第１の露光）を行うためのものである。即ち、第２の実施形態における第１の照明光１４１は、被写体Ｈの動き情報を得るための目的のためだけであり、作業者Ｓが目の前にある被写体Ｈに対して行う作業を支援するための照明という機能は必ずしも必要ない。したがって、第２の実施形態における第１の照明光１４１は、不可視の光であってもよく、例えば赤外線であっても構わない。第２の実施形態における第１の照明光１４１に求められる重要な要件としては、被写体Ｈの動き情報を検出するのに適した露光が可能なことであり、無影光またはそれに近い光であることが重要である。

図８は、本発明の第２の実施形態に係る撮影装置１２０−２の外観の一例を示す図である。ここで、図８（ａ）に示す撮影装置を「撮影装置１２０−２ａ」とし、図８（ｂ）に示す撮影装置を「撮影装置１２０−２ｂ」とする。

図８（ａ）に示すように、撮影装置１２０−２ａは、レンズや絞り等の撮像光学系及び撮像素子を含む撮像部１２１、及び、複合光源ユニット８１０を有して構成されている。
複合光源ユニット８１０は、いわゆるホットシュー或いは何らかの接続・切り離しが可能な機構によって、撮影装置１２０−２ａの本体と接続されている。この複合光源ユニット８１０には、本実施形態における第１の照明光１４１を照射する第１の発光部８１１と、本実施形態における第２の照明光１４２を照射する第２の発光部８１２が設けられている。第１の発光部８１１は、図８（ａ）においては斜線で示される複数の部分に設けられており、例えば一般的なストロボ光源や赤外線ストロボ光源等である。第２の発光部８１２は、図８（ａ）においては灰色で示される部分に設けられており、例えば励起光を発光する光源や特定の分光光源等である。

図８（ｂ）に示すように、撮影装置１２０−２ｂは、レンズや絞り等の撮像光学系及び撮像素子を含む撮像部１２１、本実施形態における第１の照明光１４１を照射する第１の発光部８１１、及び、光源ユニット８２０を有して構成されている。
光源ユニット８２０は、いわゆるホットシュー或いは何らかの接続・切り離しが可能な機構によって、撮影装置１２０−２ｂの本体と接続されている。この光源ユニット８２０には、本実施形態における第２の照明光１４２を照射する第２の発光部８１２が設けられている。
第１の発光部８１１は、図８（ｂ）においては撮影装置１２０−２ｂの本体の斜線で示される複数の部分に設けられており、例えば一般的なストロボ光源や赤外線ストロボ光源等である。
第２の発光部８１２は、図８（ｂ）においては灰色で示される部分に設けられており、例えば励起光を発光する光源や特定の分光光源等である。

図８（ａ）に示す撮影装置１２０−２ａは、第１の発光部８１１と第２の発光部８１２の組み合わせを複数準備して、露光の仕組みごとにセットで交換するような使い方に適している。

一方、図８（ｂ）に示す撮影装置１２０−２ｂは、第１の発光部８１１については被写体Ｈの動き情報を得ることだけが目的（共通目的）であるために様々な撮影に対して共通の物を使い、第２の発光部８１２のみ複数種類準備して露光の仕組みごとにこれを交換するような使い方に適している。

撮影装置１２０−２ａ及び撮影装置１２０−２ｂのいずれの場合も、第１の発光部８１１は、できるだけ無影光に近い光を照射する光源であることが望ましい。したがって、第１の発光部８１１は、撮像部１２１からみてそれぞれ異なった側、或いは、撮像部１２１を中心に反対側に配置することが望ましい。このため、図８（ａ）や図８（ｂ）に示すような配置を選ぶこととなる。

次に、図８に示す撮影装置１２０−２ａ及び１２０−２ｂの内部構成について説明する。
図９は、図８に示す撮影装置１２０−２ａ及び１２０−２ｂの内部構成の一例を示す図である。図９において、図２（ｂ）に示す撮影装置１２０−１の内部構成と同様の構成については、同じ符号を付しており、その説明は省略する。

図９に示す撮影装置１２０−２ａ及び１２０−２ｂは、図２（ｂ）に示す撮影装置１２０−１の内部構成に対して、第１の発光部２２９を追加し、さらに、発光部２２６を第２の発光部２２６としたものである。

ここで、図９に示す第１の発光部２２９から、図８（ａ）及び図８（ｂ）に示す第１の発光部８１１が構成されている。また、図９に示す第２の発光部２２６から、図８（ａ）及び図８（ｂ）に示す第２の発光部８１２が構成されている。

（第３の実施形態）
次に、本発明の第３の実施形態について説明する。

第３の実施形態に係る撮影装置は、上述した第１及び第２の実施形態に係る撮影装置に対して、第２の照明光１４２を照射する第２の発光部を設けないものである。即ち、第１の実施形態に係る撮影装置１２０−１に対しては、図２（ｂ）に示す発光部２２６（図１に示す発光部１２２）を設けない形態であり、第２の実施形態に係る撮影装置１２０−２に対しては、図９に示す第２の発光部２２６（図８（ａ）及び図８（ｂ）に示す第２の発光部８１２）を設けない形態である。

つまり、第３の実施形態は、第２の露光による第２の撮影において第２の照明光１４２による第２の発光（例えば蛍光撮影における励起光等）を必要としない場合である。この第３の実施形態の場合、第２の露光による第２の撮影は、何らかの発光原理による被写体Ｈの自発光に基づく撮影の場合である。第３の実施形態は、上述した第２の発光部を設けないこと以外は、第１の実施形態或いは第２の実施形態と同様の構成及び動作である。

図１０は、本発明の第３の実施形態を示し、通常発光期間及び周期的消灯期間における第１の照明光１４１の発光タイミング、並びに、周期的消灯期間における露光タイミングの一例を示すタイミングチャートである。

図１０の上から第１段目のシーケンスは、第１の照明光１４１の発光タイミング（第１の発光タイミング）を示し、時間ｔ７が経過するまでは通常発光を行い、時間ｔ７の経過後に所定期間（Ｔ＿ｓｅｑ）に亘り周期的消灯を行うことが示されている。図１０に示す例では、所定期間（Ｔ＿ｓｅｑ）内に、周期Ｔ＿ｃｙｃｌｅで時間ΔＴの長さの瞬時消灯が６回行われることが示されている。
本実施形態に係る照明装置のＣＰＵ２１１は、瞬時消灯の直前及び直後の時期においては、周期的消灯における点灯の通常の光強度よりも大きい光強度の第１の照明光１４１を照射する制御を行って、視覚的に瞬時消灯に伴うちらつき等が無いようになされている。

図１０の上から第２段目のシーケンスは、本実施形態に係る撮影装置の撮像部２２５による露光のタイミングを示している。露光は、周期的消灯期間（Ｔ＿ｓｅｑ）内において行われており、第１の照明光１４１が発光（点灯）している期間に行われる第１の露光と、第２の照明光１４２が消灯している期間に行われる第２の露光とが交互に行われている。そして、それぞれの露光は、後から演算できるように、１回の露光ごとに画像（画像データ）として取り込まれる。即ち、第１の露光により第１の撮影が行われ、第２の露光により第２の撮影が行われる。具体的に、図１０に示す例では、第１の露光による第１の撮影を複数回行うことにより得られた複数の第１画像（照明画像）Ｓ０〜Ｓ６と、第２の露光による第２の撮影を複数回行うことにより得られた複数の第２画像（観察画像）Ｋ１〜Ｋ６が示されている。

第１の露光による第１の撮影及び第２の露光による第２の撮影は、それぞれの条件に適した露光条件が設定される。
具体的に、本実施形態では、第１の露光は、例えば、１回ごとの露光が十分なレベルを持った画像になるように条件設定される。また、第２の露光は、例えば、１回の露光では不十分であり、例えばここでは６回分の露光で十分なレベルを持った画像になるように条件設定される。

（第４の実施形態）
次に、本発明の第４の実施形態について説明する。

第４の実施形態は、上述した第１〜第３の実施形態において説明した処理のように、特定の回数の露光から１枚の出力画像を生成するのではなく、順次の露光により取得される画像に対して同様の処理を順次連続的に行うものである。

第４の実施形態に係る撮影システムは、例えば、図１に示す第１の実施形態に係る撮影システム１００と同様である。また、本実施形態では、撮影装置の出力としては、動画が出力される。

図１１は、本発明の第４の実施形態を示し、第１の照明光１４１の発光タイミング、第２の照明光１４２の発光タイミング、露光タイミング及び画像出力タイミングの一例を示すタイミングチャートである。

第４の実施形態においても、第１の実施形態と同様に、所定の周期で第１の照明光１４１による第１の発光があり、当該第１の発光の消灯期間に第２の照明光１４２による第２の発光を行う。即ち、第１の発光期間中に第１の露光に基づく第１の撮影を行い、第２の発光期間中に第２の露光に基づく第２の撮影を行う。

以下、本実施形態に係る撮影装置による制御方法の処理手順について説明する。

本実施形態では、所定のフレームレートで撮影された第２画像をｍ１フレームごとに直前のｍ２枚のフレームを位置合わせして出力画像を生成するものである。ここで、ｍ１及びｍ２は、整数である。即ち、第２画像のフレームレートをＦ０としたとき、出力画像のフレームレートはＦ０／ｍ１であり、その出力画像は、直前のｍ２枚のフレームを参照し位置合わせして得られたものである。本実施形態においては、フレームレートＦ０は特に定めないが、以下、ｍ１＝５、ｍ２＝１０の場合を例として説明する。

図１１の上から第１段目のシーケンスは、第１の照明光１４１の発光タイミング（第１の発光タイミング）を示し、周期Ｔ＿ｃｙｃｌｅで時間ΔＴの長さの瞬時消灯を行うことが示されている。

図１１の上から第２段目のシーケンスは、第２の照明光１４２の発光タイミング（第２の発光タイミング）を示し、第１の照明光１４１の瞬時消灯の期間に周期Ｔ＿ｃｙｃｌｅで第２の照明光１４２による第２の発光を行うことが示されている。

図１１の上から第３段目のシーケンスは、本実施形態に係る撮影装置の撮像部２２５による露光のタイミングを示している。露光は、第１の照明光１４１が発光（点灯）している期間に行われる第１の露光と、第２の照明光１４２が発光（点灯）している期間に行われる第２の露光とが交互に行われている。そして、それぞれの露光は、後から演算できるように、１回の露光ごとに画像（画像データ）として取り込まれる。即ち、第１の露光により第１の撮影が行われ、第２の露光により第２の撮影が行われる。具体的に、図１１に示す例では、第１の露光による第１の撮影を複数回行うことにより得られた複数の第１画像（照明画像）Ｓ１１〜Ｓ２１と、第２の露光による第２の撮影を複数回行うことにより得られた複数の第２画像（観察画像）Ｋ１１〜Ｋ２２が示されている。

図１１の上から第４段目のシーケンスは、出力画像Ｄ０〜Ｄ２の出力タイミングが示されている。図１１に示すように、入力画像（第３段目に表示）のフレーム５枚ごとに、１つの出力画像Ｄが出力されている。

以下、図１１に示す出力画像Ｄ２を生成する処理の例について説明する。
出力画像Ｄ２は、図１１に示す観察画像Ｋ１２，Ｋ１３，Ｋ１４，Ｋ１５，Ｋ１６，Ｋ１７，Ｋ１８，Ｋ１９，Ｋ２０及びＫ２１を照明画像Ｓから得られる動き情報をもとに、仮想的に照明画像Ｓ２１の撮影タイミングに移動させた画像を、加算または平均化して得られる。

ここで、観察画像Ｋ１２〜Ｋ２１を上述したように照明画像Ｓ２１の撮影タイミングに動かした画像を下記のように表現する。
Ｋ１２＿２１ｓ，Ｋ１３＿２１ｓ，Ｋ１４＿２１ｓ，Ｋ１５＿２１ｓ，Ｋ１６＿２１ｓ，Ｋ１７＿２１ｓ，Ｋ１８＿２１ｓ，Ｋ１９＿２１ｓ，Ｋ２０＿２１ｓ，Ｋ２１＿２１ｓ

そして、これらの総和または平均が出力画像Ｄ２となる。
ここで、１番目の観察画像Ｋ１２がＫ１２＿２１ｓに変換される過程を、下記のように分解することができる。
Ｋ１２→Ｋ１２＿１２ｓ→Ｋ１２ｓ＿１３ｓ→Ｋ１３ｓ＿１４ｓ→・・・→Ｋ１９ｓ＿２０ｓ→Ｋ２０ｓ＿２１ｓ
ここで１回目の変換だけが、その前後の順番が隣接する照明画像Ｓで決まる動きベクトルマップの各成分を半分にした変換である。それ以降は全て、その前後の順番が隣接する照明画像Ｓ同士で決まる動きベクトルマップに基づく変換である。観察画像Ｋ１２〜Ｋ２１のいずれの画像においても、撮影された直後の最初の１回だけ上述したように動きベクトルマップの半分で変換され、その後は上記動きベクトルマップに基づく変換となる。

次に、本実施形態に係る撮影装置の機能構成について説明する。
図１２は、本発明の第４の実施形態に係る撮影装置の機能構成の一例を示す図である。ここで、図１２には、本実施形態に係る撮影装置の機能構成のうち、本発明に係る部分のみ図示している。

本実施形態に係る撮影装置は、図１２に示すように、撮像手段１２１０、制御・処理手段１２２０、演算用フレームメモリ（演算用ＦＭ）１２３０、及び、各種のフレームメモリ（ＦＭ）１２３１〜１２４４を有して構成されている。

撮像手段１２１０は、被写体Ｈの撮影を行って、被写体Ｈからの光１４３に基づく画像を撮像するものである。この撮像手段１２１０は、例えば、図２（ｂ）等に示す撮像部２２５（図１等に示す撮像部１２１）から構成されている。

制御・処理手段１２２０は、本実施形態に係る撮影装置の動作を統括的に制御するとともに、各種の処理を行う。この制御・処理手段１２２０は、例えば、図２（ｂ）等に示すＣＰＵ２２１が外部メモリ２２４に記憶されているプログラムを実行することにより、構成されるものである。
具体的に、制御・処理手段１２２０は、タイミング制御手段１２２１、照明画像取得手段１２２２、観察画像取得手段１２２３、動き情報検出手段１２２４、及び、出力画像生成手段１２２５を有している。
タイミング制御手段１２２１は、撮像手段１２１０において行われる第１の撮影に係るタイミングと、撮像手段１２１０において行われる第２の撮影に係るタイミングを制御する。
照明画像取得手段１２２２は、撮像手段１２１０において第１の撮影を複数回行うことにより得られた複数の第１画像である複数の照明画像（図１１のＳ１１〜Ｓ２１）を、撮像手段１２１０から取得する。
観察画像取得手段１２２３は、撮像手段１２１０において第２の撮影を複数回行うことにより得られた複数の第２画像である複数の観察画像（図１１のＫ１１〜Ｋ２２）を、撮像手段１２１０から取得する。
動き情報検出手段１２２４は、照明画像取得手段１２２２で取得された複数の照明画像間における被写体Ｈの動きに係る動き情報を検出する。
出力画像生成手段１２２５は、まず、動き情報検出手段１２２４で検出された動き情報に基づいて観察画像取得手段１２２３で取得された複数の観察画像に対して第１の処理を行う。ここで、第１の処理としては、複数の観察画像に対して被写体Ｈの画像全体に亘る並進移動または回転移動を補正して位置を合わせる処理、或いは、複数の観察画像に対して被写体Ｈの画像領域ごとの並進移動または回転移動を補正して位置を合わせる処理である。次いで、出力画像生成手段１２２５は、当該第１の処理を施した複数の観察画像に対して第２の処理を行って１つの出力画像を生成する。ここで、第２の処理としては、第１の処理を施した複数の観察画像に対する画像の加算処理または画像の平均化処理である。
制御・処理手段１２２０は、バスを介して、演算用ＦＭ１２３０に一旦情報を格納しつつ演算処理を行うとともに、演算処理の結果をバスを介して各ブロックに転送する。

演算用ＦＭ１２３０は、制御・処理手段１２２０による演算処理の結果等の情報を格納するものであり、制御・処理手段１２２０が演算処理を行う際に用いられる。

ＦＭ＿ａ１（１２３１）〜ＦＭ＿ａ３（１２３３）、及び、ＦＭ＿０（１２３４）〜ＦＭ＿１０（１２４４）は、いわゆるフレームメモリである。

次に、制御・処理手段１２２０による各種のフレームメモリを用いた演算処理について説明する。

図１３は、本発明の第４の実施形態を示し、図１２に示す制御・処理手段１２２０による各フレームメモリを用いた演算処理を説明するための図である。具体的に、図１３には、制御・処理手段１２２０による演算処理を実現するための各フレームメモリ間のデータに移動について示している。

図１３の上段は、観察画像Ｋ２１が入力された直後（図１１のｉ＝２１の時点）の各フレームメモリの中身である、また、図１３の下段は、観察画像Ｋ２２が入力された直後（図１１のｉ＝２２の時点）の各フレームメモリの中身である。

図１３のフレームメモリＦＭ＿０に格納される画像は、ｉがインクリメントされるごとに、照明画像Ｓで決まる動きベクトルマップの動き量を半分にした変換が施されてフレームメモリＦＭ＿１に移動する。ここで、ｉ＝２１→ｉ＝２２のとき、当該変換（前者の変換）は、Ｙ＝Ｍｖ［Ｓ２０＿Ｓ２１］／２（Ｘ）で表わされる。

また、フレームメモリＦＭ＿１〜ＦＭ＿９に格納される画像は、ｉがインクリメントされるごとに、照明画像Ｓで決まる動きベクトルマップに基づいた変換が施されて右隣のフレームメモリＦＭに移動する。ここで、ｉ＝２１→ｉ＝２２のとき、当該変換（後者の変換）は、Ｙ＝Ｍｖ［Ｓ２０＿Ｓ２１］（Ｘ）で表わされる。

図１３において、前者の変換と移動を破線の矢印で示し、後者の変換と移動を一点鎖線の矢印で示す。

本実施形態では、入力されるフレーム（撮影されるフレーム）の５フレームに１回の間隔で出力画像の出力を行う。即ち、図１１で示す範囲では、ｉ＝１２，１７，２２のタイミングで、それぞれ、出力画像Ｄ１，Ｄ２，Ｄ３を出力する。

ここで、例えば、出力画像Ｄ２は、観察画像Ｋ１２〜Ｋ２１を照明画像Ｓ２１のタイミングに変換した画像を足し合わせたものである。

図１４は、本発明の第４の実施形態を示し、図１２に示す制御・処理手段１２２０による各フレームメモリを用いた演算処理を説明するための図である。具体的に、図１４には、各フレームメモリＦＭ＿ａ１，ＦＭ＿ａ２，ＦＭ＿ａ３に格納される画像と、出力画像生成手段１２２５で生成される出力画像の内容が示されている。

ｉ＝２１の時点においては、フレームメモリＦＭ＿ａ１，ＦＭ＿ａ２に、それぞれ、照明画像Ｓ２０，Ｓ１９が格納され、これらをもとに算出された動きベクトルマップＭｖ［Ｓ１９＿Ｓ２０］がフレームメモリＦＭ＿ａ３に格納される。

また、ｉ＝２２の時点においては、フレームメモリＦＭ＿ａ１，ＦＭ＿ａ２に、それぞれ、照明画像Ｓ２１，Ｓ２０が格納され、これらをもとに算出された動きベクトルマップＭｖ［Ｓ２０＿Ｓ２１］がフレームメモリＦＭ＿ａ３に格納される。

ｉ＝２１の時点において、フレームメモリＦＭ＿１〜ＦＭ＿９に格納されていた画像が、ｉ＝２２の時点で動きベクトルマップＭｖ［Ｓ２０＿Ｓ２１］によって変換されて、フレームメモリＦＭ＿２〜ＦＭ＿１０に移動する。

また、ｉ＝２１の時点でフレームメモリＦＭ＿０に格納されていた画像が、ｉ＝２２の時点で動きベクトルマップＭｖ［Ｓ２０＿Ｓ２１］／２によって変換されて、フレームメモリＦＭ＿１に格納される。

さらに、ｉ＝２２の時点は、出力画像Ｄ２を出力するタイミングであるので、フレームメモリＦＭ＿１〜ＦＭ＿１０に格納されている画像を全て加算（必要に応じて平均化してもよい）することにより、出力画像Ｄ２を生成し、これを出力する。

このように、出力画像生成手段１２２５は、まず、フレームレートＦ０で撮影された観察画像Ｋを、照明画像Ｓによって得られた動き情報に基づいてｍ２回まで順次位置合わせをする。その上で、出力画像生成手段１２２５は、ｍ１枚のフレームごとに（即ちＦ０／ｍ１のフレームレートで）、前記ｍ２枚のフレームを加算（或いは平均化）して出力画像Ｄを生成する。このようにすることにより、フレームレートＦ０で撮影された画像は、ｍ１分の１にフレームレート変換された動画として出力される。

また、出力される動画の各フレームは、直前ｍ２枚の入力画像を位置合わせして加算等した画像である。これにより、出力画像は、動きボヤケや多重像などの動的な劣化なく、Ｓ／Ｎの改善、レベルの改善がなされたものとなり、動く被写体Ｈの低照度撮影等を実現するものである。

（第５の実施形態）
次に、本発明の第５の実施形態について説明する。

ここまでの実施形態では、画像を位置合わせするための動きベクトルを検出するために、通常の撮影画像を用いていた。しかしながら、被写体Ｈの明度や色調が均一である場合や照明の方向や形状によっては、画像間の対応点を求めづらい、即ち動きベクトルをもとめづらい場合がある。本実施形態では、このような場合を想定し、対象物の３次元的形状データを一旦求め、その３次元的形状データの領域ごとの形状特徴に着目して対応点を求める。

本実施形態では、第１の照明光１４１として、３次元計測用に空間符号化（２次元的に符号化）されたパターンの投影光を、被写体Ｈに投影する。そして、本実施形態では、第１の照明光１４１として上述のパターンの投影光が投影された被写体Ｈの表面で反射する光を露光する、即ち第１の露光による画像を得ることにより、この画像をもとに被写体Ｈの３次元形状データを算出する。

図１５は、本発明の第５の実施形態に係る撮影装置１２０−５の外観の一例を示す図である。

図１５に示すように、撮影装置１２０−５は、レンズや絞り等の撮像光学系及び撮像素子を含む撮像部１２１、本実施形態における第１の照明光１４１を照射する第１の発光部８１３、及び、光源ユニット８２０を有して構成されている。また、光源ユニット８２０には、第２の照明光１４２を照射する第２の発光部８１２が設けられている。
第１の発光部８１３は、図１５に示すように、撮影装置１２０−５の本体に、撮像部１２１と所定の距離を隔てて配置されている。
第２の発光部８１２は、図８に示す第２の実施形態に係る撮影装置１２０−２の第２の発光部８１２と同じものであり、図１５においても灰色で示される部分に設けられており、例えば励起光を発光する光源等である。

第１の発光部８１３からは、第１の照明光１４１として、２次元的に符号化されたパターンの投影光が被写体Ｈに投影される。

光源ユニット８２０は、いわゆるホットシュー或いは何らかの接続・切り離しが可能な機構によって、撮影装置１２０−５の本体と接続されている。このようにすることにより、例えば蛍光撮影を行う装置の場合には、励起光の種類に対応してこの光源ユニット８２０を用意すれば、用途ごとによって選択して付け替えることが可能である。

次に、図１５に示す撮影装置１２０−５の内部構成について説明する。
図１６は、図１５に示す撮影装置１２０−５の内部構成の一例を示す図である。図１９において、図９に示す撮影装置１２０−２ａ，２ｂの内部構成と同様の構成については、同じ符号を付しており、その説明は省略する。

図１６に示す撮影装置１２０−５は、図９に示す図９に示す撮影装置１２０−２ａ，２ｂの内部構成に対して、第１の発光部２２９を第１の発光部（パターン投影部）２２９−５に置き換えたものである。ここで、図１５に示す第１の発光部８１３から、図１６に示す第１の発光部（パターン投影部）２２９−５が構成されている。それ以外の構成部は、図９に示す撮影装置１２０−２ａ，２ｂの内部構成と同じである。

第１の発光部（パターン投影部）２２９−５は、距離画像データの計測を可能とする２次元的に符号化されたパターンの投影光を被写体Ｈの表面に投影する。この第１の発光部（パターン投影部）２２９−５は、投影光学系２２９１と、投影素子２２９２を備えて構成されている。

投影素子２２９２は、２次元の画素配列からなり、上述した２次元的に符号化されたパターンの投影光に基づいて、所定の画素が発光する。この投影素子２２９２としては、液晶透過型表示素子や、ＬＣＯＳ（液晶反射型表示素子）、ＤＭＤ（ディジタル・マイクロミラー・デバイス）等の電子表示デバイスが考えられるが、固定したマスクパターンを発光源の前に配するようなもので構成することも可能である。
投影光学系２２９１は、投影素子２２９２の所定の画素が発光してなる像を、被写体Ｈの表面に結像させる役割を担う。

図１７は、本発明の第５の実施形態を示し、周期的消灯期間における第１の照明光１４１の発光タイミング、並びに、周期的消灯期間における第２の照明光１４２の発光タイミング及び露光タイミングの一例を示すタイミングチャートである。図１７に示す例では、時刻（時間）ｔ＝０でシャッターが切られ、最小限度の遅延時間ｔ７でシーケンスが始まる。遅延時間ｔ７の経過後に所定期間（Ｔ＿ｓｅｑ）に亘り、撮影のためのシーケンスが動作する。

図１７の上から第１段目のシーケンスは、第１の発光部（パターン投影部）２２９−５による第１の照明光１４１の発光タイミング（第１の発光タイミング）を示す。遅延時間ｔ７の経過後の所定期間（Ｔ＿ｓｅｑ）内に、周期Ｔ＿ｃｙｃｌｅで周期的点灯が７回行われることが示されている。

図１７の上から第２段目のシーケンスは、第２の発光部２２６による第２の照明光１４２の発光タイミング（第２の発光タイミング）を示す。また、本実施形態においては、第２の発光タイミングと第１の発光タイミングは、同一周期で交互に行われるように設定されている。この際、図１７に示す例では、第１の発光タイミングと第２の発光タイミングの時間差は、周期Ｔ＿ｃｙｃｌｅの半分である。

図１７の上から第３段目のシーケンスは、撮影装置１２０−５の撮像部２２５による露光のタイミングを示している。第１の発光タイミングに合わせて行われるのが第１の露光であり、第２の発光タイミングに合わせて行われるのが第２の露光である。そして、それぞれの露光によって得られた画像は、後から演算できるように、１回の露光ごとに画像データとして取り込まれる。それぞれの露光によって得られる画像を、Ｐ（０），Ｋ（１），Ｐ（１），Ｋ（２）、Ｐ（２），Ｋ（３），Ｐ（３），Ｋ（４），Ｐ（４），Ｋ（５），Ｐ（５），Ｋ（６），Ｐ（６）とし、図１７の上から３段目の時間軸の下に示す。

図１８は、本発明の第５の実施形態に係る撮影装置１２０−５による制御方法の処理手順の一例を示すフローチャートである。

まず、ステップＳ１０１において、撮影装置１２０−５のＣＰＵ２２１は、入力デバイス２２７のシャッターボタンの押し込みを検知したか否かを判断する。この判断の結果、入力デバイス２２７のシャッターボタンの押し込みを検知していない場合には（Ｓ１０１／ＮＯ）、入力デバイス２２７のシャッターボタンの押し込みを検知するまで、ステップＳ１０１で待機する。

一方、ステップＳ１０１の判断の結果、入力デバイス２２７のシャッターボタンの押し込みを検知した場合には（Ｓ１０１／ＹＥＳ）、ステップＳ１０２に進む。
ステップＳ１０２に進むと、撮影装置１２０−５のＣＰＵ２２１は、第１の発光部（パターン投影部）２２９−５と撮像部２２５を制御して、３次元計測用のパターンの投影光の投影と第１の露光を同時に行い、図１７に示す第１画像であるＰ（０）画像を取得する。

続いて、ステップＳ１０３において、撮影装置１２０−５のＣＰＵ２２１は、露光のタイミングを示す変数であるｉに１を設定する。これにより、露光タイミングｉが設定される。ここで、図１８に示すフローチャートの例では、露光タイミングｉは、１から６まで設定されるものとする。

続いて、ステップＳ１０４において、撮影装置１２０−５のＣＰＵ２２１は、第２の発光部２２６と撮像部２２５を制御して、第２の発光（例えば励起光の発光）と第２の露光（例えば蛍光画像の撮影）を行い、図１７に示す第２画像であるＫ（ｉ）画像を取得する。

続いて、ステップＳ１０５において、撮影装置１２０−５のＣＰＵ２２１は、第１の発光部（パターン投影部）２２９−５と撮像部２２５を制御して、２次元的に符号化されたパターンの投影光の投影と第１の露光を同時に行い、図１７に示す第１画像であるＰ（ｉ）画像を取得する。

続いて、ステップＳ１０６において、撮影装置１２０−５のＣＰＵ２２１は、露光タイミングｉが６であるか否かを判断する。この判断の結果、露光タイミングｉが６でない場合には（Ｓ１０６／ＮＯ）、ステップＳ１０７に進む。
ステップＳ１０７に進むと、撮影装置１２０−５のＣＰＵ２２１は、露光タイミングｉに１を加算して、露光タイミングｉを変更する。その後、ステップＳ１０４に戻り、変更した露光タイミングｉに基づいてステップＳ１０４以降の処理が行われる。

一方、ステップＳ１０６の判断の結果、露光タイミングｉが６である場合には（Ｓ１０６／ＹＥＳ）、ステップＳ１０８に進む。なお、ステップＳ１０８に進む時点で、複数の第１画像（図１７に示すＰ（０）画像〜Ｐ（６）画像）、及び、複数の第２画像（図１７に示すＫ（１）画像〜Ｋ（６）画像）が取得される。この際、複数の第１画像を取得する処理を行う撮影装置１２０−１のＣＰＵ２２１は、第１の取得手段を構成し、また、複数の第２画像を取得する処理を行う撮影装置１２０−１のＣＰＵ２２１は、第２の取得手段を構成する。そして、ステップＳ１０８以降の処理は、取得した画像をもとに計算処理を行う。

ステップＳ１０８に進むと、撮影装置１２０−５のＣＰＵ２２１は、複数の第１画像（図１７に示すＰ（０）画像〜Ｐ（６）画像）に基づいて被写体Ｈの複数の距離画像を算出する。そして、撮影装置１２０−５のＣＰＵ２２１は、算出した複数の距離画像に基づいて被写体Ｈの３次元形状データとともに動き情報として被写体Ｈの全体または領域としての３次元的な並進運動または３次元的な回転運動に係る情報を検出する。ここでは、例えば、被写体Ｈの複数の距離画像から被写体Ｈの３次元形状データを検出し、検出したそれぞれの部分の形状の特徴から、当該三次元形状データ間の対応点を求め、これを３次元的な動きベクトル（動き情報）として扱う。

続いて、ステップＳ１０９において、撮影装置１２０−５のＣＰＵ２２１は、複数の第２画像を３次元形状データ上にマッピングし、動き情報に基づいて、当該３次元形状データの全体または領域に亘る並進移動または回転移動を補正して、複数の第２画像の３次元的な位置を合わせる処理（第１の処理）を行う。ここでは、例えば、ステップＳ１０８で検出された三次元形状データと動き情報とによって、第２の露光タイミングにおける３次元形状データを推定し、共通の撮像素子２２５２の画素位置に基づいて、当該推定した３次元形状データに複数の第２画像を対応させ、かつ動き情報に基づいて複数の第２画像に基づく３次元データを、例えば図１７に示すＰ（６）画像を露光した時刻と推定される位置に移動させる。

続いて、ステップＳ１１０において、撮影装置１２０−５のＣＰＵ２２１は、ステップＳ１０９の第１の処理を施した複数の第２画像に対して画像の加算処理または画像の平均化処理による合成処理（第２の処理）を行って、１つの出力画像を生成する。これにより、従来よりも、輝度の高いまたはＳ／Ｎが改善された、第２画像に基づく３次元の出力画像を生成することができる。
ステップＳ１１０の処理が終了すると、図１８に示すフローチャートの処理が終了する。

次に、ステップＳ１０８〜Ｓ１１０の処理について詳しく説明する。

まず、図１９を用いて、複数の第１画像に基づいて得られた３次元形状データと第２画像との対応関係について説明する。
図１９は、本発明の第５の実施形態を示し、複数の第１画像に基づいて得られた３次元形状データと第２画像との対応関係を説明するための図である。

図１９（ａ）は、図１５に示す第１の発光部８１３と撮像部１２１によって三角測量により点Ｑの位置を検出している状態を表す。点Ｑの位置を一般化して考えれば、被写体Ｈの三次元形状データを検出していることと同じであり、図１９（ａ）の斜線部は、その立体形状の断面を表している。

第１の発光部８１３と撮像部１２１は、それぞれを隔てる距離、それぞれの方向等に関してキャリブレーションされている。また、第１の発光部８１３から例えば図１９（ａ）の紙面の略深さ方向にそれぞれ識別可能なライン上のパターン等が投影されている。

図１９（ｂ）は、第２の照明光１４２により発光した被写体Ｈ上の点Ｒの方向を撮像部１２１が検出した状態を表している。図１９（ｂ）では、第１の発光部８１３による３次元計測用のパターンの投影光を投影してはいないので、撮像部１２１から見た点Ｒの方向は検出できるが、被写体Ｈの形状は検出することができない（図１９（ｂ）中では破線で示しているが実際には見えない）。

ここで、図１９（ａ）においても図１９（ｂ）においても、被写体Ｈの形状が共通であり、なおかつ図１９（ｂ）の発光点Ｒが被写体Ｈの表面に存在するという条件が満たされる場合、撮像部１２１の同一画素領域に検出される、点Ｑと点Ｒは同一位置にあるということができる。

本実施形態においては、第１の露光タイミングと第２の露光タイミングは同時ではないので、図１９（ａ）に相当するデータは、前後のタイミングで取得されたデータから動き情報によって推定されたものである。また、図１９（ｂ）は、第２の露光で取得された画像が対応する。

次に、図２０を用いて、複数の第１画像に基づいて得られた３次元形状データと第２画像との対応関係についてさらに説明する。
図２０は、本発明の第５の実施形態を示し、複数の第１画像に基づいて得られた３次元形状データと第２画像との対応関係を説明するための図である。

図２０（ａ）のＳｈａｐｅ（０）は、図１７に示す第１画像であるＰ（０）画像に基づく３次元形状データである。同様に、Ｓｈａｐｅ（１）は、図１７に示す第１画像であるＰ（１）画像に基づく３次元形状データであり、Ｓｈａｐｅ（２）は、図１７に示す第１画像であるＰ（２）画像に基づく３次元形状データであり、Ｓｈａｐｅ（３）は、図１７に示す第１画像であるＰ（３）画像に基づく３次元形状データである。

図２０（ａ）には、ＳｈａｐｅＥｓ（１）〜ＳｈａｐｅＥｓ（３）が破線で示されている。これらは、前後の３次元形状データ（Ｓｈａｐｅ）の特徴点を対応させて生成した３次元的動きベクトルマップに基づいて、その時間的な中間位置にある状態の推定した３次元形状データである。ここで、時間的な中間位置とは、第２の露光を行う時刻であり、即ち、第２の露光タイミングでの３次元形状データを推定していることと同じである。また、図２０（ａ）には、点Ｑ１〜Ｑ４が示されている。

また、図２０（ｂ）の点Ｒ１，Ｒ２，Ｒ３は、それぞれ撮像部１２１から見た発光点の方向を示す直線とそれぞれの時点での被写体Ｈの３次元形状データにおける物体表面とが交わる点である。

図２０（ａ）の点Ｑ１，Ｑ２，Ｑ３，Ｑ４と、図２０（ｂ）の点Ｒ１，Ｒ２，Ｒ３との関係は、以下の式に示す通りである。
Ｒ１＝（Ｑ１＋Ｑ２）／２，Ｒ２＝（Ｑ２＋Ｑ３）／２，Ｒ３＝（Ｑ３＋Ｑ４）／２

次に、図２１を用いて、第５の実施形態に係る撮影装置１２０−５において、各種の画像を取得し、動き情報を処理するシーケンスについて説明する。
図２１は、本発明の第５の実施形態に係る撮影装置１２０−５において、各種の画像を取得し、動き情報を処理するシーケンスの一例を示す図である。

図２１の上から１段目には、図１７に示す第１及び第２の露光タイミングにより順番に取得された画像であるＰ（０），Ｋ（１），Ｐ（１），Ｋ（２）、Ｐ（２），Ｋ（３），Ｐ（３），Ｋ（４），Ｐ（４），Ｋ（５），Ｐ（５），Ｋ（６），Ｐ（６）が、左から時系列順に示されている。

以下、Ｐ（０）画像とＰ（１）画像に関する部分を代表して説明する。Ｐ（２）画像以降も同じ規則を適用する。

図２１の上か２段目には、Ｐ（０）画像及びＰ（１）画像にそれぞれ基づいて生成された、距離画像Ｄｐｔｈ（０）及びＤｐｔｈ（１）が示されている。ここで、距離画像Ｄｐｔｈ（ ）は、撮像素子２２５２の画素番号ごとに被写体Ｈまでの距離を並べた距離画像であり、Ｐ（ ）画像から一意に算出することができる。

図２１の上から３段目には、３次元形状データＳｈａｐｅ（０）及びＳｈａｐｅ（１）が示されている。この３次元形状データＳｈａｐｅ（０）及びＳｈａｐｅ（１）は、それぞれ、距離画像Ｄｐｔｈ（０）及びＤｐｔｈ（１）に基づいて生成されものであり、算出されたデータを３次元的にマッピングしたものである。

図２１の上から４段目には、３次元動きベクトルマップＭｖＳ［０＿１］が示されている。この３次元動きベクトルマップＭｖＳ［０＿１］は、３次元的ベクトルを３次元的にマッピングした動きベクトルデータである。この３次元動きベクトルマップＭｖＳ［０＿１］は、隣接する３次元形状データＳｈａｐｅ（０）と３次元形状データＳｈａｐｅ（１）の形状特徴をもとに対応する点を求めてベクトルとすることにより生成されるものである。

以上までの処理が、図１８のステップＳ１０８に相当する。

図２１の上から５段目には、推定３次元形状データＳｈａｐｅＥｓ（１）が示されている。この推定３次元形状データＳｈａｐｅＥｓ（１）は、前後の３次元形状データから推定された３次元形状データであり、３次元形状データＳｈａｐｅ（０）を３次元動きベクトルマップＭｖＳ［０＿１］で示す動きベクトルの半分だけ進めたもの、または、３次元形状データＳｈａｐｅ（１）を３次元動きベクトルマップＭｖＳ［０＿１］で示す動きベクトルの半分だけ戻したものである。

図２１の上から６段目には、推定３次元形状データＳｈａｐｅＥｓ（１）から算出したＫ（１）画像のタイミングの距離画像ＤｐｔｈＥｓ（１）が示されている。この距離画像ＤｐｔｈＥｓ（１）は、上述した距離画像Ｄｐｔｈ（ ）と同じフォーマットである。この距離画像ＤｐｔｈＥｓ（１）は、推定３次元形状データＳｈａｐｅＥｓ（１）から距離画像を逆算したものである。本実施形態では、この距離画像ＤｐｔｈＥｓ（ ）を用いて、推定３次元形状データＳｈａｐｅＥｓ（ ）と第２画像との対応関係を求める。

図２１の上から７段目には、距離画像ＤｐｔｈＥｓ（１）をもとに推定３次元形状データＳｈａｐｅＥｓ（１）に対応させた第２画像のＫ（１）画像の３次元形状対応データＳｈａｐｅＫ（１）が示されている。即ち、３次元形状対応データＳｈａｐｅＫ（１）は、Ｋ（１）画像を推定３次元形状データＳｈａｐｅＥｓ（１）上に対応ヅケタものであり、図１９及び図２０に示すＲ点の輝度値を３次元マップ上にデータとして並べたものである。また、図２１の上から７段目には、３次元形状対応データＳｈａｐｅＫ（１）と同様の手法により得られる３次元形状対応データＳｈａｐｅＫ（２）〜ＳｈａｐｅＫ（６）も示されている。

さらに、３次元形状対応データＳｈａｐｅＫ（６）〜ＳｈａｐｅＫ（１）を、それぞれ、以下の（７−１）式〜（７−６）式に代入することにより、推定値ＫｖＳ６＿６〜ＫｖＳ１＿６を求める。

この（７−１）式〜（７−６）式の処理は、それぞれの３次元形状対応データＳｈａｐｅＫ（ ）について、３次元的な動きベクトルマップによって動かし、所定のタイミングにおけるそれぞれの状態値を推定することである。本実施形態では、Ｐ（６）画像を露光する時刻を上記タイミングとし、推定値ＫｖＳ６＿６〜ＫｖＳ１＿６を算出する。

さらに、（７−１）式〜（７−６）式に示される推定値ＫｖＳ６＿６〜ＫｖＳ１＿６を、以下の（８）式のように加算処理することにより、１つの出力画像ＫＳ＿ｓｕｍを生成する。また、出力画像ＫＳ＿ｓｕｍの画素値が飽和する等の事情が生じる場合には、必要に応じて、（７−１）式〜（７−６）式に示される推定値ＫｖＳ６＿６〜ＫｖＳ１＿６を、以下の（９）式のように平均化処理することにより、１つの出力画像ＫＳ＿ａｖｅを生成する。

以上までの処理が、図１８のステップＳ１０９及びＳ１１０に相当する。

以上のように処理することにより、例え、低輝度で動く対象であって、なおかつ、物体として輝度や色相が均一で、画像同士の対応点を求めづらくて動きベクトルが求めづらい被写体Ｈであっても、撮像時のブラーを増大することなく、従来よりも輝度の高いまたはＳ／Ｎが改善された、第２画像に基づく３次元の出力画像を生成することができる。

（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。
即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
このプログラム及び当該プログラムを記憶したコンピュータ読み取り可能な記憶媒体は、本発明に含まれる。

なお、上述した本発明の実施形態は、いずれも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

１００ 撮影システム、１１０−１ 照明装置、１１１ 通信部、１２０−１ 撮影装置、１２１ 撮像部、１２２ 発光部、１２３ 通信部、１３０ 表示装置、１４１ 第１の照明光、１４２ 第２の照明光、１４３ 被写体からの光、１４４ 無線信号（赤外線信号）、Ｈ 被写体、Ｓ 作業者

Claims (14)

1. 被写体の撮影を行って画像を得る撮像手段を備える撮影装置であって、
   前記被写体に対して第１の照明光が照射されている状態で前記撮像手段において行われる第１の撮影に係るタイミングと、前記被写体に対して前記第１の照明光とは異なる第２の照明光が照射されている状態または前記第１の照明光および前記第２の照明光のいずれも照射されていない状態で前記撮像手段において行われる第２の撮影に係るタイミングとを制御するタイミング制御手段と、
   前記撮像手段において前記第１の撮影を複数回行うことにより得られた複数の第１画像を取得する第１の取得手段と、
   前記撮像手段において前記第２の撮影を複数回行うことにより得られた複数の第２画像を取得する第２の取得手段と、
   前記第１の取得手段で取得された複数の第１画像間における前記被写体の動きに係る動き情報を検出する検出手段と、
   前記検出手段で検出された動き情報に基づいて前記第２の取得手段で取得された複数の第２画像に対して第１の処理を行い、当該第１の処理を施した複数の第２画像に対して第２の処理を行って１つの出力画像を生成する生成手段と
   を有することを特徴とする撮影装置。
2. 前記タイミング制御手段は、前記第１の撮影に係る前記第１の照明光の照射のタイミングと前記第２の撮影に係る前記第２の照明光の照射のタイミングとが重複しないように制御することを特徴とする請求項１に記載の撮影装置。
3. 前記タイミング制御手段は、前記第１の撮影に係る前記第１の照明光の照射のタイミングと前記第２の撮影のタイミングとが重複しないように制御することを特徴とする請求項１に記載の撮影装置。
4. 前記タイミング制御手段は、前記第１の撮影と前記第２の撮影とが交互に行われるように、前記第１の撮影に係るタイミングと前記第２の撮影に係るタイミングとを制御することを特徴とする請求項１乃至３のいずれか１項に記載の撮影装置。
5. 前記検出手段は、前記動き情報として、前記第１の取得手段で取得された複数の第１画像間における前記被写体の画像全体に亘る並進移動または回転移動に係る情報を検出することを特徴とする請求項１乃至４のいずれか１項に記載の撮影装置。
6. 前記検出手段は、前記動き情報として、前記第１の取得手段で取得された複数の第１画像間における前記被写体の画像領域ごとの並進移動または回転移動に係る情報を検出することを特徴とする請求項１乃至４のいずれか１項に記載の撮影装置。
7. 前記生成手段は、前記第１の処理として、前記第２の取得手段で取得された複数の第２画像に対して前記画像全体に亘る並進移動または回転移動を補正して位置を合わせる処理を行うことを特徴とする請求項５に記載の撮影装置。
8. 前記生成手段は、前記第１の処理として、前記第２の取得手段で取得された複数の第２画像に対して前記画像領域ごとの並進移動または回転移動を補正して位置を合わせる処理を行うことを特徴とする請求項６に記載の撮影装置。
9. 前記生成手段は、前記第２の処理として、前記第１の処理を施した複数の第２画像に対して画像の加算処理または画像の平均化処理を行って、前記出力画像を生成することを特徴とする請求項１乃至８のいずれか１項に記載の撮影装置。
10. 前記第１の照明光は、２次元的に符号化されたパターンの投影光であり、
    前記検出手段は、前記第１の取得手段で取得された複数の第１画像に基づいて複数の距離画像を算出し、当該複数の距離画像に基づいて前記被写体の３次元形状データとともに前記動き情報として前記被写体の全体または領域としての３次元的な並進運動または３次元的な回転運動に係る情報を検出することを特徴とする請求項１乃至４のいずれか１項に記載の撮影装置。
11. 前記生成手段は、前記第１の処理として、前記第２の取得手段で取得された複数の第２画像を前記３次元形状データ上にマッピングし、前記動き情報に基づいて、当該３次元形状データの全体または領域に亘る並進移動または回転移動を補正して、前記複数の第２画像の３次元的な位置を合わせる処理を行うことを特徴とする請求項１０に記載の撮影装置。
12. 前記生成手段は、前記第２の処理として、前記第１の処理を施した複数の第２画像に対して画像の加算処理または画像の平均化処理を行って、前記出力画像を生成することを特徴とする請求項１１に記載の撮影装置。
13. 被写体の撮影を行って画像を得る撮像手段を備える撮影装置の制御方法であって、
    前記被写体に対して第１の照明光が照射されている状態で前記撮像手段において行われる第１の撮影に係るタイミングと、前記被写体に対して前記第１の照明光とは異なる第２の照明光が照射されている状態または前記第１の照明光および前記第２の照明光のいずれも照射されていない状態で前記撮像手段において行われる第２の撮影に係るタイミングとを制御するタイミング制御ステップと、
    前記撮像手段において前記第１の撮影を複数回行うことにより得られた複数の第１画像を取得する第１の取得ステップと、
    前記撮像手段において前記第２の撮影を複数回行うことにより得られた複数の第２画像を取得する第２の取得ステップと、
    前記第１の取得ステップで取得された複数の第１画像間における前記被写体の動きに係る動き情報を検出する検出ステップと、
    前記検出ステップで検出された動き情報に基づいて前記第２の取得ステップで取得された複数の第２画像に対して第１の処理を行い、当該第１の処理を施した複数の第２画像に対して第２の処理を行って１つの出力画像を生成する生成ステップと
    を有することを特徴とする撮影装置の制御方法。
14. 被写体の撮影を行って画像を得る撮像手段を備える撮影装置の制御方法をコンピュータに実行させるためのプログラムであって、
    前記被写体に対して第１の照明光が照射されている状態で前記撮像手段において行われる第１の撮影に係るタイミングと、前記被写体に対して前記第１の照明光とは異なる第２の照明光が照射されている状態または前記第１の照明光および前記第２の照明光のいずれも照射されていない状態で前記撮像手段において行われる第２の撮影に係るタイミングとを制御するタイミング制御ステップと、
    前記撮像手段において前記第１の撮影を複数回行うことにより得られた複数の第１画像を取得する第１の取得ステップと、
    前記撮像手段において前記第２の撮影を複数回行うことにより得られた複数の第２画像を取得する第２の取得ステップと、
    前記第１の取得ステップで取得された複数の第１画像間における前記被写体の動きに係る動き情報を検出する検出ステップと、
    前記検出ステップで検出された動き情報に基づいて前記第２の取得ステップで取得された複数の第２画像に対して第１の処理を行い、当該第１の処理を施した複数の第２画像に対して第２の処理を行って１つの出力画像を生成する生成ステップと
    をコンピュータに実行させるためのプログラム。

Images