JP2008252402A - 撮像システム、撮像方法、および撮像プログラム - Google Patents

Abstract

【課題】白抜けした画像の撮像およびフリッカの発生を防止する。
【解決手段】本発明に係る撮像システムは、被写体を撮像する撮像部と、撮像部による撮像範囲内に存在し、予め定められた光量以上の光量の光を発する光源の時間的な発光量の変化を検出する発光量変化検出部と、発光量変化検出部が検出した発光量の変化に基づいて、光源からの光量が予め定められた光量より小さくなるタイミングを特定するタイミング特定部と、タイミング特定部が特定したタイミングを含む予め定められた期間に撮像部に被写体を撮像させる撮像制御部と、撮像制御部による制御により撮像部が撮像した撮像画像を出力する出力部とを備える。
【選択図】図２

Description

本発明は、撮像システム、撮像方法、および撮像プログラムに関する。特に、本発明は、被写体を撮像する撮像システム、撮像方法、および撮像プログラムに関する。

特許文献１には、撮像範囲に含まれる撮影環境の照度に応じた発光タイミングおよび発光量で警告用照明装置を発光させて、画像を撮像する監視システムについて提案されている。特許文献２には、被写体像を撮像する場合にフリッカを検出して、検出したフリッカに応じて撮像時の撮像条件を調整することにより、フリッカを低減させる撮像装置について提案されている。
特開２００６−２９５５９１号公報 特開２００４−１１２０３４号公報

しかしながら、特許文献１に記載の発明においては、撮像範囲のうち光源を含む部分領域を基準にして露光調整すると撮像画像が暗くなる一方で、光源を含まない部分領域を基準にして露光調整すると撮像画像に含まれる光源近傍が白抜けする場合がある。また、特許文献２に記載の発明においては、光源が蛍光灯などの交流により駆動される照明下において光フレームレートで撮像する場合、フリッカを確実に防止した画像を撮像することは困難である。

そこで本発明は、上記課題を解決することができる撮像システム、撮像方法、および撮像プログラムを提供することを目的とする。この目的は特許請求の範囲における独立項に記載の特徴の組み合わせにより達成される。また従属項は本発明の更なる有利な具体例を規定する。

上記課題を解決するために、本発明の第１の形態においては、撮像システムであって、被写体を撮像する撮像部と、撮像部による撮像範囲内に存在し、予め定められた光量以上の光量の光を発する光源の時間的な発光量の変化を検出する発光量変化検出部と、発光量変化検出部が検出した発光量の変化に基づいて、光源からの光量が予め定められた光量より小さくなるタイミングを特定するタイミング特定部と、タイミング特定部が特定したタイミングを含む予め定められた期間に撮像部に被写体を撮像させる撮像制御部と、撮像制御部による制御により撮像部が撮像した撮像画像を出力する出力部とを備える。また、タイミング特定部は、発光量変化検出部が検出した発光量の変化に基づいて、光源が発光していないタイミングを特定してもよい。

また、本発明の第２の形態においては、撮像方法であって、撮像部が、被写体を撮像する撮像段階と、発光量変化検出部が、撮像段階において撮像される撮像範囲内に存在し、予め定められた光量以上の光量の光を発する光源の時間的な発光量の変化を検出する発光量変化検出段階と、タイミング特定部が、発光量変化検出段階において検出された発光量の変化に基づいて、光源からの光量が予め定められた光量より小さくなるタイミングを特定するタイミング特定段階と、撮像制御部が、タイミング特定段階において特定されたタイミングを含む予め定められた期間に撮像部に被写体を撮像させる撮像制御段階と、出力部が、撮像制御段階の制御により撮像部が撮像した撮像画像を出力する出力段階とを備える。

また、本発明の第３の形態においては、撮像システム用の撮像プログラムであって、撮像システムを、被写体を撮像する撮像部、撮像部による撮像範囲内に存在し、予め定められた光量以上の光量の光を発する光源の時間的な発光量の変化を検出する発光量変化検出部、発光量変化検出部が検出した発光量の変化に基づいて、光源からの光量が予め定められた光量より小さくなるタイミングを特定するタイミング特定部、タイミング特定部が特定したタイミングを含む予め定められた期間に撮像部に被写体を撮像させる撮像制御部、撮像制御部による制御により撮像部が撮像した撮像画像を出力する出力部として機能させる。

なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではなく、これらの特徴群のサブコンビネーションもまた、発明となりうる。

本発明によれば、光源からの光量が予め定められた値より小さいタイミングを含む期間において露光できるので、白抜けした画像の撮像およびフリッカの発生を防止できる。

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲に係る発明を限定するものではなく、また実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

図１は、本発明の一実施形態に係る撮像システム１００の概要を示す。撮像システム１００は、撮像部１０とサーバ２０とを備え、光源３０からの光量が予め定められた光量より小さいタイミングを含む予め定められた期間において、撮像部１０の撮像範囲内に存在する被写体を撮像する。本実施形態に係る撮像システム１００は、光源からの光量が予め定められた値より小さいタイミングを含む期間において露光することにより、白抜けした画像の撮像およびフリッカの発生を防止することを目的とする。

まず、撮像システム１００は、撮像部１０が撮像する撮像範囲に含まれる光源３０が点灯または消灯するタイミングを検出する。例えば、光源３０が蛍光灯である場合であって、蛍光灯に用いられる家庭用電源の周波数が５０Ｈｚの場合には、蛍光灯は１／５０秒ごとに点滅する。撮像システム１００は、撮像部１０を制御して、蛍光灯の点滅のタイミングを判断する。具体的には、撮像システム１００は、蛍光灯が消灯するタイミングを判断する。そして、撮像システム１００は、蛍光灯が消灯するタイミングを判断した後、蛍光灯が消灯するタイミングを含む予め定められた期間に、撮像範囲に含まれる被写体である人物１の画像を撮像部１０に撮像させる。

例えば、撮像システム１００は、蛍光灯が消灯する時点から次に蛍光灯が点灯して当該蛍光灯が示す最大の光量になる時点までの時間より短いマージンを決定する。そして、撮像システム１００は、蛍光灯が消灯する時点の前後に決定したマージンを加えた期間、すなわち決定したマージンの２倍の期間を、撮像部１０が露光する露光期間として決定する。そして、撮像システム１００は、露光期間を決定した時点から予め定められた期間が経過した時点である基準時刻から、蛍光灯が消灯する時点を中心として、決定した露光期間に撮像部１０が撮像範囲を露光すべく、撮像部１０を制御する。撮像システム１００は、撮像部１０に複数の撮像範囲の画像を、決定した露光期間を用いて撮像させる。

続いて、撮像システム１００は、撮像部１０が撮像した複数の撮像範囲の画像を重ね合わせた重ね合わせ画像を生成する。すなわち、撮像部１０は蛍光灯が消灯したタイミングを中心として露光しているので、撮像した画像に本来要求される画像の明るさが不足している。従って、撮像システム１００は、本来要求される画像の明るさを確保すべく、撮像部１０が撮像した複数の画像を重ね合わせた重ね合わせ画像を生成する。撮像システム１００は、生成した重ね合わせ画像を記録する。また、撮像システム１００は、生成した重ね合わせ画像を、インターネット等のネットワークを介して外部の画像管理システムに供給してもよい。

これにより、撮像システム１００は、蛍光灯等の光源３０が発する光の光量にかかわらず、露光量がオーバーとなる画像を撮像することがなくなるので、白抜けした被写体の画像を撮像することを防止できる。また、撮像システム１００は、光源３０が蛍光灯のように点滅する光源３０である場合であっても、フリッカの発生を防止した画像を撮像することができる。

図２は、本実施形態に係る撮像システム１００の機能構成の一例を示す。撮像システム１００は、撮像範囲の画像を撮像する撮像部１０と、撮像部１０が撮像するタイミングの制御および撮像部１０が撮像した撮像画像に対して画像処理を施すサーバ２０とを備える。撮像部１０は、レンズ１１、複数の受光素子１３を含む受光部１２、および画像取得部１４を有する。また、サーバ２０は、光源位置特定部２１、受光素子特定部２２、発光量変化検出部２３、タイミング特定部２４、撮像制御部２５、出力部２６、および画像格納部２７を有する。また、ＣＣＤまたは複数のＣＭＯＳセンサは、受光部１２の一例である。係る場合において、受光部１２は、ＲＧＢの各色に相当する波長の光を透過する原色系フィルタ、または補色系フィルタを更に有する。

なお、本実施形態においては、光源位置特定部２１、受光素子特定部２２、発光量変化検出部２３、タイミング特定部２４、撮像制御部２５、出力部２６、および画像格納部２７をサーバ２０が有する例を説明するが、光源位置特定部２１、受光素子特定部２２、発光量変化検出部２３、タイミング特定部２４、撮像制御部２５、出力部２６、および画像格納部２７の機能および構成の一部または全部を、撮像部１０が有していてもよい。

撮像部１０は、撮像範囲から入射する光を、レンズ１１を通して受光部１２に受光させる。そして、受光部１２は、複数の受光素子１３において光を受光して、撮像範囲に含まれる被写体の撮像画像を撮像する。また、撮像部１０は、被写体の複数の予備画像を撮像する。撮像部１０は、被写体の複数の予備画像を連続して撮像してもよい。撮像部１０は、撮像範囲における光源の発光量の変化をより明確に把握することに資するべく、第１の予備画像を撮像した後、第１の予備画像を撮像した時刻から予め定められた時間が経過した時点で、第２の予備画像を撮像してもよい。

例えば、撮像部１０は、撮像範囲における光源３０が蛍光灯であると予想される場合、蛍光灯の点滅のタイミングを検出可能とすべく、第１の予備画像を撮像する時点と第２の予備画像を撮像する時点との間隔を、例えば、１ｍｓから９ｍｓの範囲、または２ｍｓから８ｍｓの範囲、または３ｍｓから７ｍｓの範囲、若しくは４ｍｓから６ｍｓの範囲で設定する。そして、撮像部１０は、設定した間隔で撮像範囲の複数の予備画像を撮像してもよい。

また、撮像部１０は、第１の予備画像、第２の予備画像、第３の予備画像、・・・第ｎ−１の予備画像、および第ｎの予備画像を継続的に撮像してもよい。係る場合において、第１の予備画像の撮像時刻と第２の予備画像の撮像時刻との間の第１の時間、第２の予備画像の撮像時刻と第３の予備画像の撮像時刻との間の第２の時間、・・・第ｎ−１の予備画像の撮像時刻と第ｎの予備画像の撮像時刻との間の第ｎ−１の時間はそれぞれ同一であってよい。そして、撮像部１０は、後述する撮像制御部２５に制御されて、撮像範囲に含まれる被写体を含む撮像画像を撮像する。

なお、予備画像とは、撮像範囲に含まれる光源の位置および光源が発する発光量の時間変化を特定することを目的として用いる画像であってよい。更に、本実施形態における撮像画像および予備画像は、静止画および／または複数の動画構成画像を含む動画を意味する。ここで、動画構成画像とは、フレーム画像、フィールド画像、およびその他の動画を構成する様々な形式の画像のいずれを含んでもよい。撮像部１０が有する受光部１２は、複数の受光素子１３が受光した光によって発生した電荷からなるアナログ電気信号を、画像取得部１４に供給する。

画像取得部１４は、受光部１２が含む複数の受光素子１３からアナログ電気信号を読み出す。そして、画像取得部１４は、読み出したアナログ電気信号をデジタル信号に変換して、撮像範囲の撮像画像を撮像画像データとして取得するとともに、予備画像を予備画像データとして取得する。具体的には、画像取得部１４は、受光部１２において発生するノイズを軽減する処理を受光部１２から読み出したアナログ電気信号に施すことにより、撮像部１０が撮像した撮像範囲の撮像画像または予備画像を示すアナログ電気信号を抽出する。そして、画像取得部１４は、抽出した電気信号の高低部分を予め定められたレベルまでに補正する。続いて、画像取得部１４は、補正後のアナログ電気信号をデジタル信号に変換することにより撮像画像データまたは予備画像データを取得する。画像取得部１４は、取得した撮像画像データまたは予備画像データを、光源位置特定部２１、発光量変化検出部２３、および出力部２６に供給する。

なお、画像取得部１４は、アナログ電気信号のデジタル信号への変換処理をガンマ変換後に実行してもよい。そして、画像取得部１４は、アナログ電気信号からＲＧＢ各色のアナログ電気信号だけを取り出してデジタル信号へ変換してもよい。また、画像取得部１４は、デジタル信号のデータ量を低減すべくデータ圧縮処理を実行する場合、撮像画像または予備画像における白の基準値を決定すべくホワイトバランス処理を実行してもよい。そして、画像取得部１４は、ＲＧＢ信号から輝度成分および色差信号の画像を生成する。続いて、画像取得部１４は、信号変化が予め定められた基準値よりも大きい部分を生成した画像から抽出して、シャープネス処理を実行する。そして、画像取得部１４は、シャープネス処理を施した後の画像に対してデータ圧縮処理を実行してもよい。

光源位置特定部２１は、撮像範囲における光源３０の位置を特定する。光源位置特定部２１は、予備画像の画像内容に基づいて、撮像範囲における光源３０の位置を特定する。具体的には、光源位置特定部２１は、画像取得部１４が取得した複数の予備画像データが示す予備画像のそれぞれを解析して、撮像範囲内において周期的に点滅している場所を検出する。そして、光源位置特定部２１は、検出した場所において、当該場所から発せられる光の光量が予め定められた閾値を越える光量を示す場合に、検出した場所を撮像範囲における光源３０の位置として特定する。

例えば、光源位置特定部２１は、画像取得部１４が撮像した複数の予備画像を、複数の予備画像のそれぞれが撮像された時刻に対応づけて、画像取得部１４から受け取る。そして、光源位置特定部２１は、複数の予備画像に含まれる第１の予備画像と第１の予備画像とは異なる他の予備画像（第１の予備画像に連続して撮像された第２の予備画像、または第１の予備画像が撮像された時刻から予め定められた時間が経過した後の時刻において撮像された第ｎの予備画像）との差分から、撮像範囲内で輝度が周期的に変化している領域を検出する。

すなわち、光源位置特定部２１は、撮像された時刻が連続する複数の予備画像の差分画像から撮像範囲内で輝度が変化している領域を検出する。そして、光源位置特定部２１は、複数の予備画像のそれぞれについて、当該検出した領域における輝度を検出する。光源位置特定部２１は、検出した複数の輝度の大小のそれぞれを撮像時刻の順に沿って解析して、当該検出した領域の輝度が周期的に変化しているか否かを判断する。光源位置特定部２１は、当該検出した領域の輝度が周期的に変化していると判断した場合、当該検出した領域を撮像範囲内における光源の位置の候補である候補領域として特定する。続いて、光源位置特定部２１は、特定した候補領域における輝度の最大値が予め定められた閾値を超える場合に、特定した候補領域を撮像範囲における光源３０の位置を含む領域として特定する。

また、光源位置特定部２１は、撮像部１０が予め定められた露光時間で撮像して得られた予備画像の画像内容に基づいて、撮像範囲における光源の位置を特定してもよい。例えば、光源位置特定部２１は、予め定められた露光時間で撮像して得られた予備画像の中で白抜けしている領域を光源の位置として特定する。光源位置特定部２１は、特定した撮像範囲内における光源の位置を示す情報を、受光素子特定部２２および発光量変化検出部２３に供給する。受光素子特定部２２は、撮像部１０が有する複数の受光素子１３のうち、光源位置特定部２１が特定した位置からの光を受光する受光素子１３を特定する。受光素子特定部２２は、特定した受光素子１３を識別する情報を発光量変化検出部２３に供給する。

発光量変化検出部２３は、撮像部１０による撮像範囲内に存在する、予め定められた光量以上の光量の光を発する光源３０の、時間的な発光量の変化を検出する。発光量変化検出部２３は、光源３０の発光量の変化をＲ、Ｇ、またはＢの各色ごとに検出してもよい。係る場合において、予め定められた光量は、Ｒ、Ｇ、およびＢの各色ごとに定められていてよい。例えば、光源３０が赤色発光のパトライトである場合、発光量変化検出部２３は、光源３０の発光量の変化を、Ｒを主体として検出する。そして、発光量変化検出部２３は、撮像範囲内に存在する光源３０のＲに関する時間的な発光量の変化を検出する。

また、発光量変化検出部２３は、撮像部１０が撮像した複数の予備画像の画像内容に基づいて、光源３０が発する光の光量の変化を検出する。より具体的には、発光量変化検出部２３は、画像取得部１４が取得した複数の予備画像を用いて、光源位置特定部２１が撮像範囲内で特定した位置における輝度の変化に基づいて、光源３０の時間的な発光量の変化を検出する。

例えば、発光量変化検出部２３は、複数の予備画像にわたる、光源位置特定部２１が特定した位置における輝度の変化に基づいて、光源３０の時間的な発光量の変化を検出する。すなわち、発光量変化検出部２３は、光源３０の発光量が所定の周期で変化している場合、複数の予備画像のそれぞれについて光源位置特定部２１が特定した位置における輝度をそれぞれ検出する。そして、発光量変化検出部２３は、撮像時刻の順に沿って、検出したそれぞれの輝度の大小から光源３０の時間的な発光量の変化を検出する。

また、発光量変化検出部２３は、撮像部１０が予め定められた露光時間より短い露光時間で撮像して得られた複数の予備画像にわたる、光源位置特定部２１が特定した位置における輝度の変化に基づいて、光源３０の時間的な発光量の変化を検出してもよい。また、発光量変化検出部２３は、受光素子特定部２２が特定した受光素子が受光した受光量の変化に基づいて、光源３０の時間的な発光量の変化を検出してもよい。

例えば、発光量変化検出部２３は、撮像部１０が有する複数の受光素子１３のうち、受光素子特定部２２が特定した受光素子１３だけが受光した受光量を読み出して、当該読み出した受光量の変化に基づいて光源３０の時間的な発光量の変化を検出する。すなわち、受光部１２がＣＣＤの場合、発光量変化検出部２３は、ライン読み出しにより受光素子１３が受光した受光量を部分的に読み出す。また、受光部１２が複数のＣＭＯＳセンサを含む場合、発光量変化検出部２３は、画素ごとに受光量を部分的に読み出す。そして、発光量変化検出部２３は、読み出した受光量の変化から光源３０が発する光の光量の変化を検出する。発光量変化検出部２３は、検出結果をタイミング特定部２４に供給する。

タイミング特定部２４は、発光量変化検出部２３が検出した発光量の変化に基づいて、光源３０からの光量が予め定められた光量より小さくなるタイミングを特定する。例えば、タイミング特定部２４は、発光量変化検出部２３が検出した発光量の変化を解析して、光源３０が発光していないタイミングを特定する。なお、タイミング特定部２４は、光源３０が点滅するタイミングを確実に把握すべく、光源３０が消灯するタイミングを特定してもよい。係る場合において、タイミング特定部２４は、光源３０が発光していない時点から次に光源３０が発光していない時点までの時間を特定してもよい。また、タイミング特定部２４は、発光量変化検出部２３が検出した発光量の変化に基づいて、光源３０が発する光の光量が予め定められた光量より小さくなる複数のタイミングを特定してもよい。タイミング特定部２４は、特定したタイミングを示す情報を撮像制御部２５に供給する。

撮像制御部２５は、タイミング特定部２４が特定したタイミングを含む予め定められた期間に撮像部１０に被写体を撮像させる。また、撮像制御部２５は、複数のタイミングをそれぞれ含む予め定められた露光期間より短い複数の期間に、被写体からの光を撮像部１０が有する受光部１２に受光させる。更に、撮像制御部２５は、複数のタイミングをそれぞれ含む予め定められた露光期間より短い複数の期間に、被写体からの光を撮像部１０が有する受光部１２に受光させてもよい。また、撮像制御部２５は、撮像部１０が被写体を撮像するタイミングだけではなく、撮像部１０の絞り、シャッタースピード、焦点距離、被写界深度、および撮像範囲等を制御してもよい。

また、撮像部１０は、自動露出（Ａｕｔｏｍａｔｉｃ Ｅｘｐｏｓｕｒｅ）機能を有する自動露出部を更に有していてもよく、係る場合において、予め定められた露光期間の長さは自動露出機能が決定した露光時間であってもよい。例えば、自動露出部は、撮像範囲の明るさに応じて露光時間および／または絞り量の大きさを変化させる。そして、自動露出部は、撮像部１０の露光量を、撮像範囲に含まれる被写体を明瞭に把握できる画像を撮像可能な露光量に自動調整する。具体的には、自動露出部は、複数の予備画像の画像内容に基づいて、タイミング特定部が特定したタイミングを含む予め定められた期間に撮像部が被写体を撮像する場合における露光量を自動調整する。

より具体的には、自動露出部は、撮像部１０が撮像した複数の予備画像から、撮像範囲の明るさが予め定められた明るさよりも暗い予備画像を示す予備画像データを抽出する。例えば、自動露出部は、光源３０が消灯した状態を含む予備画像の予備画像データを抽出する。そして、自動露出部は、抽出した予備画像データが示す予備画像から、撮像部１０が予備画像を撮像したタイミング、すなわち光源３０が消灯したタイミングにおいて、撮像範囲に含まれる被写体を明瞭に撮像できる露光量を算出する。自動露出部は、算出した露光量に応じて露光時間および／または絞り量の大きさを調整する。

これにより、撮像範囲に光源３０が含まれることによって、撮像部１０が撮像した撮像画像全体の明るさが低下して、撮像範囲に含まれる人物の顔を明瞭に把握できない画像を撮像することを防止できる。すなわち、自動露出部を有する撮像部１０を備えた撮像システム１００によれば、撮像範囲に含まれる人物の顔を明瞭に把握できる画像の撮像に最適な露光量を自動的に設定できる。

出力部２６は、撮像制御部２５による制御により撮像部１０が撮像した撮像画像を出力する。また、出力部２６は、複数の期間のそれぞれにおいて受光部１２が受光した光量に基づいて、複数の画像を重ね合わせた重ね合わせ画像を生成する。そして、出力部２６は、生成した重ね合わせ画像を撮像画像として出力する。すなわち、複数の期間のそれぞれにおいて受光部１２が受光した光量において撮像した撮像画像のそれぞれは単独では、撮像部１０における露光量が短いので、本来視認可能な撮像画像を撮像するために要する露光量に達していない状態において撮像された撮像画像に等しい。従って、出力部２６は、本来視認可能な撮像画像を撮像するために要する露光量を確保すべく、複数の画像を重ね合わせた重ね合わせ画像を生成する。

例えば、出力部２６は、複数の期間にわたって受光部１２が受光した光量の合計量に基づいて撮像画像を生成する。すなわち、出力部２６は、複数の期間にわたって受光部１２が受光した光量に応じた電荷量を示す情報を順次取得する。そして、出力部２６は、取得した電荷量を示す情報を逐次加算して、加算した値が予め定められた電荷量を示す価を超えた場合に、複数の期間にわたって撮像された複数の画像を重ね合わせた、重ね合わせ画像を生成する。そして、出力部２６は、生成した撮像画像を画像格納部２７に出力して格納させる。画像格納部２７は、出力部２６が生成した撮像画像を、撮像画像を一意に識別できる画像識別子に対応づけて格納する。

本実施形態に係る撮像システム１００によれば、撮像範囲に含まれる光源３０が発光していないタイミングを含む予め定められた期間において被写体の複数の画像を撮像して、撮像した複数の画像を重ね合わせた重ね合わせ画像を生成できる。これにより、白抜けした画像を撮像することを防止できるとともに、フリッカの影響のない画像を取得することができる。

図３は、本実施形態に係る撮像システム１００における処理の一例を示す。撮像範囲に含まれる光源３０は、例えば、蛍光灯である。なお、光源３０は、蛍光灯だけではなく、パトライト、およびテレビまたはＰＣのモニタ等、周期的に点灯状態（または、予め定められた光量以上の発光状態）と消灯状態（または、予め定められた光量未満の発光状態）とを繰り返す光源であってもよい。

図３に示す場合において、光源３０は、光量４００を最大の光量として周期的に点滅を繰り返す。撮像部１０は、撮像範囲に含まれる光源３０の複数の予備画像を連続して撮像する。そして、発光量変化検出部２３は、撮像部１０が撮像した複数の予備画像を解析して、光源３０の時間的な発光量の変化を検出する。タイミング特定部２４は、光源３０が発光していないタイミングを特定する。すなわち、タイミング特定部２４は、発光量変化検出部２３が検出した光量の変化から、光源３０の光量がゼロとなるタイミング、すなわち光源３０が消灯状態となるタイミングを特定する。

撮像制御部２５は、タイミング特定部２４が特定したタイミングを含む予め定められた期間に、撮像部１０に被写体を撮像させる。例えば、撮像制御部２５は、時刻２００を中心として、予め定められたマージンを時刻２００の前後に付加した露光期間３００において、撮像部１０に被写体を撮像させる。同様にして、撮像制御部２５は、光源３０が消灯するタイミング（例えば、時刻２０５および時刻２１０等）ごとに、撮像部１０に被写体を撮像させる（例えば、露光期間３０５および露光期間３１０）。なお、撮像制御部２５は、予め定めた閾値である光量４０５より光量が小さい期間で、撮像部１０に被写体を撮像させてもよい。また、撮像制御部２５は、光源３０の光量がゼロの期間がある場合には、当該期間を露光期間として、撮像部１０に被写体を撮像させてもよい。そして出力部２６は、撮像部１０が露光期間３００、露光期間３０５、および露光期間３１０において撮像した画像をそれぞれ重ね合わせて、重ね合わせ画像を生成する。

また、撮像制御部２５は、光源３０が消灯状態となる少なくとも１つのタイミングを含む予め定められた期間に、撮像部１０に被写体を撮像させてもよい。例えば、撮像制御部２５は、時刻２００においては、撮像部１０に露光期間３００で被写体を撮像させるとともに、時刻２０５を含む露光期間３０５においては撮像部１０に被写体を撮像させない。そして、撮像制御部２５は、露光期間３００が経過した後、時刻２０５に到達する前の期間に含まれる所定の期間において、撮像部１０に、露光期間３０５と略同一の期間、被写体を撮像させてもよい。

図４は、本実施形態に係る光源位置特定部２１が撮像範囲における光源３０の位置を特定する方法の一例を示す。光源位置特定部２１は、画像取得部１４が取得した複数の予備画像５００、予備画像５１０、予備画像５２０、および予備画像５３０をこれらの予備画像が撮像された時刻の順に画像取得部１４から受け取る。なお、光源位置特定部２１は、画像取得部１４から予備画像５００、予備画像５１０、予備画像５２０、および予備画像５３０以外に、例えば、予備画像５００と予備画像５１０との間において撮像部１０が撮像した複数の予備画像を更に受け取ってもよい。

そして、光源位置特定部２１は、予備画像５００と予備画像５１０、予備画像５２０、および予備画像５３０との差分画像をそれぞれ生成する。そして、光源位置特定部２１は、撮像範囲内で輝度が周期的に変化している領域を検出する。例えば、図４の説明においては、予備画像５００および予備画像５２０においては光源３０が点灯する一方で、予備画像５１０および予備画像５３０においては、光源３０は消灯している従って、光源位置特定部２１は、撮像範囲内で輝度が周期的に変化している領域として、光源３０の領域を光源３０の位置を含む候補領域として特定する。続いて、光源位置特定部２１は、特定した候補領域における輝度の最大値が予め定められた閾値を超える場合に、特定した候補領域を撮像範囲における光源３０の位置を含む領域として特定する。

図５は、本実施形態に係る撮像システム１００における処理の流れの一例を示す。まず、撮像部１０は、撮像範囲の予備画像を撮像する（Ｓ１０００）。撮像部１０は、予備画像を予め定められた周期で撮像する。すなわち、撮像部１０は、予め定められた時刻ごとに複数の予備画像を撮像する。画像取得部１４は、撮像部１０が撮像した複数の予備画像を複数の予備画像データとして取得する。そして、画像取得部１４は、取得した複数の予備画像データを光源位置特定部２１に供給する。

光源位置特定部２１は、複数の予備画像データが示す複数の予備画像から、撮像範囲に含まれる光源３０の位置を特定する（Ｓ１０１０）。光源位置特定部２１は、特定した光源３０の位置を示す情報を発光量変化検出部２３に供給する。発光量変化検出部２３は、画像取得部１４が取得した複数の予備画像データと、光源位置特定部２１が特定した光源３０の位置を示す情報とから、光源３０が発する光量の時間変化を算出する。発光量変化検出部２３は、算出した光量の時間変化を示す情報をタイミング特定部２４に供給する。

タイミング特定部２４は、発光量変化検出部２３から受け取った光量の時間変化から、光源３０からの光量が予め定められた光量より小さくなるタイミングを特定する（Ｓ１０２０）。タイミング特定部２４は、光源３０が消灯するタイミングを特定してもよい。タイミング特定部２４は、特定したタイミングを示す情報を撮像制御部２５に供給する。撮像制御部２５は、タイミング特定部２４が特定したタイミングを含む予め定められた期間を、露光時間として決定する（Ｓ１０３０）。例えば、撮像制御部２５は、予め定められた露光量となるべく、光源３０が消灯するタイミングを中心とした露光時間を決定する。

そして、撮像制御部２５は、決定した露光時間で撮像部１０に被写体の複数の画像を撮像させる。画像取得部１４は、撮像部が撮像した被写体の複数の画像を示す画像データを取得する。そして、画像取得部１４は、取得した複数の画像データを出力部２６に供給する。出力部２６は、撮像部１０が撮像した複数の画像を重ね合わせて、一枚の重ね合わせ画像を生成する。そして、出力部２６は、重ね合わせ画像を撮像画像として出力する。なお、出力部２６は、外部の画像管理システム等に重ね合わせ画像を出力してもよい。係る場合において、サーバ２０は、重ね合わせ画像を示す情報を外部の画像管理システム等に送信するデータ送信部を更に有していてもよい。

図６は、本実施形態に係る撮像システム１００のハードウェア構成の一例を示す。本実施形態に係る撮像システム１００は、ホスト・コントローラ１５８２により相互に接続されるＣＰＵ１５０５、ＲＡＭ１５２０、グラフィック・コントローラ１５７５、および表示装置１５８０を有するＣＰＵ周辺部と、入出力コントローラ１５８４によりホスト・コントローラ１５８２に接続される通信インターフェイス１５３０、ハードディスクドライブ１５４０、およびＣＤ−ＲＯＭドライブ１５６０を有する入出力部と、入出力コントローラ１５８４に接続されるＲＯＭ１５１０、フレキシブルディスク・ドライブ１５５０、および入出力チップ１５７０を有するレガシー入出力部とを備える。

ホスト・コントローラ１５８２は、ＲＡＭ１５２０と、高い転送レートでＲＡＭ１５２０をアクセスするＣＰＵ１５０５およびグラフィック・コントローラ１５７５とを接続する。ＣＰＵ１５０５は、ＲＯＭ１５１０およびＲＡＭ１５２０に格納されたプログラムに基づいて動作して、各部を制御する。グラフィック・コントローラ１５７５は、ＣＰＵ１５０５等がＲＡＭ１５２０内に設けたフレーム・バッファ上に生成する画像データを取得して、表示装置１５８０上に表示させる。これに代えて、グラフィック・コントローラ１５７５は、ＣＰＵ１５０５等が生成する画像データを格納するフレーム・バッファを、内部に含んでもよい。

入出力コントローラ１５８４は、ホスト・コントローラ１５８２と、比較的高速な入出力装置である通信インターフェイス１５３０、ハードディスクドライブ１５４０、ＣＤ−ＲＯＭドライブ１５６０を接続する。通信インターフェイス１５３０は、ネットワークを介して他の装置と通信する。ハードディスクドライブ１５４０は、撮像システム１００内のＣＰＵ１５０５が使用するプログラムおよびデータを格納する。ＣＤ−ＲＯＭドライブ１５６０は、ＣＤ−ＲＯＭ１５９５からプログラムまたはデータを読み取り、ＲＡＭ１５２０を介してハードディスクドライブ１５４０に提供する。

また、入出力コントローラ１５８４には、ＲＯＭ１５１０と、フレキシブルディスク・ドライブ１５５０、および入出力チップ１５７０の比較的低速な入出力装置とが接続される。ＲＯＭ１５１０は、撮像システム１００が起動時に実行するブート・プログラム、撮像システム１００のハードウェアに依存するプログラム等を格納する。フレキシブルディスク・ドライブ１５５０は、フレキシブルディスク１５９０からプログラムまたはデータを読み取り、ＲＡＭ１５２０を介してハードディスクドライブ１５４０に提供する。入出力チップ１５７０は、フレキシブルディスク・ドライブ１５５０、例えばパラレル・ポート、シリアル・ポート、キーボード・ポート、マウス・ポート等を介して各種の入出力装置を接続する。

ＲＡＭ１５２０を介してハードディスクドライブ１５４０に提供される撮像プログラムは、フレキシブルディスク１５９０、ＣＤ−ＲＯＭ１５９５、またはＩＣカード等の記録媒体に格納されて利用者によって提供される。撮像プログラムは、記録媒体から読み出され、ＲＡＭ１５２０を介して撮像システム１００内のハードディスクドライブ１５４０にインストールされ、ＣＰＵ１５０５において実行される。撮像システム１００にインストールされて実行される撮像プログラムは、ＣＰＵ１５０５等に働きかけて、撮像システム１００を、図１から図５にかけて説明した撮像部１０、画像取得部１４、光源位置特定部２１、受光素子特定部２２、発光量変化検出部２３、タイミング特定部２４、撮像制御部２５、出力部２６、および画像格納部２７として機能させる。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加え得ることが当業者に明らかである。そのような変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

撮像システム１００の概念図である。 撮像システム１００の機能構成を示すブロック図である。 撮像システム１００の処理を示す図である。 光源位置特定部２１における処理を示す図である。 撮像システム１００における処理を示すフローチャートである。 撮像システム１００のハードウェア構成を示すブロック図である。

符号の説明

１ 人物
１０ 撮像部
１１ レンズ
１２ 受光部
１３ 受光素子
１４ 画像取得部
２０ サーバ
２１ 光源位置特定部
２２ 受光素子特定部
２３ 発光量変化検出部
２４ タイミング特定部
２５ 撮像制御部
２６ 出力部
２７ 画像格納部
３０ 光源
１００ 撮像システム
２００、２０５、２１０ 時刻
３００、３０５、３１０ 露光期間
４００、４０５ 光量
５００、５１０、５２０、５３０ 予備画像
１５０５ ＣＰＵ
１５１０ ＲＯＭ
１５２０ ＲＡＭ
１５３０ 通信インターフェイス
１５４０ ハードディスクドライブ
１５５０ フレキシブルディスク・ドライブ
１５６０ ＣＤ−ＲＯＭドライブ
１５７０ 入出力チップ
１５７５ グラフィック・コントローラ
１５８０ 表示装置
１５８２ ホスト・コントローラ
１５８４ 入出力コントローラ
１５９０ フレキシブルディスク
１５９５ ＣＤ−ＲＯＭ

Claims (13)

1. 被写体を撮像する撮像部と、
   前記撮像部による撮像範囲内に存在し、予め定められた光量以上の光量の光を発する光源の時間的な発光量の変化を検出する発光量変化検出部と、
   前記発光量変化検出部が検出した発光量の変化に基づいて、前記光源からの光量が予め定められた光量より小さくなるタイミングを特定するタイミング特定部と、
   前記タイミング特定部が特定したタイミングを含む予め定められた期間に前記撮像部に被写体を撮像させる撮像制御部と、
   前記撮像制御部による制御により前記撮像部が撮像した撮像画像を出力する出力部と
   を備える撮像システム。
2. 前記タイミング特定部は、前記発光量変化検出部が検出した発光量の変化に基づいて、前記光源が発光していないタイミングを特定する
   請求項１に記載の撮像システム。
3. 前記撮像部は、被写体の複数の予備画像を連続して撮像し、
   前記発光量変化検出部は、前記複数の予備画像の画像内容に基づいて、前記光源が発する光の光量の変化を検出する
   請求項１に記載の撮像システム。
4. 前記撮像範囲における前記光源の位置を特定する光源位置特定部
   を更に備え、
   前記発光量変化検出部は、前記光源位置特定部が特定した位置における輝度の変化に基づいて、前記光源の時間的な発光量の変化を検出する
   請求項１に記載の撮像システム。
5. 前記撮像部は被写体の予備画像を撮像し、
   前記光源位置特定部は、前記予備画像の画像内容に基づいて、前記撮像範囲における前記光源の位置を特定し、
   前記発光量変化検出部は、前記光源位置特定部が特定した位置における輝度の変化に基づいて、前記光源の時間的な発光量の変化を検出する
   請求項４に記載の撮像システム。
6. 前記撮像部は被写体の複数の予備画像を撮像し、
   前記発光量変化検出部は、前記複数の予備画像にわたる、前記光源位置特定部が特定した位置における輝度の変化に基づいて、前記光源の時間的な発光量の変化を検出する
   請求項５に記載の撮像システム。
7. 前記光源位置特定部は、前記撮像部が予め定められた露光時間で撮像して得られた前記予備画像の画像内容に基づいて、前記撮像範囲における前記光源の位置を特定し、
   前記発光量変化検出部は、前記撮像部が前記予め定められた露光時間より短い露光時間で撮像して得られた前記複数の予備画像にわたる、前記光源位置特定部が特定した位置における輝度の変化に基づいて、前記光源の時間的な発光量の変化を検出する
   請求項６に記載の撮像システム。
8. 前記撮像部が有する複数の受光素子のうち、前記光源位置特定部が特定した位置からの光を受光する受光素子を特定する受光素子特定部
   を更に備え、
   前記発光量変化検出部は、前記受光素子特定部が特定した受光素子が受光した受光量の変化に基づいて、前記光源の時間的な発光量の変化を検出する
   請求項４に記載の撮像システム。
9. 前記発光量変化検出部は、前記撮像部が有する複数の受光素子のうち、前記受光素子特定部が特定した受光素子のみが受光した受光量を読み出し、当該読み出した受光量の変化に基づいて前記光源の時間的な発光量の変化を検出する
   請求項８に記載の撮像システム。
10. 前記タイミング特定部は、前記発光量変化検出部が検出した発光量の変化に基づいて、前記光源が発する光の光量が予め定められた光量より小さくなる複数のタイミングを特定し、
    前記撮像制御部は、前記複数のタイミングをそれぞれ含む予め定められた露光期間より短い複数の期間に、被写体からの光を前記撮像部が有する受光部に受光させ、
    前記出力部は、前記複数の期間のそれぞれにおいて前記受光部が受光した光量に基づいて生成した複数の画像を重ね合わせた重ね合わせ画像を、前記撮像画像として出力する
    請求項１に記載の撮像システム。
11. 前記タイミング特定部は、前記発光量変化検出部が検出した発光量の変化に基づいて、前記光源が発する光の光量が予め定められた光量より小さくなる複数のタイミングを特定し、
    前記撮像制御部は、前記複数のタイミングをそれぞれ含む予め定められた露光期間より短い複数の期間に、被写体からの光を前記撮像部が有する受光部に受光させ、
    前記出力部は、前記複数の期間にわたって前記受光部が受光した光量の合計量に基づいて前記撮像画像を生成して出力する
    請求項１に記載の撮像システム。
12. 撮像部が、被写体を撮像する撮像段階と、
    前記撮像段階において撮像される撮像範囲内に存在し、予め定められた光量以上の光量の光を発する光源の時間的な発光量の変化を検出する発光量変化検出段階と、
    前記発光量変化検出段階において検出された発光量の変化に基づいて、前記光源からの光量が予め定められた光量より小さくなるタイミングを特定するタイミング特定段階と、
    前記タイミング特定段階において特定されたタイミングを含む予め定められた期間に前記撮像部に被写体を撮像させる撮像制御段階と、
    前記撮像制御段階の制御により前記撮像部が撮像した撮像画像を出力する出力段階と
    を備える撮像方法。
13. 撮像システム用の撮像プログラムであって、前記撮像システムを、
    被写体を撮像する撮像部、
    前記撮像部による撮像範囲内に存在し、予め定められた光量以上の光量の光を発する光源の時間的な発光量の変化を検出する発光量変化検出部、
    前記発光量変化検出部が検出した発光量の変化に基づいて、前記光源からの光量が予め定められた光量より小さくなるタイミングを特定するタイミング特定部、
    前記タイミング特定部が特定したタイミングを含む予め定められた期間に前記撮像部に被写体を撮像させる撮像制御部、
    前記撮像制御部による制御により前記撮像部が撮像した撮像画像を出力する出力部
    として機能させる撮像プログラム。

Images