JP2022126388A - 撮像制御装置、撮像制御方法およびプログラム - Google Patents
撮像制御装置、撮像制御方法およびプログラム Download PDFInfo
- Publication number
- JP2022126388A JP2022126388A JP2021024422A JP2021024422A JP2022126388A JP 2022126388 A JP2022126388 A JP 2022126388A JP 2021024422 A JP2021024422 A JP 2021024422A JP 2021024422 A JP2021024422 A JP 2021024422A JP 2022126388 A JP2022126388 A JP 2022126388A
- Authority
- JP
- Japan
- Prior art keywords
- image
- exposure time
- imaging
- imaging control
- divided
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 115
- 238000000034 method Methods 0.000 title claims description 7
- 238000012544 monitoring process Methods 0.000 claims description 5
- 238000012545 processing Methods 0.000 description 27
- 238000004891 communication Methods 0.000 description 14
- 230000006870 function Effects 0.000 description 12
- 238000010586 diagram Methods 0.000 description 10
- 230000003287 optical effect Effects 0.000 description 6
- 238000005401 electroluminescence Methods 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- 238000012937 correction Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000005375 photometry Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/62—Control of parameters via user interfaces
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
- H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
- H04N23/635—Region indicators; Field of view indicators
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Studio Devices (AREA)
- Exposure Control For Cameras (AREA)
Abstract
【課題】画像を分割した領域ごとの露光時間の設定を可能としつつ、画像の違和感を低減する。【解決手段】1つの態様による撮像制御装置は、画像を分割した分割領域ごとに設定した露光時間に基づいて撮像された第1画像が得られるように撮像を指示する第1指示手段と、前記分割領域ごとの露光時間に基づいて、前記画像に含まれる複数の分割領域に一律に適用される露光時間を算出する算出手段と、前記算出手段で算出された露光時間に基づいて撮像された第2画像が得られるように撮像を指示する第2指示手段と、を備える。【選択図】 図1
Description
本発明は、撮像制御装置、撮像制御方法およびプログラムに関する。
特許文献1には、撮像手段の画素毎或いは画素グループ毎の露光時間を設定値に基づいて制御する露光時間制御手段を有し、測光値に基づく露光時間の設定値を測光用と、焦点検出用とで異ならせる技術が開示されている。
本発明が解決しようとする課題は、画像を分割した領域ごとの露光時間の設定を可能としつつ、画像の違和感を低減することである。
本発明の1つの態様による撮像制御装置は、画像を分割した分割領域ごとに設定した露光時間に基づいて撮像された第1画像が得られるように撮像を指示する第1指示手段と、前記分割領域ごとの露光時間に基づいて、前記画像に含まれる複数の分割領域に一律に適用される露光時間を算出する算出手段と、前記算出手段で算出された露光時間に基づいて撮像された第2画像が得られるように撮像を指示する第2指示手段と、を備える。
本発明の1つの態様によれば、画像を分割した領域ごとの露光時間の設定を可能としつつ、画像の違和感を低減することができる。
以下、添付図面を参照して本発明の実施形態を詳細に説明する。なお、以下の実施形態は本発明を限定するものではなく、また、実施形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。実施形態の構成は、本発明が適用される装置の仕様や各種条件(使用条件、使用環境等)によって適宜修正または変更され得る。本発明の技術的範囲は、特許請求の範囲によって確定され、以下の個別の実施形態によって限定されない。
<第1実施形態>
図1は、第1実施形態に係る撮像装置の構成例を示すブロック図である。
図1に示す各機能ブロックのうち、ソフトウェアにより実現される機能については、各機能ブロックの機能を提供するためのプログラムがROM(Read Only Memory)等のメモリに記憶される。そして、そのプログラムをRAM(Random Access Memory)に読み出してCPU(Central Processing Unit)が実行することにより実現される。ハードウェアにより実現される機能については、例えば、所定のコンパイラを用いることで、各機能ブロックの機能を実現するためのプログラムからFPGA上に自動的に専用回路を生成すればよい。FPGAとは、Field Programmable Gate Arrayの略である。また、FPGAと同様にしてゲートアレイ回路を形成し、ハードウェアとして実現するようにしてもよい。また、ASIC(Application Specific Integrated Circuit)により実現するようにしてもよい。なお、図1に示した機能ブロックの構成は一例であり、複数の機能ブロックが1つの機能ブロックを構成するようにしてもよいし、いずれかの機能ブロックが複数の機能を行うブロックに分かれてもよい。
図1は、第1実施形態に係る撮像装置の構成例を示すブロック図である。
図1に示す各機能ブロックのうち、ソフトウェアにより実現される機能については、各機能ブロックの機能を提供するためのプログラムがROM(Read Only Memory)等のメモリに記憶される。そして、そのプログラムをRAM(Random Access Memory)に読み出してCPU(Central Processing Unit)が実行することにより実現される。ハードウェアにより実現される機能については、例えば、所定のコンパイラを用いることで、各機能ブロックの機能を実現するためのプログラムからFPGA上に自動的に専用回路を生成すればよい。FPGAとは、Field Programmable Gate Arrayの略である。また、FPGAと同様にしてゲートアレイ回路を形成し、ハードウェアとして実現するようにしてもよい。また、ASIC(Application Specific Integrated Circuit)により実現するようにしてもよい。なお、図1に示した機能ブロックの構成は一例であり、複数の機能ブロックが1つの機能ブロックを構成するようにしてもよいし、いずれかの機能ブロックが複数の機能を行うブロックに分かれてもよい。
図1において、撮像装置10は、撮像部11、画像処理部12、撮像制御部13、記憶部14、操作部15、表示部16および通信部17を備える。撮像部11は、結像光学系110、絞り111および固体撮像素子112を備える。撮像制御部13は、第1撮像指示部130、露光時間算出部131および第1撮像指示部132を備える。操作部15は、注目領域設定部150を備える。
撮像部11は、被写体からの光に基づいて撮像を行う。結像光学系110は、被写体からの光を固体撮像素子112に結像する。結像光学系110は、図1では、1枚のレンズのみ示しているが、複数のレンズを備えてもよく、例えば、ズームレンズ、フォーカスレンズおよびぶれ補正レンズなどが含まれていてもよい。絞り111は、結像光学系110を通って固体撮像素子112に入射する光の量を調整する。固体撮像素子112は、被写体からの光を画素ごとに電気信号に変換して出力する。固体撮像素子112は、画像を分割した分割領域ごとに露光時間を設定可能である。なお、分割領域は、1または複数の画素を含むことができる。固体撮像素子112は、例えば、CCD(Charge Coupled Device)センサまたはCMOS(Complementary Metal Oxide Semiconductor)センサなどの半導体素子および周辺回路である。
画像処理部12は、固体撮像素子112から送られた画像信号をA/D変換してデジタルデータに変換した後、デモザイキング処理、ホワイトバランス処理、ガンマ処理などを含む信号処理を行ってデジタル画像を生成する。
撮像制御部13は、ズームおよびフォーカスのための結像光学系110を駆動したり、絞り111の開口径を制御したり、固体撮像素子112の領域ごとのゲインおよび露光時間を制御したりする。このとき、撮像制御部13は、画像を分割した分割領域ごとの露光時間に基づいて、その画像に含まれる複数の分割領域に一律に適用される露光時間を算出し、撮像を行わせることができる。画像を分割した分割領域ごとの露光時間は、画像に含まれる全ての分割領域についての分割領域ごとの露光時間であってもよいし、画像に設定された注目領域を含む分割領域についての分割領域ごとの露光時間であってもよい。複数の分割領域は、例えば、画像全体である。例えば、撮像制御部13は、画像を分割した分割領域ごとの露光時間の分布に基づいて、画像全体に適用される露光時間を算出することができる。このとき、撮像制御部13は、画像を分割した分割領域ごとの露光時間の中央値に基づいて、画像全体に適用される露光時間を算出するようにしてもよい。なお、データ数が偶数個の場合、中央値は、中央に近い2つのデータのいずれか一方の値としてもよいし、中央に近い2つのデータの平均値としてもよい。撮像制御部13は、分割領域ごとの露光時間の中央値の代わりに、分割領域ごとの露光時間の最頻値を用いてもよい。
第1撮像指示部130は、画像を分割した分割領域ごとに設定した露光時間に基づいて撮像された第1画像が得られるように撮像部11に撮像を指示する。露光時間算出部131は、分割領域ごとの露光時間に基づいて、画像に含まれる複数の分割領域に一律に適用される露光時間を算出する。第2撮像指示部132は、露光時間算出部131で算出された露光時間に基づいて撮像された第2画像が得られるように撮像部11に撮像を指示する。
ここで、第1画像は、例えば、監視画像として用いることができる。第2画像は、例えば、証拠画像、観賞用画像またはサムネイル画像として用いることができる。このとき、第1画像を監視画像として用いることにより、監視画像のダイナミックレンジを向上させることができ、夜間の不法投棄などの監視性を向上させることができる。また、第2画像を証拠画像として用いることにより、違和感のない自然な画像を証拠資料として提出することができ、証拠能力を確保することができる。
記憶部14は、画像処理部12で生成された第1画像および第2画像を記憶する。記憶部14は、RAMなどの揮発性メモリを備えていてもよいし、NANDフラッシュメモリなどの不揮発性メモリを備えていてもよい。
操作部15は、ユーザからの指示19を入力する。操作部15は、例えば、ボタン、モードダイヤルまたは表示部16に付随するタッチパネルなどである。また、操作部15は、注目領域を設定するための操作環境をユーザに提供する。注目領域設定部150は、ユーザからの指示19に基づいて画像の注目領域を設定する。
表示部16は、画像処理部12で生成された第1画像および第2画像を表示する。また、ユーザからの指示19に基づいて設定された注目領域を表示する。表示部16は、例えば、CRT(Cathode Ray Tube)、液晶または有機EL(Electro Luminescence)などで構成されたディスプレイである。表示部16は、タッチスクリーンまたはタッチパネルであってもよい。
通信部17は、画像処理部12で生成された第1画像および第2画像を配信する。このとき、通信部17は、画像処理部12からの撮像画像をネットワークプロトコルに準拠して変換し、ネットワーク18に配信する。
ネットワーク18は、例えば、ローカルエリアネットワーク(LAN)であり、Ethernet(登録商標)等の通信規格を満足するルータ等を備える。撮像装置10および不図示のクライアント装置は、LANケーブル等によってネットワーク18に接続される。
図2は、第1実施形態に係る撮像制御方法を示すフローチャートである。
なお、図2の各ステップは、図1の撮像装置10の記憶部14に記憶されたプログラムを撮像制御部13が読み出し、実行することで実現される。また、図2に示すフローチャートの少なくとも一部をハードウェアにより実現してもよい。ハードウェアにより実現する場合、例えば、所定のコンパイラを用いることで、各ステップを実現するためのプログラムからFPGA上に自動的に専用回路を生成すればよい。また、FPGAと同様にしてGate Array回路を形成し、ハードウェアとして実現するようにしてもよい。また、ASICにより実現するようにしてもよい。
この場合、図2に示すフローチャートにおける各ブロックは、ハードウェアブロックと見做すことができる。なお、複数のブロックをまとめて1つのハードウェアブロックとして構成してもよく、1つのブロックを複数のハードウェアブロックとして構成してもよい。
なお、図2の各ステップは、図1の撮像装置10の記憶部14に記憶されたプログラムを撮像制御部13が読み出し、実行することで実現される。また、図2に示すフローチャートの少なくとも一部をハードウェアにより実現してもよい。ハードウェアにより実現する場合、例えば、所定のコンパイラを用いることで、各ステップを実現するためのプログラムからFPGA上に自動的に専用回路を生成すればよい。また、FPGAと同様にしてGate Array回路を形成し、ハードウェアとして実現するようにしてもよい。また、ASICにより実現するようにしてもよい。
この場合、図2に示すフローチャートにおける各ブロックは、ハードウェアブロックと見做すことができる。なお、複数のブロックをまとめて1つのハードウェアブロックとして構成してもよく、1つのブロックを複数のハードウェアブロックとして構成してもよい。
図2において、撮像制御部13は、分割領域ごとに露光量が適正化されるように露光時間が設定された第1画像を固体撮像素子112に撮像させ、固体撮像素子112により撮像された第1画像を取得する(S21)。このとき、撮像制御部13は、各々の分割領域の露光時間情報を設定することができる。
次に、撮像制御部13は、注目領域設定部150により注目領域が設定されているかどうか判断する(S22)。注目領域が設定されている場合、撮像制御部13は、S21にて設定した第1画像の各々の分割領域の露光時間情報のうち、注目領域の露光時間の中央値を算出する(S24)。一方、注目領域が設定されていない場合、撮像制御部13は、S21にて設定した第1画像の各々の分割領域の露光時間情報から中央値を算出する(S23)。
次に、撮像制御部13は、固体撮像素子112の各々の分割領域に対して、S23またはS24にて算出した露光時間を一律に設定する。そして、撮像制御部13は、固体撮像素子112により撮像された第2画像を取得する(S25)。
図3(a)は、第1実施形態に係る第1画像の一例を示す図、図3(b)は、第1画像に注目領域RAが設定されているときの第2画像の一例を示す図、図3(c)は、第1画像に注目領域RAが設定されていないときの第2画像の一例を示す図である。
図3(a)において、第1画像G1は、例えば、縦×横=3×4=12個の分割領域A1~A3、B1~B3、C1~C3、D1~D3に分割されるものとする。このとき、図1の撮像制御部13は、分割領域A1~A3、B1~B3、C1~C3、D1~D3ごとに個別に露光時間を設定可能である。また、第1画像G1には、注目領域RAを設定可能である。図3(a)の例では、注目領域RAが分割領域B2、C2、D2に含まれる例を示した。
ここで、分割領域A1~A3、B1~B3、C1~C3、D1~D3ごとに個別に露光時間を設定することにより、照度が高い領域と低い領域が混在する輝度のダイナミックレンジの広い環境においても、階調の潰れが抑制された第1画像G1が得られる。
ただし、分割領域A1~A3、B1~B3、C1~C3、D1~D3ごとに露光量が適正化されるように個別に露光時間を設定すると、露光時間の異なる領域の境界にブロック状の輝度段差(以下、ブロック段差と言う)が生じる。このため、ブロック段差BDが第1画像G1に発生し、画像全体を一律の露光時間で撮像した場合と比較して、違和感が発生することがある。
ただし、分割領域A1~A3、B1~B3、C1~C3、D1~D3ごとに露光量が適正化されるように個別に露光時間を設定すると、露光時間の異なる領域の境界にブロック状の輝度段差(以下、ブロック段差と言う)が生じる。このため、ブロック段差BDが第1画像G1に発生し、画像全体を一律の露光時間で撮像した場合と比較して、違和感が発生することがある。
第1画像G1に注目領域RAが設定されている場合、撮像制御部13は、注目領域RAを含む分割領域B2、C2、D2ごとの露光時間の中央値に基づいて、画像全体に適用される露光時間を算出する。そして、撮像制御部13は、画像全体に適用される露光時間を各分割領域A1~A3、B1~B3、C1~C3、D1~D3に一律に適用して固体撮像素子112に撮像させる。この結果、図3(b)に示すように、図3(a)のブロック段差BDが解消されるとともに、注目領域RAの露出量が適正化された第2画像G2Aが得られる。
第1画像G1に注目領域RAが設定されていない場合、撮像制御部13は、第1画像G1の分割領域A1~A3、B1~B3、C1~C3、D1~D3ごとの露光時間の中央値に基づいて、画像全体に適用される露光時間を算出する。そして、撮像制御部13は、画像全体に適用される露光時間を各分割領域A1~A3、B1~B3、C1~C3、D1~D3に一律に適用して固体撮像素子112に撮像させる。この結果、図3(c)に示すように、図3(a)のブロック段差BDが解消された第2画像G2Bが得られる。
ここで、撮像制御部13は、第2画像の露光時間として第1画像の分割領域ごとの露光時間の中央値を用いることができる。これにより、第1画像の分割領域の露光時間の平均値を第2画像の露光時間として用いた場合に比べて、画像全体の露光量を適正化することができる。例えば、複数の分割領域のうち、1つの分割領域だけ他の分割領域に比べて暗い場合、第1画像の分割領域の露光時間の平均値を第2画像の露光時間として用いると、画像全体の明るさが暗い分割領域の明るさに引き付けられ、画像全体の明るさが暗くなる。これに対して、第1画像の分割領域の露光時間の中央値を第2画像の露光時間として用いると、複数の分割領域のうち、1つの分割領域だけ他の分割領域に比べて暗い場合においても、画像全体の明るさが暗くなるのを防止することができる。
図4は、第1実施形態に係る分割領域ごとの露光時間の設定例を示す図である。なお、図4(a)は、図3(a)の第1画像G1の各分割領域A1~A3の露光時間の一例を示す。図4(b)は、図3(a)の第1画像G1の各分割領域B1~B3の露光時間の一例を示す。図4(c)は、図3(a)の第1画像G1の各分割領域C1~C3の露光時間の一例を示す。図4(d)は、図3(a)の第1画像G1の各分割領域D1~D3の露光時間の一例を示す。
図4(a)から図4(d)において、第1画像を取得する場合、各分割領域A1~A3、B1~B3、C1~C3、D1~D3ごとに露光量が適正化されるように個別に露光時間が設定される。例えば、図4(a)に示すように、各分割領域A1、A3の露光時間は1/30秒、分割領域A2の露光時間は1/300秒に設定される。
図5は、第1実施形態に係る第2画像の露光時間の算出例を示す図である。なお、図5(a)は、図3(a)の第1画像G1に注目領域RAが設定されている場合の中央値、図5(b)は、図3(a)の第1画像G1に注目領域RAが設定されていない場合の中央値の一例を示す。
図5(a)において、図3(a)の第1画像G1に注目領域RAが設定されている場合、撮像制御部13は、注目領域RAを含む分割領域B2、C2、D2ごとの露光時間から中央値を算出する。図5(a)の例では、分割領域B2、C2、D2ごとの露光時間の中央値は、分割領域D2の露光時間である1/500秒である。ここで、第1画像G1に注目領域RAが設定されている場合、注目領域RAを含む分割領域B2、C2、D2ごとの露光時間から中央値を算出することにより、画像全体から中央値を算出する場合に比べて、注目領域RAの露出量を適正化することができる。
図5(b)において、図3(a)の第1画像G1に注目領域RAが設定されていない場合、撮像制御部13は、第1画像G1に含まれる分割領域A1~A3、B1~B3、C1~C3、D1~D3の露光時間から中央値を算出する。図5(b)の例では、分割領域A1~A3、B1~B3、C1~C3、D1~D3の露光時間の中央値は、分割領域B3の露光時間である1/50秒である。
以上説明したように、上述した第1実施形態によれば、撮像装置は、分割領域ごとに露光時間が設定された第1画像を取得することで、照度が高い領域と低い領域が混在する環境においても適正な露出で撮像が可能となる。また、撮像装置は、第1画像の露光時間情報から算出した露光時間の中央値に基づいて画像全体の露光時間を設定することで、違和感が低減された第2画像を取得することができる。
<その他の実施形態>
図6は、図1の撮像装置に適用される制御処理部のハードウェア構成例を示すブロック図である。
図6において、制御処理部30は、図1の撮像装置10の機能のうち、ソフトウェアにより実現される機能を撮像装置10上で実現することができる。このとき、制御処理部30は、図1の画像処理部12および撮像制御部13の機能を実現することができる。また、制御処理部30は、図1の撮像部11、画像処理部12、撮像制御部13、記憶部14、操作部15、表示部16および通信部17を連携動作させることができる。
図6は、図1の撮像装置に適用される制御処理部のハードウェア構成例を示すブロック図である。
図6において、制御処理部30は、図1の撮像装置10の機能のうち、ソフトウェアにより実現される機能を撮像装置10上で実現することができる。このとき、制御処理部30は、図1の画像処理部12および撮像制御部13の機能を実現することができる。また、制御処理部30は、図1の撮像部11、画像処理部12、撮像制御部13、記憶部14、操作部15、表示部16および通信部17を連携動作させることができる。
制御処理部30は、プロセッサ31、通信制御部32、通信インタフェース33、主記憶部34、補助記憶部35および入出力インタフェース37を備える。プロセッサ31、通信制御部32、通信インタフェース33、主記憶部34、補助記憶部35および入出力インタフェース37は、内部バス36を介して相互に接続されている。主記憶部34および補助記憶部35は、プロセッサ31からアクセス可能である。
また、制御処理部30の外部には、入力装置40、表示装置41およびイメージセンサ42が設けられている。入力装置40、表示装置41およびイメージセンサ42は、入出力インタフェース37を介して内部バス36に接続されている。入力装置40は、例えば、キーボード、マウス、タッチパネル、カードリーダ、音声入力装置等である。表示装置41は、例えば、液晶モニタ、有機ELディスプレイ、マイクロLEDディスプレイである。イメージセンサ42は、例えば、CCDセンサまたはCMOSセンサである。
プロセッサ31は、制御処理部30全体の動作制御を司る。プロセッサ31は、CPUであってもよいし、GPU(Graphics Processing Unit)であってもよい。プロセッサ31は、シングルコアプロセッサであってもよいし、マルチコアプロセッサであってもよい。プロセッサ31は、処理の一部を高速化するアクセラレータなどのハードウェア回路(例えば、FPGAまたはASIC)を備えていてもよい。
主記憶部34は、例えば、SRAM(Static Randam Access Memory)またはDRAM(Dynamic Randam Access Memory)などの半導体メモリから構成することができる。主記憶部34には、プロセッサ31が実行中のプログラムを格納したり、プロセッサ31がプログラムを実行するためのワークエリアを設けたりすることができる。
補助記憶部35は、不揮発性記憶デバイスであり、例えば、ROM、ハードディスク装置またはSSD(Solid State Drive)である。補助記憶部35は、各種プログラムの実行ファイルやプログラムの実行に用いられるデータを保持することができる。
通信制御部32は、外部との通信を制御する機能を備えるハードウェアである。通信制御部32は、通信インタフェース33を介してネットワーク39に接続される。ネットワーク39は、インターネットであってもよいし、WANであってもよいし、WiFiまたはイーサネット(登録商標)などのLANであってもよいし、インターネットとWANとLANが混在していてもよい。
入出力インタフェース37は、入力装置40およびイメージセンサ42から入力されるデータをプロセッサ31が処理可能なデータ形式に変換したり、プロセッサ31から出力されるデータを表示装置41が処理可能なデータ形式に変換したりする。
プロセッサ31は、補助記憶部35に記憶されたプログラムを主記憶部34に読み出して実行することにより、図2の処理を実現することができる。
なお、図2の処理を実現するためのプログラムの実行は、複数のプロセッサやコンピュータに分担させてもよい。あるいは、プロセッサ31は、図2の処理を実現するためのプログラムの全部または一部の実行を、ネットワーク39を介してクラウドコンピュータなどに指示し、その実行結果を受け取るようにしてもよい。
なお、図2の処理を実現するためのプログラムの実行は、複数のプロセッサやコンピュータに分担させてもよい。あるいは、プロセッサ31は、図2の処理を実現するためのプログラムの全部または一部の実行を、ネットワーク39を介してクラウドコンピュータなどに指示し、その実行結果を受け取るようにしてもよい。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワークまたは記憶媒体を介してシステムまたは装置に供給してもよい。そして、上述の実施形態の1以上の機能は、そのシステムまたは装置のコンピュータにおける1つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、FPGAまたはASIC)でも実現可能である。
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されることなく、その要旨の範囲内で種々の変形及び変更が可能である。例えば、上述した実施形態においては、第1画像と第2画像を取得する例を示したが、撮像装置10は、これらの画像の他にも、注目領域のみを切り出した画像など、第1画像と第2画像以外の画像も取得してもよい。あるいは、第1画像において隣接する領域どうしの境界の輝度差を小さくするように補正した第3画像を生成する補正手段を設け、第1画像とともに、第2画像と第3画像とのいずれかあるいは両方を取得してもよい。
また、本発明は、静止画の撮像においても、動画の撮像においても、適用が可能である。特に、動画の撮像においては、撮像制御部13は、設定値以上のフレームレートでは第1画像のみを撮像部11に撮像させ、設定値より小さいフレームレートでは第1画像および第2画像を撮像部11に撮像させてもよい。例えば、固体撮像素子112の最大動作能力を超えないよう、固体撮像素子112が動作可能な最大フレームレートで撮像する場合、撮像制御部13は、第1画像のみを撮像させてもよい。また、固体撮像素子112が動作可能な最大フレームレートより小さいフレームレートで撮像する場合、撮像制御部13は、第1画像と第2画像の双方を撮像させてもよい。これにより、図6のプロセッサ31にかかる負荷に余裕がある場合に第1画像と第2画像の双方を撮像させることができ、プロセッサ31の処理が滞るのを防止することができる。
10 撮像装置、11 撮像部、12 画像処理部、13 撮像制御部、14 記憶部、15 操作部、16 表示部、17 通信部、110 結像光学系、111 絞り、112 固体撮像素子
Claims (11)
- 画像を分割した分割領域ごとに設定した露光時間に基づいて撮像された第1画像が得られるように撮像を指示する第1指示手段と、
前記分割領域ごとの露光時間に基づいて、前記画像に含まれる複数の分割領域に一律に適用される露光時間を算出する算出手段と、
前記算出手段で算出された露光時間に基づいて撮像された第2画像が得られるように撮像を指示する第2指示手段と、
を備えることを特徴とする撮像制御装置。 - 前記複数の分割領域は、前記画像全体であることを特徴とする請求項1に記載の撮像制御装置。
- 前記算出手段は、前記設定手段で設定された分割領域ごとの露光時間の分布に基づいて、前記画像に含まれる複数の分割領域に一律に適用される露光時間を算出することを特徴とする請求項1または2に記載の撮像制御装置。
- 前記算出手段は、前記設定手段で設定された分割領域ごとの露光時間の中央値に基づいて、前記画像に含まれる複数の分割領域に一律に適用される露光時間を算出することを特徴とする請求項1から3のいずれか1項に記載の撮像制御装置。
- 前記第1画像は、監視画像として用いられることを特徴とする請求項1から4のいずれか1項に記載の撮像制御装置。
- 前記第2画像は、サムネイル画像として用いられることを特徴とする請求項1から5のいずれか1項に記載の撮像制御装置。
- 前記第1画像および前記第2画像は、撮像を行う撮像手段の外部の記憶手段に記憶されることを特徴とする請求項1から6のいずれか1項に記載の撮像制御装置。
- 前記第1画像および前記第2画像は、撮像を行う撮像手段の外部に配信されることを特徴とする請求項1から7のいずれか1項に記載の撮像制御装置。
- 設定値以上のフレームレートでは前記第1画像のみを前記撮像手段に撮像させ、
前記設定値より小さいフレームレートでは前記第1画像および前記第2画像を前記撮像手段に撮像させることを特徴とする請求項1から8のいずれか1項に記載の撮像制御装置。 - 画像を分割した分割領域ごとに設定した露光時間に基づいて撮像された第1画像が得られるように撮像を指示するステップと、
前記分割領域ごとの露光時間に基づいて、前記画像に含まれる複数の分割領域に一律に適用される露光時間を算出するステップと、
前記画像に含まれる複数の分割領域に一律に適用される露光時間に基づいて撮像された第2画像が得られるように撮像を指示するステップと、
を備えることを特徴とする撮像制御方法。 - コンピュータを請求項1から9のいずれか1項に記載の撮像制御装置として動作させるためのプログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021024422A JP2022126388A (ja) | 2021-02-18 | 2021-02-18 | 撮像制御装置、撮像制御方法およびプログラム |
US17/670,094 US11991454B2 (en) | 2021-02-18 | 2022-02-11 | Image capturing control apparatus, image capturing apparatus, control method, and storage medium |
CN202210140254.8A CN114979501A (zh) | 2021-02-18 | 2022-02-16 | 摄像控制装置、摄像装置、控制方法和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021024422A JP2022126388A (ja) | 2021-02-18 | 2021-02-18 | 撮像制御装置、撮像制御方法およびプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2022126388A true JP2022126388A (ja) | 2022-08-30 |
Family
ID=82800698
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021024422A Pending JP2022126388A (ja) | 2021-02-18 | 2021-02-18 | 撮像制御装置、撮像制御方法およびプログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US11991454B2 (ja) |
JP (1) | JP2022126388A (ja) |
CN (1) | CN114979501A (ja) |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101424717B1 (ko) * | 2007-09-13 | 2014-08-01 | 삼성전자주식회사 | 노출 시간 설정 장치 및 방법 |
US20170142313A1 (en) * | 2015-11-16 | 2017-05-18 | Microsoft Corporation | Image sensor system |
US10425599B2 (en) * | 2017-02-01 | 2019-09-24 | Omnivision Technologies, Inc. | Exposure selector for high-dynamic range imaging and associated method |
US20190052791A1 (en) * | 2017-08-10 | 2019-02-14 | Olympus Corporation | Image processing apparatus and image processing method |
JP2019161329A (ja) | 2018-03-09 | 2019-09-19 | キヤノン株式会社 | 撮像装置 |
JP7150147B2 (ja) * | 2018-09-07 | 2022-10-07 | ドルビー ラボラトリーズ ライセンシング コーポレイション | 空間的多重化露光ハイダイナミックレンジイメージセンサの自動露出 |
-
2021
- 2021-02-18 JP JP2021024422A patent/JP2022126388A/ja active Pending
-
2022
- 2022-02-11 US US17/670,094 patent/US11991454B2/en active Active
- 2022-02-16 CN CN202210140254.8A patent/CN114979501A/zh active Pending
Also Published As
Publication number | Publication date |
---|---|
US11991454B2 (en) | 2024-05-21 |
CN114979501A (zh) | 2022-08-30 |
US20220263994A1 (en) | 2022-08-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10194091B2 (en) | Image capturing apparatus, control method therefor, program, and recording medium | |
KR102149187B1 (ko) | 전자 장치와, 그의 제어 방법 | |
US9712757B2 (en) | Image capturing apparatus capable of compositing images generated using the same development parameter and control method therefor | |
JP2021500820A (ja) | 撮像制御方法および撮像装置 | |
JP2012010048A (ja) | 画像信号処理装置 | |
KR20180067052A (ko) | 광역 역광 보정 영상 촬상 방법, 이를 수행하는 영상 촬상 장치 및 이를 포함하는 전자 시스템 | |
JP2011091584A (ja) | 撮像装置、撮像方法及び電子機器 | |
JP2016025515A (ja) | 撮像装置、撮像表示装置及びその制御方法 | |
JP2024079754A (ja) | 撮像素子、撮像装置、撮像方法及びプログラム | |
JP2009200743A (ja) | 画像処理装置および画像処理方法および画像処理プログラムおよび撮像装置 | |
JP2009258205A (ja) | プロジェクタ装置、画像投影方法、プログラム、記録媒体および携帯電話端末 | |
US20230196529A1 (en) | Image processing apparatus for capturing invisible light image, image processing method, and image capture apparatus | |
JP2022126388A (ja) | 撮像制御装置、撮像制御方法およびプログラム | |
US10070064B2 (en) | Display control device including display control section that causes display data to be displayed in first and second regions og display, and controlling method of image capturing sensor and display | |
CN113676674A (zh) | 图像处理方法、装置、电子设备及可读存储介质 | |
JP7442989B2 (ja) | 撮像装置、該撮像装置の制御方法、及びプログラム | |
JP6157274B2 (ja) | 撮像装置、情報処理方法及びプログラム | |
KR20180045553A (ko) | 광역 역광 보정 장치 | |
US20190052803A1 (en) | Image processing system, imaging apparatus, image processing apparatus, control method, and storage medium | |
JP2015126299A (ja) | 画像処理装置、その制御方法およびプログラム | |
JP2015216423A (ja) | 撮像装置およびその制御方法ならびにプログラム | |
US11950012B2 (en) | Apparatus, method of controlling the same, and storage medium | |
US11775157B2 (en) | Image processing apparatus, image processing system, and control method for processing a second image with adjusting level of a first image | |
JP2019075621A (ja) | 撮像装置、撮像装置の制御方法 | |
JP5338248B2 (ja) | 画像処理装置、電子カメラおよび画像処理プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20231215 |
|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20240614 |