JP2004096258A - Apparatus and system for image pickup - Google Patents

Apparatus and system for image pickup Download PDF

Info

Publication number
JP2004096258A
JP2004096258A JP2002252181A JP2002252181A JP2004096258A JP 2004096258 A JP2004096258 A JP 2004096258A JP 2002252181 A JP2002252181 A JP 2002252181A JP 2002252181 A JP2002252181 A JP 2002252181A JP 2004096258 A JP2004096258 A JP 2004096258A
Authority
JP
Japan
Prior art keywords
image
imaging
image sensor
switching
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2002252181A
Other languages
Japanese (ja)
Other versions
JP3931768B2 (en
Inventor
Kenji Kanayama
金山　憲司
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Omron Tateisi Electronics Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp, Omron Tateisi Electronics Co filed Critical Omron Corp
Priority to JP2002252181A priority Critical patent/JP3931768B2/en
Publication of JP2004096258A publication Critical patent/JP2004096258A/en
Application granted granted Critical
Publication of JP3931768B2 publication Critical patent/JP3931768B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide an image pickup apparatus the cost of which is suppressed, the reliability and maintainability of which is improved, and which is capable of photographing a wide range. <P>SOLUTION: The image pickup apparatus is provided with three image sensors: a first image sensor 9A, a second image sensor 9B, and a third image sensor 9C. A switching section 10 selects any of electric signals outputted from the image sensors and the selected signal is given to an imaging processing section comprising: a sample-hold section 13; an A/D converter 14; an image signal transmission changeover device 15; an image compression section 16; and a wireless transmission and reception section 17 or the like. <P>COPYRIGHT: (C)2004,JPO

Description

【０００１】
【発明の属する技術分野】
本発明は、例えば監視カメラなどの用途で用いられる画像撮影装置および画像撮影システムに関するものである。
【０００２】
【従来の技術】
従来、会社、店舗、家屋などにおいて、画像センサ（監視カメラ）を備えた監視装置を用いて室内外の異常を監視する監視システムが実用化されている。このような監視システムとしては、複数の箇所に設置された監視装置と、これらの監視装置を統括管理する監視サーバとを備えたシステムがある。この監視システムでは、各監視装置によって撮影された画像情報が通信ネットワークを介して監視サーバに送信され、監視サーバによって異常の有無が判定される。また、この監視サーバが、さらに広域の通信ネットワークを介して、例えば警備会社に設置された中央管理サーバに接続されたシステムも存在している。このようなシステムの場合、各監視サーバから送信されてくる情報によって、警備会社において各監視装置による監視状況を把握することが可能となっている。
【０００３】
また、昨今では、携帯電話機における表示性能が向上しており、例えば写真などの画像を携帯電話機の表示画面上に表示させることが可能になってきている。そこで、上記のような監視システムにおいて、監視カメラによって撮影された画像を携帯電話機に転送し、この画像を携帯電話機の表示画面上に表示させる利用形態が普及しつつある。このようなシステムによれば、例えば利用者が外出しているときに留守中の部屋の様子を確認したい場合などに、その部屋に設置されている監視カメラによって撮影された画像を携帯電話機に転送させる指示を行うことによって、監視画像を携帯電話機で確認することが可能となる。
【０００４】
また、上記の例では防犯などのセキュリティ用途で監視カメラが用いられているが、例えば留守中のペットの様子を監視カメラで撮影し、これを外出中の飼い主がリアルタイムで携帯電話の表示画面で確認する、というような利用形態も提案されている。すなわち、無人の状態でビデオカメラによって撮影された画像を遠隔地でモニタするという使用形態は、通信ネットワーク技術の進歩に伴って今後さらに広く拡大していくことが予想されている。
【０００５】
【発明が解決しようとする課題】
上記のビデオカメラにおいて、撮影対象となる現場の状況をできるだけ広範囲に撮影するためには２つのアプローチがある。１つは、ビデオカメラにおけるレンズを、視野角が広くなるように設定することによって、撮影範囲を広くする手法である。この手法の場合、撮影範囲を広くすることはできるが、撮影対象となる物体などは撮影画像内において比較的小さくなってしまい、撮影対象を詳細に把握したい場合に十分な画像情報を得ることができないという問題がある。また、撮影範囲をさらに広げるために、例えば魚眼レンズなどを用いる構成も考えられるが、このような広視野角のレンズは比較的高価であり、ビデオカメラの高価格化を招くという問題がある。
【０００６】
そこで２つ目の手法として、ビデオカメラに、撮影方向を上下や左右に移動させるための電動駆動機構部を設ける手法がある。この手法の場合、ビデオカメラの視野角自体はあまり広くせずに、撮影方向を変更することによって広範囲の撮影を実現している。したがって、撮影画像内における撮影対象の物体の大きさを比較的大きくすることができるので、撮影対象に関する十分な画像情報を得ることが可能となる。
【０００７】
しかしながら、ビデオカメラの撮影方向を変更させるための電動駆動機構部を設ける場合、次のような問題が生じることになる。まず、電動駆動機構部は、電動モータ、駆動伝達機構、支持部材などの構成が必要とされるため、ビデオカメラユニットとしての外形が比較的大きくなるという問題がある。また、このような構成が追加されることによるコストアップも招くことになる。さらに、機械的に動作する駆動機構が存在することによって、機械的な要因による信頼性の低下の問題、摩耗などによる寿命の問題、摺動箇所に対するオイル供給などのメンテナンスが必要となるという問題、ビデオカメラの回動に伴って設置箇所が制限されるという問題などが生じることになる。
【０００８】
なお、特開平５−４８９３８号公報には、入射した光をプリズムを用いて分光し、これらを複数の撮像素子によって受光するパノラマビデオカメラが開示されている。また、特開２００２−５８６６９号公報や特開平１０−２０１７５８号公報には、複数のＣＣＤセンサーを縦に並べた構成を備えたパノラマＸ線撮影装置が開示されている。
【０００９】
本発明は上記の問題点を解決するためになされたもので、その目的は、装置コストを低く抑え、信頼性、保守性の向上を実現し、かつ広範囲の撮影を行うことが可能な画像撮影装置および画像撮影システムを提供することにある。
【００１０】
【課題を解決するための手段】
上記の課題を解決するために、本発明に係る画像撮影装置は、入力された光を電気信号に変換する撮像素子と、上記撮像素子において得られた電気信号をデジタル画像データに変換する処理を行う撮像処理部とを備えた画像撮影装置であって、上記撮像素子を複数備えるとともに、上記複数の撮像素子のうちのいずれか１つの撮像素子を選択し、選択された撮像素子から出力される電気信号を上記撮像処理部に入力する切替処理部を備えていることを特徴としている。
【００１１】
上記の構成では、撮像素子が複数設けられている一方、撮像処理部が共用可能に設けられている。そして、切替処理部によって選択された撮像素子によって撮像された画像が撮像処理部によって処理されるようになっている。このような構成によれば、複数の撮像素子をそれぞれ異なる空間を撮影できるように設置しておくとともに、これらの撮像素子を適宜切り替えて撮像処理部に処理させることによって、１つの画像撮影装置によって複数の箇所の撮像画像を提供することが可能となる。
【００１２】
ここで、従来では、１つの画像撮影装置によって複数の箇所の撮影を行おうとする場合には、前記したように、画像撮影装置にいわゆるＰＡＮ機能を実現するための電動駆動機構部を設け、機械的に撮影方向を変化させる構成がとられていた。これは、画像の撮影を行う撮像構成部材としては、レンズ群、絞り部、ＣＭＯＳ型撮像素子（あるいはＣＣＤ）や撮像管などの撮像手段などがあり、このような撮像構成部材は従来では比較的高価なものであったからである。しかしながら、昨今では、技術の進歩や需要の増大などを要因として、例えばＣＣＤなどの撮像素子が劇的に安価になっており、このような撮像素子を１つの画像撮影装置に複数設けることによるコストの上昇は微々たるものとなってきている。したがって、電動駆動機構部を設けるよりも、複数の撮像素子を設ける方が、装置コストをはるかに低く抑えることが可能となっている。
【００１３】
また、電動駆動機構部は、前記したように、電動モータ、駆動伝達機構、支持部材などの構成が必要とされるので、画像撮影装置自体の外形サイズが比較的大きくなっていた。これに対して、上記本発明の構成によれば、撮像素子を複数設ける点、および切替処理部を設ける点などが構成部材の増加であるが、これらの構成を追加することによる外形サイズの増加は微々たるものである。すなわち、撮像素子に関しては、例えばＣＣＤイメージセンサやＣＭＯＳイメージセンサなどを用いることを想定すると、その外形サイズが極めて小さいものが必要十分な性能で安価に入手できるようになっている。また、切替処理部に関しては、ＩＣなどの電子回路によって実現できるので、その外形サイズは比較的小さいものとなる。
【００１４】
また、電動駆動機構部を設ける場合、前記したように、機械的に動作する駆動機構が存在することによって、機械的な要因による信頼性の低下の問題、摩耗などによる寿命の問題、摺動箇所に対するオイル供給などのメンテナンスが必要となるという問題が生じるが、上記本発明の構成によれば、機械的に動作する箇所が皆無となるので、これらの問題はすべて解消されることになる。
【００１５】
以上のように、上記本発明の構成によれば、１つの画像撮影装置によって複数の箇所の撮影を行うために従来必要とされた電動駆動機構部を設ける構成と比較して、装置コストの低減、信頼性、保守性の向上、および、設置の自由度の向上を実現することができる。
【００１６】
また、本発明に係る画像撮影装置は、上記の構成において、上記撮像処理部によって処理された画像データを、通信手段を介して外部の装置に送信する送信手段をさらに備えている構成としてもよい。
【００１７】
上記の構成によれば、撮影によって得られた画像データを、通信手段を介して外部の装置に送信することが可能となるので、例えば画像撮影装置から遠く離れた場所において、画像撮影装置によって撮影された画像を確認することが可能となる。よって、例えば画像撮影装置を監視用途のカメラとして機能させることが可能となる。
【００１８】
また、本発明に係る画像撮影装置は、上記の構成において、外部の装置から、通信手段を介して指令信号を受信する受信手段をさらに備え、上記受信手段によって受信された指令信号に基づいて、上記切替処理部による撮像素子の選択が行われる構成としてもよい。
【００１９】
上記の構成によれば、撮影画像を受信する外部の装置から、撮像素子の選択を指示することが可能となるので、外部の装置を用いて撮影画像を確認する利用者は、所望とする領域を撮影している撮像素子を選択して、その撮像素子によって撮影されている画像を見ることが可能となる。よって、利用者は、所望とするタイミングで、所望とする領域の撮影画像を確認することが可能となる。
【００２０】
また、本発明に係る画像撮影装置は、上記の構成において、選択する撮像素子を所定の間隔で順次切り替える指示信号を出力する撮像素子切替カウンタをさらに備えており、上記切替処理部が、上記撮像素子切替カウンタからの指示信号に従って選択する撮像素子を切り替える構成としてもよい。
【００２１】
上記の構成によれば、切替処理部が、撮像素子切替カウンタからの指示に従って撮像素子を所定の間隔で順次切り替えるので、各撮像素子によって撮影されている画像が順次切り替えられた画像を利用者は確認することができる。したがって、利用者は何らかの指示を行うことなく、複数の撮像素子によって撮影されている領域を順次確認していくことが可能となり、例えば監視用途などにおいて有効に機能させることができる。
【００２２】
また、本発明に係る画像撮影装置は、上記の構成において、上記撮像素子における撮像パラメータを、上記撮像処理部によって得られる画像データに基づいて調整する撮像パラメータ調整部と、上記撮像パラメータ調整部によって調整された撮像パラメータを、各撮像素子ごとに記憶する撮像パラメータ記憶部とをさらに備えた構成としてもよい。
【００２３】
撮像素子における撮像パラメータを、その撮像素子によって撮影された画像のデータに基づいて調整する場合、１フレーム分の画像データのみでは十分にパラメータ調整を完了することはできないものであり、複数のフレーム分をフィードバック制御方式で繰り返し調整することによって、良好なパラメータ値に設定することが可能となる。ここで、上記のように、撮像パラメータ記憶部に調整結果を各撮像素子ごとに記憶しておき、ある撮像素子が選択された際に、この記憶されている撮像パラメータを読み出して、これをデフォルト値として設定する制御を行えば、前回の調整時から撮影環境が大きく変化していなければ、少ないフレーム分の画像によってパラメータ調整を完了することが可能となる。すなわち、上記の構成によれば、撮像パラメータの調整にかかる時間を短くすることが可能となる。
【００２４】
また、本発明に係る画像撮影装置は、上記の構成において、上記撮像素子における撮像パラメータを、上記撮像処理部によって得られる画像データに基づいて調整する撮像パラメータ調整部をさらに備え、上記切替処理部によって撮像素子の切り替えが行われた時点から所定の期間後から、上記撮像処理部が、切り替え後に選択された撮像素子によって撮像された画像データを出力する構成としてもよい。
【００２５】
上記の構成では、撮像素子の切り替えが行われると、切り替え後に選択された撮像素子から出力される電気信号が撮像処理部に入力される。そして、撮像パラメータ調整部は、撮像処理部において生成されたデジタル画像データに基づいて、選択された撮像素子における撮像パラメータの調整を行う。ここで、撮像素子の切り替え直後では、切り替え後に選択された撮像素子によって撮像された画像データが撮像処理部から出力されずに、切り替えが行われた時点から所定の期間経過した後から出力されるようになっている。
【００２６】
例えば切り替え直後から、選択された撮像素子によって撮像された画像データが出力されるようになっている場合、出力される画像は、撮像パラメータ調整部による調整が完了していない悪い画像状態のものとなっている。これに対して、上記本発明の構成のように、切り替え時点から所定の期間経過した後から、選択された撮像素子によって撮像された画像データを出力するようにすれば、この所定の期間において撮像パラメータ調整部による調整を完了することが可能となるので、出力される画像は良好な画像状態となっていることになる。
【００２７】
すなわち、上記の構成によれば、撮像素子の切り替えが行われた際に、撮像パラメータの調整が完了していない状態の撮像画像が出力されることを防止することができる。
【００２８】
また、本発明に係る画像撮影装置は、上記の構成において、上記切替処理部によって撮像素子の切り替えが行われた時点から所定の期間内では、上記撮像処理部は、切り替え前に選択されていた撮像素子によって撮像された画像データを出力する構成としてもよい。
【００２９】
上記の構成によれば、撮像素子の切り替えが行われた時点から所定の期間内では、切り替え前に選択されていた撮像素子によって撮像された画像データが出力されることになるので、出力される画像に空白期間が生じることなく、スムーズに撮像素子の切替を行うことが可能となる。
【００３０】
また、本発明に係る画像撮影装置は、上記の構成において、上記切替処理部によって特定の撮像素子が選択され続けている際に、上記切替処理部が、所定の期間毎に、選択されていない撮像素子を一時的に選択する構成としてもよい。
【００３１】
上記の構成によれば、特定の撮像素子が選択され続けている場合でも、定期的に他の撮像素子が一時的に選択されることになる。このように、他の撮像素子が一時的に選択される際には、撮像パラメータ調整部によって該当撮像素子の撮像パラメータが調整され、調整されたパラメータが撮像パラメータ記憶部に記憶されることになる。よって、長期間特定の撮像素子が選択され続けている状態から、他の撮像素子に切り替えられた場合でも、定期的に行われた撮像パラメータ調整の結果が記憶されている撮像パラメータ記憶部から該当撮像素子に関する撮像パラメータを読み出して、これを切り替えられた撮像素子に反映させることができる。
【００３２】
すなわち、選択されていない撮像素子に関しても、定期的に撮像パラメータ調整を行うことが可能となるので、撮像パラメータ記憶部に記憶されている各撮像素子の撮像パラメータの値をある程度調整された値に維持しておくことが可能となる。よって、撮像素子の切替が行われた場合でも、比較的短い調整期間で撮像パラメータの調整制御を完了することが可能となる。
【００３３】
また、本発明に係る画像撮影システムは、上記本発明に係る画像撮影装置と、上記画像撮影装置から出力された画像データを入力して画像処理を行う制御装置とを備え、上記制御装置が、上記画像撮影装置が備える上記複数の撮像素子によって撮像された各画像データを１つの合成画像に合成する処理を行うことを特徴としている。
【００３４】
上記の構成によれば、制御装置によって、画像撮影装置が備える複数の撮像素子によって撮像された各画像データが１つの合成画像に合成されることになる。ここで、各撮像素子による撮影範囲が、互いに端部において重なるように設定されていれば、合成画像としては、各撮像素子による撮影範囲を足し合わせた範囲の画像となる。すなわち、この場合の合成画像は、比較的広い範囲を撮影した画像となる。よって、画像撮影装置があたかも広い範囲の撮影が可能な撮影装置として機能しているかのような画像を出力することが可能となる。
【００３５】
また、本発明に係る画像撮影システムは、上記の構成において、上記制御装置が、処理された画像データを、通信手段を介して外部の装置に送信する送信手段を備えているとともに、上記合成画像のうちの一部の画像領域の画像データを、上記外部の装置に送信する構成としてもよい。
【００３６】
上記の構成によれば、外部の装置に対して、合成画像のうちの一部の画像領域の画像データを送信するようになっている。ここで、送信する画像領域のサイズを、外部の装置側で必要とされるサイズ、例えば表示画面のサイズなどに合わせることによって、送信する画像データのサイズを必要最小限とすることができる。例えば送信先の外部の装置として、携帯電話機などの端末装置である場合、通信速度が比較的遅いことが多い。したがって、上記の構成のように、画像データのサイズを必要最小限とすることによって、通信時間の短縮を図ることができるとともに、通信コストを抑制することが可能となる。
【００３７】
また、本発明に係る画像撮影システムは、上記の構成において、外部の装置から、通信手段を介して指令信号を受信する受信手段をさらに備え、上記受信手段によって受信された指令信号に基づいて、送信する画像領域の位置が変更される構成としてもよい。
【００３８】
上記の構成によれば、外部の装置から、合成画像中における送信すべき画像領域の位置を変更する指示を行うことが可能となる。よって、外部の装置を操作する利用者は、画像領域の位置を変更する指示を行うことによって、あたかも画像撮影装置の撮影方向を変化させる操作、たとえばパンニングなどを行っているような操作感を得ることができる。すなわち、画像撮影装置自体には、物理的に撮影方向を変化させる機能を持たせることなく、同等の機能を電子的に実現することが可能となる。
【００３９】
【発明の実施の形態】
本発明の実施の一形態について図１ないし図１１に基づいて説明すれば、以下のとおりである。
【００４０】
（システム構成）
図２は、本実施形態に係る遠隔撮影システムの概略構成を示すブロック図である。同図に示すように、この遠隔撮影システムは、マルチアレーカメラ（画像撮影装置）１…、カメラマスタコントローラ（制御装置）２、センタシステム３、および携帯端末４を備えた構成となっている。
【００４１】
マルチアレーカメラ１は、複数のイメージセンサを備え、各イメージセンサによって撮影された画像を適宜切り替えて出力するカメラユニットである。このマルチアレーカメラ１の詳細については後述する。
【００４２】
カメラマスタコントローラ２は、複数のマルチアレーカメラ１…から画像データを受信するとともに、これらの画像データを適宜切り替えてセンタシステム３に対して出力するコントローラである。このカメラマスタコントローラ２は、画像処理部５、ワイヤレス送受信部６、記憶部７、および送受信部（送信手段・受信手段）８を備えた構成となっている。
【００４３】
画像処理部５は、マルチアレーカメラ１…から送られてきた画像データをセンタシステム３に対して送信する際に、画像合成処理（詳細は後述する）を行う必要がある場合にこの処理を行うブロックである。この画像処理部５は、例えばＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）が画像処理プログラムを実行することによって実現される。
【００４４】
ワイヤレス送受信部６は、マルチアレーカメラ１…との間でワイヤレス通信を行う際の通信インターフェースに相当するものである。ワイヤレス通信の具体例としては、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、赤外線通信などが挙げられる。なお、本実施形態では、カメラマスタコントローラ２とマルチアレーカメラ１…との間での通信はワイヤレスとなっているが、有線による通信を行う形態であってももちろんかまわない。しかしながら、ワイヤレスによる通信とすることによって、マルチアレーカメラ１…の設置場所の自由度を向上させることが可能である。
【００４５】
記憶部７は、マルチアレーカメラ１…から送られてきた画像データを一時的に格納するものであり、例えばＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）、フラッシュメモリ、ハードディスクドライブなどの記録媒体によって構成される。画像処理部５は、この記憶部７に記憶されている画像データに基づいて画像合成処理を行うことになる。
【００４６】
送受信部８は、センタシステム３との間で通信を行う際の通信インターフェースとして機能するものである。ここでの通信形態としては、例えば公衆電話網およびインターネットを介した通信などが挙げられるが、特に限定するものではなく、遠距離データ通信が可能な通信形態であればどのような形態であってもよい。なお、送受信される画像データはプライベートな内容である場合が想定されるので、インターネットを介した通信を行う場合には、例えば画像データに暗号化処理を施したり、ＶＰＮ（Ｖｉｒｔｕａｌ　Ｐｒｉｖａｔｅ　Ｎｅｔｗｏｒｋ）を利用したりというようなデータ通信のセキュリティを確保できる手法を採用することが好ましい。
【００４７】
センタシステム３は、本実施形態に係る遠隔撮影システムを統轄管理するものであり、サーバコンピュータなどによって構成される。図２中では、カメラマスタコントローラ２は１つしか示されていないが、実際には多数のカメラマスタコントローラ２…がセンタシステム３に通信接続されている。また、同様に、同図中では携帯端末４は１つしか示されていないが、実際には多数の携帯端末４…がセンタシステム３に接続されている。そして、センタシステム３は、各携帯端末４と各カメラマスタコントローラ２とを適宜接続し、データ送受信を仲介する機能を果たしている。
【００４８】
なお、センタシステム３を、監視サーバとして機能させることも可能である。すなわち、監視サーバにおける処理としては、例えば、受信した画像データの保存処理や、異常発生時の警報の発動処理ならびに連絡処理などが挙げられる。また、この場合、センタシステム３は、さらに広域の通信ネットワークを介して、例えば警備会社に設置された中央管理サーバに接続されていてもよい。このような構成とした場合、各センタシステム３から送信されてくる情報によって、警備会社において各撮影装置による監視状況を把握することが可能となり、例えば留守中の警備などが可能となる。
【００４９】
携帯端末４は、遠隔撮影システムにおける操作端末として機能するものであり、各利用者が携帯している携帯電話機などによって構成されるものである。利用者は携帯端末４を介してセンタシステム３に通信接続し、操作を行いたいマルチアレーカメラ１を特定し、所望とする操作を行うとともに、マルチアレーカメラ１による撮影画像を受信して表示画面上に表示させることになる。なお、この携帯端末４としては、上記した携帯電話機に限らず、利用者が携帯可能な端末装置、例えばＰＤＡ（Ｐｅｒｓｏｎａｌ　Ｄｉｇｉｔａｌ　Ａｓｓｉｓｔａｎｔ）端末などでも構わない。さらに言えば、携帯型の端末に限らず、マルチアレーカメラ１が設置されている場所から離れた位置に設けられている端末装置、例えば通常のＰＣ（Ｐｅｒｓｏｎａｌ　Ｃｏｍｐｕｔｅｒ）などであってもかまわない。
【００５０】
以上のように、本実施形態に係る遠隔撮影システムは、利用者が携帯端末４を用いることによって、マルチアレーカメラ１が設置される遠く離れた箇所の撮影を制御するとともに、その撮影画像を携帯端末４で確認することを可能とするシステムとなっている。なお、上記のシステム例では、センタシステム３によって通信の仲介が行われるようになっているが、携帯端末４が直接カメラマスタコントローラ２にアクセスし、撮影制御指示および撮影画像の受信を行うようなシステムであってもよい。この場合、例えばカメラマスタコントローラ２がインターネットにおけるＩＰアドレスを有しており、携帯端末４がこのＩＰアドレスを特定することによって該当カメラマスタコントローラ２にアクセスする、という形態が考えられる。昨今、ＩＰｖ６の実用化が進んでおり、各カメラマスタコントローラ２にＩＰアドレスを設定することは現実的なものとなってきている。
【００５１】
（マルチアレーカメラの構成）
次に、マルチアレーカメラ１の構成について説明する。図３は、マルチアレーカメラ１の外観の概略を示す斜視図である。同図に示すように、マルチアレーカメラ１は、筐体２４の内部にイメージセンサアレーユニット９が設けられている構成となっている。
【００５２】
イメージセンサアレーユニット９は、第１イメージセンサ（撮像素子）９Ａ、第２イメージセンサ（撮像素子）９Ｂ、および第３イメージセンサ（撮像素子）９Ｃを備えた構成となっている。なお、以降では、第１イメージセンサ９Ａ、第２イメージセンサ９Ｂ、および第３イメージセンサ９Ｃを特に区別する必要のないときには、これをイメージセンサ９Ｘと称することにする。
【００５３】
イメージセンサ９Ｘは、レンズ群、絞り、およびイメージャなどによって構成されている。最近ではこれらをコンパクトに一体化したものが実用化されており、本実施形態においても、このような一体化されたイメージセンサ９Ｘを用いている。レンズ群は、外部の光をイメージャ上に導くためのものであり、このレンズ群の設定によって焦点距離や視野角が決定される。絞りは、イメージャ上に導かれる外部からの光の量を調整するものであり、この絞り量の設定によって被写界深度などが決定される。
【００５４】
イメージャは、入力された光を電気信号に変換するものであり、ＣＣＤ（Ｃｈａｒｇｅ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）やＣＭＯＳ型撮像素子などがある。本実施形態では、このイメージャとしてＣＭＯＳ型撮像素子を用いているが、同様の機能を有する素子であればどのようなものを用いてもよく、例えばＣＣＤ型撮像素子を用いてもよい。
【００５５】
また、筐体２４には窓部２５が設けられており、各イメージセンサ９Ｘは、この窓部２５を介して外部からの光を取り入れるようになっている。このように、イメージセンサアレーユニット９が筐体２４内に配置される構成とすることによって、例えばイメージセンサ９Ｘにおけるレンズの表面に汚れが付着したり傷が生じたりなどの不具合を防止することができる。
【００５６】
図４は、イメージセンサ９Ｘの外観の概略を示す斜視図である。同図に示すように、本実施形態で用いるイメージセンサ９Ｘは、縦横それぞれ２．５ｍｍ、３．７５ｍｍ程度となっており、その厚みもレンズ部も含めて２ｍｍ程度となっている。このように、イメージセンサ９Ｘは、その外形サイズが比較的小さいものであるので、図３に示すマルチアレーカメラ１自体の外形サイズもかなり小さいものとなる。具体的には例えば数ｃｍ３程度の外形体積のマルチアレーカメラ１を構成することができる。
【００５７】
このように、本実施形態におけるマルチアレーカメラ１は、例えば従来の監視用途用ビデオカメラと比較して、その外形サイズがかなり小さいものとなっている。よって、その設置場所に関する自由度はかなり大きく、利用者は様々な箇所にマルチアレーカメラ１を設置することが可能である。
【００５８】
また、昨今では、技術の進歩および需要の増大によって、イメージセンサを構成するＣＣＤなどの価格が著しく低くなってきている。すなわち、マルチアレーカメラ１の装置コストも比較的低いものであるので、コストの面においても、マルチアレーカメラ１を複数設置することが容易になっている。
【００５９】
図５は、イメージセンサアレーユニット９を上方向から見た際の構成および各イメージセンサ９Ｘによる撮像範囲を示す図である。同図に示すように、第１イメージセンサ９Ａ、第２イメージセンサ９Ｂ、および第３イメージセンサ９Ｃは、それぞれ支持基板９Ｄに取り付けられている。そして、第１イメージセンサ９Ａ、第２イメージセンサ９Ｂ、および第３イメージセンサ９Ｃがそれぞれ異なる撮影方向となるように、支持基盤９Ｄの形状が設定されている。
【００６０】
図５に示す例では、各イメージセンサ９Ｘの撮影方向が、上下方向（図５では紙面に対して前後方向）に対しては同じ方向であるとともに、左右方向（図５では上下方向）に対してそれぞれ異なる方向となるように設定されている。また、各イメージセンサ９Ｘの撮像範囲が、その左右端部領域において互いに重なるように、各イメージセンサ９Ｘの撮影方向が設定されている。すなわち、図５に示すイメージセンサアレーユニット９によれば、各イメージセンサ９Ｘによる撮像範囲を全て考慮すると、左右方向で広範囲に撮影を行うことが可能となっている。
【００６１】
なお、イメージセンサアレーユニット９において、各イメージセンサ９Ｘの撮影方向がそれぞれ全く異なる方向に設定されている、すなわちそれぞれの撮像範囲が全く重ならないような状態となっていてもかまわない。
【００６２】
また、本実施形態では、マルチアレーカメラ１には３つのイメージセンサ９Ｘが設けられた例を示しているが、これに限定されるものではなく、１つのマルチアレーカメラ１に設けられるイメージセンサ９Ｘの個数としては任意の数としてかまわない。また、本実施形態では、マルチアレーカメラ１に設けられたイメージセンサ９Ｘは、横方向に複数個並んで配置された構成となっているが、例えばこれらを縦方向に並べた構成としてもよいし、横方向および縦方向にそれぞれ複数個並べた構成としてもかまわない。
【００６３】
また、図５において、支持基板９Ｄは、各イメージセンサ９Ｘの撮影方向を所定の方向に設定するような形状となっているが、この支持基盤９Ｄの形状を変化させることが可能となっていてもよい。例えば、支持基盤９Ｄにおいて、各イメージセンサ９Ｘが設けられる部分をそれぞれ別の部分基板として設け、各部分基板の面の角度を利用者によって調整することが可能となっていてもよい。このようにすれば、全てのイメージセンサ９Ｘによる撮像範囲を、利用者の要求に応じて広げたり狭めたりすることが可能となる。各部分基板の面の方向をそれぞれ上下左右に自由に変更することが可能となっていれば、利用者の要求に応じて、各イメージセンサ９Ｘの撮影方向をそれぞれ全く異なる方向に設定することが可能となる。
【００６４】
次に、マルチアレーカメラ１の内部構成について説明する。図１は、本実施形態に係るマルチアレーカメラ１の構成を示すブロック図である。同図に示すように、マルチアレーカメラ１は、大きく分けて、実際の撮像を行う撮像部、撮像部によって得られた撮像データを処理して送信処理を行う撮像処理部、撮像の調整を行う撮像調整部、およびカメラの切替処理を行う切替処理部とが設けられている。
【００６５】
撮像部としては、前述した第１イメージセンサ９Ａ、第２イメージセンサ９Ｂ、および第３イメージセンサ９Ｃが設けられている。
【００６６】
撮像処理部としては、タイミングジェネレータ１１、同期ジェネレータ１２、サンプルホールド部１３、Ａ／Ｄコンバータ１４、画像信号送出切替部１５、画像圧縮部１６、およびワイヤレス送受信部（送信手段・受信手段）１７が設けられている。
【００６７】
サンプルホールド部１３は、撮像部によって撮影されたアナログ信号としての画像データをサンプル単位で一時的に保持するためのブロックである。このサンプルホールド部１３は次のような理由によって設けられているものである。撮像部によって撮影されたアナログ信号としての画像データは、後段のＡ／Ｄコンバータ１４においてデジタル信号に変換されることになる。一般に、Ａ／Ｄコンバータは、１サンプルのＡ／Ｄ変換をするのに若干の時間を必要とするものである。よって、変換中に入力信号の値が大きく変化するようなときには、正しいデジタル信号を得ることができないことになる。そこで、Ａ／Ｄ変換が始まったときの入力信号の値を、１サンプルのＡ／Ｄ変換が終わるまで保持する回路が必要となる。この役目をするのがサンプルホールド部１３となる。
【００６８】
Ａ／Ｄコンバータ１４は、撮像部によって撮影されたアナログ信号としての画像データをデジタル信号に変換するブロックである。これにより、デジタルデータとしての画像データを得ることができ、後段の画像圧縮部１６によるデジタル圧縮処理や、後段のワイヤレス送受信部１７によるデジタルデータ通信などが可能となる。
【００６９】
同期ジェネレータ１２は、撮像処理を行う上で基本となる同期クロックを生成するブロックである。また、タイミングジェネレータ１１は、同期ジェネレータ１２によって生成された同期クロックに基づいて、イメージセンサ９Ｘ、サンプルホールド部１３、Ａ／Ｄコンバータ１４、およびカメラ切替選択部２０（後述）における各動作タイミングを規定するタイミング信号を生成するブロックである。このタイミング信号に基づいてイメージセンサ１２、サンプルホールド部１３、Ａ／Ｄコンバータ１４、およびカメラ切替選択部２０が動作することによって、画像の取り込みからＡ／Ｄ変換までの処理、および後述するカメラ切替処理が誤り無く正確に行われることになる。
【００７０】
画像信号送出切替部１５は、現時点でＡ／Ｄコンバータ１４から入力されている画像データがどのイメージセンサ９Ｘによって撮影されたものであるかを判断し、該画像データのヘッダ部分にイメージセンサ９Ｘの情報を埋め込んで画像圧縮部１６に送る処理を行うものである。この画像信号送出切替部１５は、後述する撮像調整・送出切替制御部２３から信号を受け取るようになっており、この信号に基づいて、現時点でＡ／Ｄコンバータ１４から入力されている画像データがどのイメージセンサ９Ｘによって撮影されたものであるかを判断する。
【００７１】
画像圧縮部１６は、画像信号送出切替部１５から入力されたデジタル画像データを圧縮するブロックである。このデータ圧縮処理は、例えばデータ圧縮アルゴリズムからなるプログラムを、例えばＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、およびＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）などからなる演算処理部、あるいはＤＳＰ（Ｄｉｇｉｔａｌ　Ｓｉｇｎａｌ　Ｐｒｏｃｅｓｓｏｒ）などに実行させることによって実現される。このデータ圧縮処理によって、外部に送信する画像データのデータサイズを減少させることができ、通信時間およびコストを低減することが可能となる。なお、画像圧縮部１６にて圧縮された画像データを、必要に応じて一時的に蓄積する画像圧縮蓄積部を設けてもよい。
【００７２】
ワイヤレス送受信部１７は、画像圧縮部１６において圧縮された画像データを、ワイヤレス通信方式によって前記したカメラマスタコントローラ２に送信するブロックである。ワイヤレス通信方式としては、例えば電波による通信、および光による通信などが挙げられる。このワイヤレス送受信部１７は、図示はしないが、送信すべき画像データを通信プロトコルに応じた信号に変換するプロトコル変換部、および、無線による信号を送出する無線信号送出部を備えている。無線信号送出部は、例えば電波方式による通信を行う場合には、ＲＦモジュールによって構成されることになる。なお、上記では、ワイヤレス送受信部１７の送信側の機能についてのみ説明しているが、装置外部からの無線信号を受信する機能も有しているものとする。
【００７３】
次に、前記した撮像調整部について説明する。撮像調整部としては、図１に示す撮像パラメータ調整部１８、および撮像パラメータ記憶部１９が設けられている。
【００７４】
撮像パラメータ調整部１８は、Ａ／Ｄコンバータ１４から出力されるデジタル画像データに基づいて撮影状態を判定し、その結果に基づいて、イメージセンサ９Ｘにおける撮像パラメータを制御するものである。ここでの撮像パラメータとは、例えばイメージセンサ９Ｘにおけるゲイン調整やホワイトバランス調整などが挙げられる。この撮像パラメータ調整部１８における処理は、例えばＣＰＵおよびＲＡＭなどからなる演算処理部、あるいはＤＳＰに、撮像制御処理プログラムを実行させることによって実現される。
【００７５】
撮像パラメータ記憶部１９は、撮像パラメータ調整部１８によって調整された撮像パラメータを記憶するものであり、例えばＲＡＭ、フラッシュメモリ、ハードディスクドライブなどの記録媒体によって構成される。そして、この撮像パラメータ記憶部１９は、第１記憶部１９Ａ、第２記憶部１９Ｂ、および第３記憶部１９Ｃを備えている。ここで、第１記憶部１９Ａは、第１イメージセンサ９Ａに関する撮像条件パラメータを、第２記憶部１９Ｂは、第２イメージセンサ９Ｂに関する撮像条件パラメータを、第３記憶部１９Ｃは、第３イメージセンサ９Ｃに関する撮像条件パラメータをそれぞれ記憶するようになっている。
【００７６】
次に、前記した切替処理部について説明する。切替処理部としては、図１に示す切替部１０、カメラ切替選択部２０、カメラ切替カウンタ（撮像素子切替カウンタ）２１、カメラ切替指令部２２、および撮像調整・送出切替制御部２３が設けられている。
【００７７】
カメラ切替選択部２０は、マルチアレーカメラ１から出力する画像をどのイメージセンサ９Ｘによって撮影された画像とするかを切替選択するものである。この切替選択は、外部から受信した切替選択指示に基づいて行われる場合と、カメラ切替カウンタ２１からの指示に基づいて行われる場合とがある。
【００７８】
外部から受信した切替選択指示に基づいて行われる場合とは、例えば前記した携帯端末４から送出された指示に基づいて、前記したカメラマスタコントローラ２からの切替選択指示がワイヤレス送受信部１７において受信され、この切替選択指示がワイヤレス送受信部１７からカメラ切替選択部２０に入力される場合である。
【００７９】
カメラ切替カウンタ２１からの指示に基づいて行われる場合とは、第１イメージセンサ９Ａ、第２イメージセンサ９Ｂ、および第３イメージセンサ９Ｃを順に切り替えて出力する場合である。すなわち、カメラ切替カウンタ２１は、所定のタイミングでシーケンシャルに第１イメージセンサ９Ａ、第２イメージセンサ９Ｂ、および第３イメージセンサ９Ｃを選択する指示信号を出力するようになっている。
【００８０】
なお、カメラ切替選択部２０は、タイミングジェネレータ１１から入力されるタイミング信号に基づいてカメラ切替の指示を行うようになっている。
【００８１】
カメラ切替指令部２２は、カメラ切替選択部２０によって選択された内容に基づいて、切替部１０に対してカメラ切替指令を出力するものである。切替部１０は、第１イメージセンサ９Ａ、第２イメージセンサ９Ｂ、および第３イメージセンサ９Ｃによって撮像された画像信号が入力されるとともに、これらの画像信号のうちのいずれか１つを選択して上記のサンプルホールド部１３に出力するものである。この切替部１０における画像信号の選択は、カメラ切替指令部から入力されるカメラ切替指令に基づいて行われる。
【００８２】
撮像調整・送出切替制御部２３は、カメラ切替選択部２０によって選択された内容に基づいて、撮像調整の制御指示および画像信号送出切替の制御指示を行うものである。具体的には、まず撮像パラメータ調整部１８に対して、カメラ切替選択部２０によってどのイメージセンサが選択されているかが通知される。そして、撮像パラメータ調整部１８は、選択されていると通知されたイメージセンサに関する撮像条件パラメータを撮像パラメータ記憶部１９から読み出して、これに基づいて該当イメージセンサの撮像条件パラメータの調整を行うことになる。
【００８３】
また、画像信号送出切替部１５に対して、カメラ切替選択部２０によってどのイメージセンサが選択されているかが通知される。そして、画像信号送出切替部１５は、Ａ／Ｄコンバータ１４から入力されている画像データが、選択されていると通知されたイメージセンサによって撮影されたものであると判断することになる。
【００８４】
以上のように、本実施形態に係るマルチアレーカメラ１は、撮像部においてイメージセンサが複数設けられている一方、撮像処理部、および撮像調整部などは共通部として設けられている構成となっている。よって、このような構成によれば、複数のイメージセンサを備えながら、装置全体のコストとしては比較的低く抑えることができ、コストパフォーマンスの良い撮像カメラを構成することができる。
【００８５】
（カメラ切替シーケンス）
次に、マルチアレーカメラ１におけるカメラ切替シーケンスについて説明する。まず、マルチアレーカメラ１から出力する画像データを、どのイメージセンサによって撮像された画像とするかを切り替える際の同期制御について図６を参照しながら説明する。図６において、一番上にはフレーム同期信号の波形が示されている。このフレーム同期信号は、図１に示す同期ジェネレータ１２によって生成されるものである。
【００８６】
また、図６において、フレーム同期信号波形の下には、カメラ切替指令が出されたタイミングを示す矢印が示されている。このカメラ切替指令は、図１に示すカメラ切替選択部２０に対して、例えば外部の機器（携帯端末４など）から通信によって入力されたり、図１に示すカメラ切替カウンタ２１から入力されたりするものである。このようなカメラ切替指令は、基本的にフレーム同期タイミングとは関係なしに入力されることになる。
【００８７】
ここで、カメラ切替選択部２０は、タイミングジェネレータ１１からタイミング信号を受け取るとともに、このタイミング信号に基づいてカメラの切替指示をカメラ切替指令部２２に対して行う。このタイミング信号は、上記のフレーム同期信号に同期した信号となっている。よって、図６の一番下に示すように、各イメージセンサによって撮像された画像の出力は、フレーム同期信号に同期したタイミングで切り替えられることになる。
【００８８】
図６に示す例では、第１イメージセンサ９Ａによって撮像された画像が出力されている状態で、まず第２イメージセンサ９Ｂへの切替指令が入力されている。そして、この切替指令の入力時点から最も近いフレーム同期タイミングにおいて、第２イメージセンサ９Ｂによって撮像された画像の出力に切り替えられている。また、その後、第２イメージセンサ９Ｂによって撮像された画像が出力されている状態で、第３イメージセンサ９Ｃへの切替指令が入力され、この時点から最も近いフレーム同期タイミングにおいて、第３イメージセンサ９Ｃによって撮像された画像の出力に切り替えられている。
【００８９】
このように、カメラ切替選択部２０は、タイミングジェネレータ１１からのタイミング信号に基づいてカメラ切替を行っているので、たとえ切替指令がランダムなタイミングで入力されても、切替時点で出力画像に乱れが生じることなく、良好な撮像画像切替処理を行うことが可能となっている。
【００９０】
次に、カメラ切替に関する具体例について説明する。本実施形態では、カメラ切替の方式として、▲１▼シーケンシャル動作方式、および▲２▼外部指令動作方式の２つを想定している。
【００９１】
まず、上記の▲１▼シーケンシャル動作方式について説明する。シーケンシャル動作方式は、出力する画像を撮像するイメージセンサを所定のタイミングで順次切り替える方式である。このシーケンシャル動作方式は、上記のカメラ切替カウンタ２１から出力される切替指令に基づいて行われることになる。
【００９２】
カメラ切替カウンタ２１は、所定の間隔で、出力する画像を撮像するイメージセンサとして、第１イメージセンサ９Ａ、第２イメージセンサ９Ｂ、および第３イメージセンサ９Ｃを順次切り替えるように切替指令信号をカメラ切替選択部２０に対して出力するようになっている。
【００９３】
図７（ａ）および図７（ｂ）は、イメージセンサの切替周期として１フレーム周期に設定した場合の例を示しており、同図（ａ）は撮像パラメータの調整対象とするイメージセンサのシーケンスを示しており、同図（ｂ）は実際の画像出力におけるイメージセンサのシーケンスを示している。これらの図に示すように、シーケンシャル動作方式の場合、撮像パラメータの調整対象とするイメージセンサのシーケンスと、実際の画像出力におけるイメージセンサのシーケンスとは完全に一致している。
【００９４】
この場合の撮像パラメータの調整について説明する。ここではまず第１イメージセンサ９Ａに着目して説明する。第１イメージセンサ９Ａが撮像パラメータの調整対象となると、第１イメージセンサ９Ａによって撮影された１フレーム分の画像に基づいて、撮像パラメータ調整部１８によって撮像パラメータの調整が行われる。そして、ここでの調整結果は、撮像パラメータ記憶部１９における第１記憶部１９Ａに記憶される。
【００９５】
次のフレームに移行すると、撮像パラメータの調整対象は第２イメージセンサ９Ｂとなり、その次のフレームに移行すると撮像パラメータの調整対象は第３イメージセンサ９Ｃとなる。そしてさらに次のフレームに移行すると、再び第１イメージセンサ９Ａが撮像パラメータの調整対象となる。この時、撮像パラメータ調整部１８は、撮像パラメータ記憶部１９における第１記憶部１９Ａから前回の撮像パラメータの調整結果を読み出して、第１イメージセンサ９Ａの撮像パラメータとして設定し、この状態で１フレーム分の画像を撮影する。その後、この１フレーム分の画像に基づいて、撮像パラメータ調整部１８によって撮像パラメータの調整が行われる。そして、ここでの調整結果が、撮像パラメータ記憶部１９における第１記憶部１９Ａに更新する形で記憶される。
【００９６】
以上のように、シーケンシャル動作方式の場合、ある１つのイメージセンサに着目すると、撮像パラメータの調整は３フレーム毎に１フレーム分の画像に基づいて行われることになる。通常、撮像パラメータの調整は、連続した数フレーム分の画像に基づいてフィードバック制御を行うことによって良好な状態に収束させることができるものであるので、基本的には数フレームを連続してパラメータ調整を行うことが望ましいといえる。しかしながら、上記の方式の場合、撮像パラメータの調整は３フレーム毎に行われるとともに、撮像パラメータ記憶部１９に記憶されている撮像パラメータを毎回読み出して調整を行うようにしているので、３フレームの間隔内でよほど大きな環境の変化がない限り、３フレーム毎の撮像パラメータ調整によって、十分良好な画像状態に調整することが可能となっている。
【００９７】
次に、上記の▲２▼外部指令動作方式について説明する。外部指令動作方式は、出力する画像を撮像するイメージセンサを、外部からの指令、例えば携帯端末４からの指令に基づいて切り替える方式である。この外部からの指令は、図１に示すワイヤレス送受信部１７で受信されてカメラ切替選択部２０に入力されるようになっている。
【００９８】
図８（ａ）は、撮像パラメータの調整対象とするイメージセンサのシーケンスを示している。同図に示すように、最初の状態では、第３イメージセンサ９Ｃが選択されており、４番目のフレームの途中において外部から第２イメージセンサ９Ｂに切り替える指令が入力されている。そしてこの指令に基づいて、５番目のフレームから撮像パラメータの調整対象とするイメージセンサを第２イメージセンサ９Ｂに切り替えている。その後、１８番目のフレームの途中において外部から第１イメージセンサ９Ａに切り替える指令が入力されており、１９番目のフレームから撮像パラメータの調整対象とするイメージセンサを第１イメージセンサ９Ａに切り替えている。
【００９９】
この場合の実際の画像出力におけるイメージセンサのシーケンスとしては、図８（ｂ）に示す方式例１と、図８（ｃ）に示す方式例２とが挙げられる。方式例１では、第３イメージセンサ９Ｃの撮像画像が出力されている状態で、第２イメージセンサ９Ｂの選択指令が入力された後の次のフレームから４フレーム分は、第３イメージセンサ９Ｃの撮像画像が出力されている。そして、第２イメージセンサ９Ｂの選択指令が入力された後の次のフレームから５フレーム目より第２イメージセンサ９Ｂの撮像画像が出力されるようになっている。
【０１００】
同様に、第２イメージセンサ９Ｂの撮像画像が出力されている状態で、第１イメージセンサ９Ａの選択指令が入力された後の次のフレームから４フレーム分は、第２イメージセンサ９Ｂの撮像画像が出力され、その次のフレームから第１イメージセンサ９Ａの撮像画像が出力されるようになっている。
【０１０１】
このように、方式例１では、外部からの選択指令が入力されてから数フレーム（上記の例では４フレーム）経過した時点で、選択指令によって選択されたイメージセンサの撮像画像を出力するように切り替えられるようになっている。そして、外部からの選択指令が入力されてから実際に出力が切り替えられるまでの間は、選択指令が入力された時点で選択されているイメージセンサの撮像画像が静止画として出力されるようになっている。
【０１０２】
前記したように、撮像パラメータの調整は、連続した数フレーム分の画像に基づいてフィードバック制御を行うことによって良好な状態に収束させることができるものである。すなわち、上記の方式では、外部からの選択指令が入力されてから調整期間として数フレーム経過した時点で画像出力の切替を行うことによって、切替後の出力画像を、撮像パラメータの調整が収束して良好な状態となったものとすることができる。
【０１０３】
なお、前記したシーケンシャル動作方式の場合には、上記のような調整期間を設けずに画像出力の切替を行っているが、これは、ある１つのイメージセンサに着目すると、３フレームごとに必ず撮像パラメータの調整が行われているので、１フレーム分の画像で十分に撮像パラメータ調整処理を完了することができるからである。これに対して、上記の外部指令動作方式では、基本的には、出力する画像を撮像するイメージセンサとして選択されていないイメージセンサに対しては、比較的長期間撮像パラメータの調整が行われないことになる。よって、このようなイメージセンサを選択する指令が行われた際には、上記のように、撮像パラメータの調整に数フレーム分必要となるので、図８（ｂ）に示すようなシーケンスにする必要が生じることになる。
【０１０４】
ここで、調整期間に出力される静止画について説明しておく。上記したように、選択指令が入力されると、次のフレームから撮像パラメータの調整対象とするイメージセンサが切り替えられることになる。すなわち、図１に示す切替部１０からサンプルホールド部１３に入力される画像信号は、切替後のイメージセンサの撮像画像となる。したがって、切替前に選択されていたイメージセンサによる撮像画像を、調整期間においてリアルタイムに出力することはできないことになる。そこで、切替の直前における切替前に選択されていたイメージセンサによる撮像画像を画像圧縮部１６におけるバッファに静止画像として蓄えておき、調整期間中はこの静止画像を繰り返し出力するようにしている。
【０１０５】
次に、図８（ｃ）に示す方式例２について説明する。方式例２は、基本的には方式例１と同様の画像出力を行うものであるが、異なる点としては、調整期間において画像の出力を行わない点である。
【０１０６】
詳しく説明すると、方式例１では、上記のように、調整期間中において、切替前に選択されていたイメージセンサによる撮像画像を静止画として出力し、撮像パラメータの調整処理が完了した時点で切替後に選択されるイメージセンサによる撮像画像を出力するようにしている。これに対して、方式例２では、選択指令が入力されると、次のフレームから４フレーム分は画像の出力を停止させ、撮像パラメータの調整処理が完了する５フレーム目から切替後に選択されるイメージセンサによる撮像画像を出力するようにしている。
【０１０７】
このように、方式例２によれば、実際の画像出力において、イメージセンサの切替が行われるごとに数フレーム分（上記の例では４フレーム分）の空白期間が生じることになる。しかしながら、調整期間において、方式例１のように静止画をバッファしておいてこれを繰り返し出力する、というような制御が不要となるので、制御の簡素化を図ることができるとともに、画像圧縮部１６に静止画一時記憶用のバッファ機能を設ける必要がないので、装置の簡素化も図ることができる。一方、方式例１によれば、上記のようなバッファ制御、静止画出力制御が必要となるが、出力される画像に空白期間が生じることなく、スムーズにイメージセンサの切替を行うことができる。
【０１０８】
次に、上記の▲２▼外部指令動作方式の別の実施例について説明する。この実施例では、出力する画像を撮像するイメージセンサを、外部からの指令に基づいて切り替えるとともに、選択されていないイメージセンサに関して定期的に撮像パラメータの調整処理を行うことを特徴としている。
【０１０９】
図９（ａ）は、この実施例における、撮像パラメータの調整対象とするイメージセンサのシーケンスを示している。同図に示すように、最初の状態では、第３イメージセンサ９Ｃが選択されており、４番目のフレームの途中において外部から第２イメージセンサ９Ｂに切り替える指令が入力されている。そしてこの指令に基づいて、５番目のフレームから撮像パラメータの調整対象とするイメージセンサを第２イメージセンサ９Ｂに切り替えている。
【０１１０】
そして、第２イメージセンサ９Ｂが選択されている期間において、所定の期間毎、図９（ａ）に示す例では４フレーム毎に、第１イメージセンサ９Ａおよび第３イメージセンサ９Ｃを撮像パラメータの調整対象とするイメージセンサとして設定している。同様に、第１イメージセンサ９Ａに切り替える指令が入力されると、その次のフレームから撮像パラメータの調整対象とするイメージセンサを第１イメージセンサ９Ａに切り替えるとともに、４フレーム毎に、第２イメージセンサ９Ｂおよび第３イメージセンサ９Ｃを撮像パラメータの調整対象とするイメージセンサとして設定している。
【０１１１】
このように、あるイメージセンサが選択されている期間においても、定期的に他のイメージセンサに対して撮像パラメータの調整を行うことによって、撮像パラメータ記憶部１９に記憶されている各イメージセンサの撮像パラメータの値をある程度調整された値に維持しておくことが可能となる。よって、イメージセンサの切替指令が行われた場合でも、比較的短い調整期間で撮像パラメータの調整制御を完了することが可能となる。
【０１１２】
図９（ｂ）は、この実施例での実際の画像出力におけるイメージセンサのシーケンスを示している。同図に示すように、例えば第２イメージセンサ９Ｂの選択指令が入力された後の次のフレームは第３イメージセンサ９Ｃの撮像画像が出力されているが、その次のフレームから第２イメージセンサ９Ｂの撮像画像が出力されている。すなわち、この実施例では、調整期間を１フレーム分の期間だけで済ましていることになる。
【０１１３】
なお、あるイメージセンサが選択されている期間において、他のイメージセンサの撮像パラメータの調整を行っているフレームタイミングでは、選択されているイメージセンサによる撮像画像をリアルタイムに出力することはできないことになる。したがって、このフレームタイミングでは、選択されているイメージセンサが直前に撮影した１フレーム分の画像を静止画として出力するようにする。すなわち、あるイメージセンサが選択されている期間中において、定期的に静止画像が差し挟まれて画像の出力が行われることになる。しかしながら、この静止画像が挿入される期間は２フレーム程度であるので、出力画像を動画として見た際に、著しく不自然な状態となることはない。
【０１１４】
また、図９（ｂ）に示す例では、例えば第２イメージセンサ９Ｂが選択されている期間において、第１イメージセンサ９Ａおよび第３イメージセンサ９Ｃを連続するフレームにおいて撮像パラメータ調整しているが、これらを分散させたタイミングとすることも可能である。具体的には、例えば第２イメージセンサ９Ｂを４フレーム期間で撮像パラメータ調整した後に、１フレーム期間で第１イメージセンサ９Ａの撮像パラメータ調整し、再び第２イメージセンサ９Ｂを４フレーム期間で撮像パラメータ調整した後に、１フレーム期間で第３イメージセンサ９Ｃの撮像パラメータ調整する、というようなシーケンスとしてもよい。この場合には、静止画像が挿入されるフレームをそれぞれ１フレームとすることができるので、ほとんど不自然さを感じさせない動画を出力することが可能となる。
【０１１５】
また、図９（ｂ）に示す例では、イメージセンサの切替指令が入力された後の１フレーム分の調整期間において、上記の方式例１のように、切替前に選択されていたイメージセンサによる静止画像を挿入するようになっているが、上記の方式例２のように、１フレーム分の調整期間には画像を出力しないようにしても構わない。
【０１１６】
（電子ＰＡＮ機能）
次に、本実施形態に係るマルチアレーカメラ１およびカメラマスタコントローラ２によって実現する電子ＰＡＮ機能について説明する。従来、いわゆるＰＡＮ機能は、カメラ自体の撮影方向を物理的に変化させることによって実現されていた。すなわち、例えばカメラを支持する雲台に、撮影方向を上下や左右に移動させるための電動駆動機構部を設けることによってＰＡＮ機能を実現していた。
【０１１７】
これに対して、本実施形態においては、ＰＡＮ機能を電子的に実現するようにしている。すなわち、物理的機械的に撮影方向を変化させるのではなく、撮影によって得られた画像データ内で仮想的にＰＡＮ機能を実現するようにしている。
【０１１８】
まず、各イメージセンサ９Ｘの撮像画像に基づいて合成画像を生成する方法について説明する。マルチアレーカメラ１が、図３および図５に示すような構成である場合、第１イメージセンサ９Ａによる撮像画像の右側端部領域と、第２イメージセンサ９Ｂによる撮像画像の左側端部領域とがほぼ同じ画像となっているとともに、第２イメージセンサ９Ｂによる撮像画像の右側端部領域と、第３イメージセンサ９Ｃによる撮像画像の左側端部領域とがほぼ同じ画像となる。これは、図５に示すように、各イメージセンサ９Ｘの撮像範囲が互いに左右方向で重なるように、各イメージセンサ９Ｘの撮影方向が設定されているからである。したがって、各イメージセンサ９Ｘの撮像画像を単純に左右方向に並べると、各撮像画像の境界部分で同じ画像が連続することになり、不自然な画像となる。
【０１１９】
そこで、図１０（ａ）に示すように、第１イメージセンサ９Ａ、第２イメージセンサ９Ｂ、および第３イメージセンサ９Ｃによる撮像画像をそれぞれ左右に並べるとともに、互いに隣り合う撮像画像において、ほぼ同じ撮像領域となっている画像部分を重ねて配置するようにする。そして、これらを合成することによって、図１０（ｂ）に示すように、各イメージセンサ９Ｘの撮像画像を１枚の合成画像に変換することができる。
【０１２０】
なお、互いに隣り合う撮像画像において、ほぼ同じ撮像領域となっている画像部分は、厳密にはそれぞれ異なる方向から撮影された画像であるので、若干異なる画像となっている。よって、合成する際には、重なり部分の画像に対して補正を行うことが好ましい。補正の方法としては、例えば対応する画素同士の平均値をとって合成画像とする方法などが考えられる。
【０１２１】
また、画素の位置に応じて、どちらの画像の影響を強くするかを規定する重み付けを設定して補正を行う方法なども考えられる。すなわち、例えば撮像画像Ａと撮像画像Ｂとの重なり部分を合成する場合、重なり部分において、撮像画像Ａに近い位置となる画素は、撮像画像Ａの画素の影響を強くする補正を行い、撮像画像Ｂに近い位置となる画素は、撮像画像Ｂの画素の影響を強くする補正を行う、というような補正演算が考えられる。このような補正によれば、重なり部分における連続性を自然な状態にすることができる。
【０１２２】
以上のような合成画像生成処理は、カメラマスタコントローラ２において行われる。すなわち、カメラマスタコントローラ２は、あるマルチアレーカメラ１から画像データをワイヤレス送受信部６によって受信すると、これを記憶部７に一時記憶する。この際に、マルチアレーカメラ１では、上記したシーケンシャル動作方式によって撮像画像の切替が行われているものとすると、記憶部７には、第１イメージセンサ９Ａ、第２イメージセンサ９Ｂ、および第３イメージセンサ９Ｃによる撮像画像が順次記憶されることになる。これらの撮像画像は画像処理部５によって読み出され、上記のような方法によって合成画像が生成される。そして、生成された合成画像は記憶部７に記憶される。
【０１２３】
次に、上記のようにして得られた合成画像に基づいて、電子ＰＡＮ機能を実現する方法について説明する。携帯端末４などの外部装置からカメラマスタコントローラ２に対して撮像画像の送信要求がなされると、記憶部７に記憶されている合成画像の中から、その一部領域の画像のデータが出力画像として送受信部８を介して該当外部装置に対して送信される。図１１は、合成画像と出力画像との関係を示している。
【０１２４】
ここで、出力画像のサイズについて説明する。例えば携帯端末４として携帯電話機を用いる場合、携帯電話機の表示画面のサイズは比較的小さいものであり、解像度としても比較的小さいものとなっている。したがって、例えば上記の合成画像全体を携帯端末４に送信しても、全体を表示させることはできず、また全体を表示させるために画像を縮小すると、画像内の撮影対象を詳細に把握することができないことになる。よって、出力画像のサイズは、送信先の表示性能に応じて適宜設定することが好ましい。
【０１２５】
以上のようにして、携帯端末４においてカメラマスタコントローラ２から出力画像を受信し、これを表示画面上に表示させることによって、携帯端末４の利用者は、マルチアレーカメラ１によって撮影された画像を確認することができる。ここで、利用者が、撮影範囲を右側に移動させたいと思った場合には、例えば携帯端末４のキーやボタンなどによって撮影範囲を右側に移動させる指示を入力し、この移動指示信号が通信経路を介してカメラマスタコントローラ２の送受信部８によって受信される。そして、カメラマスタコントローラ２は、記憶部７に記憶されている合成画像において、記憶部７のアドレスを制御することにより出力画像としての画像範囲を右側に移動させ、この画像範囲のデータを読み出して携帯端末４に対して送信する。この画像データを携帯端末４が受信して表示画面上に表示させると、先ほどの画像における撮像範囲よりも右側に移動した撮像範囲の画像が表示される。
【０１２６】
以上のような撮像範囲の移動指示を左右方向で行うことによって、あたかもカメラを連続的にパンニングさせて撮影を行っているかのような操作感を利用者に与えることができる。なお、上記では、撮像範囲の移動指示を左右方向で行う例を示したが、出力画像のサイズと比較して合成画像のサイズが上下方向にも大きい場合には、上下方向へのパンニングを行うことも可能となっていてもよい。
【０１２７】
上記のような電子ＰＡＮ機能によれば、従来であれば電動駆動機構部によって行われていたカメラの撮影方向を左右・上下に変化させる動作（いわゆるパン・チルト機能）を、機械的な動作を行うことなしに電子的に行うことが可能となる。よって、従来のような電動駆動機構部を設ける構成と比較して、装置コストを低減することが可能となり、信頼性、保守性を向上させることができるとともに、設置の自由度を高めることが可能となる。
【０１２８】
なお、本実施形態においては、電子ＰＡＮ機能を実現するために、合成画像の生成および出力画像の設定などの処理をカメラマスタコントローラ２が行うシステムとなっているが、これに限定されるものではなく、例えばマルチアレーカメラ１に電子ＰＡＮ機能のための処理部を設ける構成とすることも可能である。また、このような処理機能を図２に示すセンタシステム３に設けるようにしてもかまわない。
【０１２９】
【発明の効果】
以上のように、本発明に係る画像撮影装置は、入力された光を電気信号に変換する撮像素子と、上記撮像素子において得られた電気信号をデジタル画像データに変換する処理を行う撮像処理部とを備えた画像撮影装置であって、上記撮像素子を複数備えるとともに、上記複数の撮像素子のうちのいずれか１つの撮像素子を選択し、選択された撮像素子から出力される電気信号を上記撮像処理部に入力する切替処理部を備えている構成である。
【０１３０】
これにより、１つの画像撮影装置によって複数の箇所の撮影を行うために従来必要とされた電動駆動機構部を設ける構成と比較して、装置コストの低減、信頼性、保守性の向上、および、設置の自由度の向上を実現することができるという効果を奏する。
【０１３１】
また、本発明に係る画像撮影装置は、上記撮像処理部によって処理された画像データを、通信手段を介して外部の装置に送信する送信手段をさらに備えている構成としてもよい。
【０１３２】
これにより、上記の構成による効果に加えて、例えば画像撮影装置から遠く離れた場所において、画像撮影装置によって撮影された画像を確認することが可能となる。よって、例えば画像撮影装置を監視用途のカメラとして機能させることが可能となるという効果を奏する。
【０１３３】
また、本発明に係る画像撮影装置は、外部の装置から、通信手段を介して指令信号を受信する受信手段をさらに備え、上記受信手段によって受信された指令信号に基づいて、上記切替処理部による撮像素子の選択が行われる構成としてもよい。
【０１３４】
これにより、上記の構成による効果に加えて、外部の装置を用いて撮影画像を確認する利用者は、所望とする領域を撮影している撮像素子を選択して、その撮像素子によって撮影されている画像を見ることが可能となる。よって、利用者は、所望とするタイミングで、所望とする領域の撮影画像を確認することが可能となるという効果を奏する。
【０１３５】
また、本発明に係る画像撮影装置は、選択する撮像素子を所定の間隔で順次切り替える指示信号を出力する撮像素子切替カウンタをさらに備えており、上記切替処理部が、上記撮像素子切替カウンタからの指示信号に従って選択する撮像素子を切り替える構成としてもよい。
【０１３６】
これにより、上記の構成による効果に加えて、各撮像素子によって撮影されている画像が順次切り替えられた画像を利用者は確認することができる。したがって、利用者は何らかの指示を行うことなく、複数の撮像素子によって撮影されている領域を順次確認していくことが可能となり、例えば監視用途などにおいて有効に機能させることができるという効果を奏する。
【０１３７】
また、本発明に係る画像撮影装置は、上記撮像素子における撮像パラメータを、上記撮像処理部によって得られる画像データに基づいて調整する撮像パラメータ調整部と、上記撮像パラメータ調整部によって調整された撮像パラメータを、各撮像素子ごとに記憶する撮像パラメータ記憶部とをさらに備えた構成としてもよい。
【０１３８】
これにより、上記の構成による効果に加えて、前回の調整時から撮影環境が大きく変化していなければ、少ないフレーム分の画像によってパラメータ調整を完了することが可能となるので、撮像パラメータの調整にかかる時間を短くすることが可能となるという効果を奏する。
【０１３９】
また、本発明に係る画像撮影装置は、上記撮像素子における撮像パラメータを、上記撮像処理部によって得られる画像データに基づいて調整する撮像パラメータ調整部をさらに備え、上記切替処理部によって撮像素子の切り替えが行われた時点から所定の期間後から、上記撮像処理部が、切り替え後に選択された撮像素子によって撮像された画像データを出力する構成としてもよい。
【０１４０】
これにより、上記の構成による効果に加えて、撮像素子の切り替えが行われた際に、撮像パラメータの調整が完了していない状態の撮像画像が出力されることを防止することができるという効果を奏する。
【０１４１】
また、本発明に係る画像撮影装置は、上記切替処理部によって撮像素子の切り替えが行われた時点から所定の期間内では、上記撮像処理部は、切り替え前に選択されていた撮像素子によって撮像された画像データを出力する構成としてもよい。
【０１４２】
これにより、上記の構成による効果に加えて、出力される画像に空白期間が生じることなく、スムーズに撮像素子の切替を行うことが可能となるという効果を奏する。
【０１４３】
また、本発明に係る画像撮影装置は、上記切替処理部によって特定の撮像素子が選択され続けている際に、上記切替処理部が、所定の期間毎に、選択されていない撮像素子を一時的に選択する構成としてもよい。
【０１４４】
これにより、上記の構成による効果に加えて、選択されていない撮像素子に関しても、定期的に撮像パラメータ調整を行うことが可能となるので、撮像パラメータ記憶部に記憶されている各撮像素子の撮像パラメータの値をある程度調整された値に維持しておくことが可能となる。よって、撮像素子の切替が行われた場合でも、比較的短い調整期間で撮像パラメータの調整制御を完了することが可能となるという効果を奏する。
【０１４５】
また、本発明に係る画像撮影システムは、上記本発明に係る画像撮影装置と、上記画像撮影装置から出力された画像データを入力して画像処理を行う制御装置とを備え、上記制御装置が、上記画像撮影装置が備える上記複数の撮像素子によって撮像された各画像データを１つの合成画像に合成する処理を行う構成である。
【０１４６】
これにより、画像撮影装置があたかも広い範囲の撮影が可能な撮影装置として機能しているかのような画像を出力することが可能となるという効果を奏する。
【０１４７】
また、本発明に係る画像撮影システムは、上記制御装置が、処理された画像データを、通信手段を介して外部の装置に送信する送信手段を備えているとともに、上記合成画像のうちの一部の画像領域の画像データを、上記外部の装置に送信する構成としてもよい。
【０１４８】
これにより、上記の構成による効果に加えて、画像データのサイズを必要最小限とすることによって、通信時間の短縮を図ることができるとともに、通信コストを抑制することが可能となるという効果を奏する。
【０１４９】
また、本発明に係る画像撮影システムは、外部の装置から、通信手段を介して指令信号を受信する受信手段をさらに備え、上記受信手段によって受信された指令信号に基づいて、送信する画像領域の位置が変更される構成としてもよい。
【０１５０】
これにより、上記の構成による効果に加えて、画像撮影装置自体には、物理的に撮影方向を変化させる機能を持たせることなく、同等の機能を電子的に実現することが可能となるという効果を奏する。
【図面の簡単な説明】
【図１】本発明の一実施形態に係るマルチアレーカメラの構成を示すブロック図である。
【図２】本発明の一実施形態に係る遠隔撮影システムの概略構成を示すブロック図である。
【図３】上記マルチアレーカメラの外観の概略を示す斜視図である。
【図４】上記マルチアレーカメラが備えるイメージセンサの外観の概略を示す斜視図である。
【図５】上記マルチアレーカメラが備えるイメージセンサアレーユニットを上方向から見た際の構成および各イメージセンサによる撮像範囲を示す図である。
【図６】フレーム同期信号の波形、切替指令の入力タイミング、および画像出力のタイミングをそれぞれ示すタイミングチャートである。
【図７】同図（ａ）および同図（ｂ）は、シーケンシャル動作方式において、各フレームに対応するイメージセンサのシーケンスの例を示しており、同図（ａ）は撮像パラメータの調整対象とするイメージセンサのシーケンスを示す図であり、同図（ｂ）は実際の画像出力におけるイメージセンサのシーケンスを示す図である。
【図８】同図（ａ）ないし同図（ｃ）は、外部指令動作方式において、各フレームに対応するイメージセンサのシーケンスの例を示しており、同図（ａ）は撮像パラメータの調整対象とするイメージセンサのシーケンスを示す図であり、同図（ｂ）は方式例１による実際の画像出力におけるイメージセンサのシーケンスを示す図であり、同図（ｃ）は、方式例２による実際の画像出力におけるイメージセンサのシーケンスを示す図である。
【図９】同図（ａ）および同図（ｂ）は、外部指令動作方式の別の実施例において、各フレームに対応するイメージセンサのシーケンスの例を示しており、同図（ａ）は撮像パラメータの調整対象とするイメージセンサのシーケンスを示す図であり、同図（ｂ）は実際の画像出力におけるイメージセンサのシーケンスを示す図である。
【図１０】同図（ａ）は、各イメージセンサによる撮像画像をそれぞれ左右に並べるとともに、互いに隣り合う撮像画像において、ほぼ同じ撮像領域となっている画像部分を重ねて配置するようにした状態を示す図であり、同図（ｂ）は、同図（ａ）の状態に基づいて生成される合成画像を示す図である。
【図１１】合成画像内に設けられる出力画像領域の例を示す図である。
【符号の説明】
１　　マルチアレーカメラ（画像撮影装置）
２　　カメラマスタコントローラ（制御装置）
３　　センタシステム
４　　携帯端末
５　　画像処理部
６　　ワイヤレス送受信部
７　　記憶部
８　　送受信部（送信手段・受信手段）
９　　イメージセンサアレーユニット
９Ａ　第１イメージセンサ（撮像素子）
９Ｂ　第２イメージセンサ（撮像素子）
９Ｃ　第３イメージセンサ（撮像素子）
９Ｄ　支持基盤
１０　　切替部
１５　　画像信号送出切替部
１７　　ワイヤレス送受信部（送信手段・受信手段）
１８　　撮像パラメータ調整部
１９　　撮像パラメータ記憶部
２０　　カメラ切替選択部
２１　　カメラ切替カウンタ（撮像素子切替カウンタ）
２２　　カメラ切替指令部
２３　　撮像調整・送出切替制御部[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to an image capturing apparatus and an image capturing system used for, for example, a surveillance camera.
[0002]
[Prior art]
2. Description of the Related Art Conventionally, in companies, stores, houses, and the like, monitoring systems that monitor indoor and outdoor abnormalities using a monitoring device including an image sensor (surveillance camera) have been put to practical use. As such a monitoring system, there is a system including a monitoring device installed at a plurality of locations, and a monitoring server that centrally manages the monitoring devices. In this monitoring system, image information captured by each monitoring device is transmitted to a monitoring server via a communication network, and the monitoring server determines whether there is an abnormality. There is also a system in which this monitoring server is connected to a central management server installed in, for example, a security company via a wide-area communication network. In the case of such a system, it is possible for the security company to grasp the monitoring status of each monitoring device based on the information transmitted from each monitoring server.
[0003]
In recent years, the display performance of a mobile phone has been improved, and an image such as a photograph can be displayed on a display screen of the mobile phone. Therefore, in the above-described monitoring system, a usage form in which an image captured by a monitoring camera is transferred to a mobile phone and the image is displayed on a display screen of the mobile phone is becoming widespread. According to such a system, for example, when the user is out of the office and wants to check the state of the room while away, the image captured by the surveillance camera installed in the room is transferred to the mobile phone By giving the instruction to perform the monitoring, the monitoring image can be confirmed on the mobile phone.
[0004]
Also, in the above example, a surveillance camera is used for security purposes such as crime prevention, but for example, the state of a pet while away is taken with a surveillance camera, and the owner who is out is displayed on the display screen of the mobile phone in real time. There is also proposed a usage form such as confirmation. That is, it is expected that the use of monitoring an image captured by a video camera in an unmanned state at a remote place will be further broadened in the future with the progress of communication network technology.
[0005]
[Problems to be solved by the invention]
In the above-mentioned video camera, there are two approaches to capture the situation of the target site as widely as possible. One is a method of setting a lens of a video camera to have a wide viewing angle to widen a shooting range. With this method, the shooting range can be widened, but the object to be shot becomes relatively small in the shot image, and sufficient image information can be obtained when it is necessary to grasp the shooting target in detail. There is a problem that can not be. Further, for example, a configuration using a fish-eye lens or the like can be considered in order to further expand the photographing range. However, such a lens having a wide viewing angle is relatively expensive, and there is a problem that the price of the video camera is increased.
[0006]
Therefore, as a second method, there is a method of providing a video camera with an electric drive mechanism for moving the shooting direction up and down or left and right. In the case of this method, a wide range of photographing is realized by changing the photographing direction without increasing the viewing angle of the video camera itself. Therefore, the size of the object to be photographed in the photographed image can be made relatively large, so that sufficient image information on the photographing object can be obtained.
[0007]
However, when an electric drive mechanism for changing the shooting direction of the video camera is provided, the following problem occurs. First, since the electric drive mechanism requires the configuration of an electric motor, a drive transmission mechanism, a support member, and the like, there is a problem that the outer shape of the video camera unit becomes relatively large. In addition, the cost is increased due to the addition of such a configuration. Furthermore, the existence of a drive mechanism that operates mechanically causes problems such as a decrease in reliability due to mechanical factors, a problem of life due to abrasion, and a need for maintenance such as oil supply to sliding parts. There is a problem that the installation location is limited with the rotation of the video camera.
[0008]
Japanese Patent Application Laid-Open No. 5-48938 discloses a panoramic video camera that splits incident light using a prism and receives the light using a plurality of image sensors. Japanese Patent Application Laid-Open Nos. 2002-58669 and 10-201758 disclose a panoramic X-ray imaging apparatus having a configuration in which a plurality of CCD sensors are vertically arranged.
[0009]
SUMMARY OF THE INVENTION The present invention has been made to solve the above problems, and an object of the present invention is to provide an image capturing apparatus capable of reducing the apparatus cost, improving reliability and maintainability, and performing wide area image capturing. An apparatus and an image capturing system are provided.
[0010]
[Means for Solving the Problems]
In order to solve the above-described problem, an image capturing apparatus according to the present invention includes an image pickup device that converts input light into an electric signal, and a process that converts an electric signal obtained by the image pickup device into digital image data. An image capturing apparatus comprising: an image processing unit that performs an image processing operation. The image capturing apparatus includes a plurality of the image sensors, selects one of the plurality of the image sensors, and outputs the selected image sensor. The image processing apparatus further includes a switching processing unit that inputs an electric signal to the imaging processing unit.
[0011]
In the above configuration, while a plurality of imaging elements are provided, the imaging processing unit is provided so as to be sharable. Then, an image captured by the image sensor selected by the switching processing unit is processed by the imaging processing unit. According to such a configuration, a plurality of imaging devices are installed so as to be able to capture images in different spaces, and these imaging devices are appropriately switched to be processed by the imaging processing unit. It is possible to provide captured images of a plurality of locations.
[0012]
Here, in the related art, when photographing a plurality of locations by one image photographing apparatus, as described above, the image photographing apparatus is provided with an electric drive mechanism for realizing a so-called PAN function, and In such a case, the photographing direction was changed. This is because, as imaging components for capturing an image, there are a lens group, a diaphragm, an imaging unit such as a CMOS type imaging device (or CCD), an imaging tube, and the like. Because it was expensive. However, in recent years, imaging devices such as CCDs have become dramatically inexpensive due to technological advances and increased demand, and the cost of providing a plurality of such imaging devices in one image photographing apparatus has been increasing. The rise has been insignificant. Therefore, providing a plurality of image sensors can provide a much lower apparatus cost than providing an electric drive mechanism.
[0013]
Further, as described above, since the electric drive mechanism requires the configuration of the electric motor, the drive transmission mechanism, the support member, and the like, the external size of the image photographing apparatus itself has been relatively large. On the other hand, according to the configuration of the present invention, the number of constituent members is increased in that a plurality of imaging elements are provided and a switching processing unit is provided. Is insignificant. That is, assuming that a CCD image sensor, a CMOS image sensor, or the like is used as an image sensor, an image sensor having an extremely small outer size can be obtained at a necessary and sufficient performance at a low cost. Further, since the switching processing unit can be realized by an electronic circuit such as an IC, its external size is relatively small.
[0014]
In addition, when the electric drive mechanism is provided, as described above, the presence of the drive mechanism that operates mechanically causes a problem of a decrease in reliability due to mechanical factors, a problem of a life due to abrasion, and a sliding portion. However, according to the configuration of the present invention, since there is no mechanically operated portion, all of these problems can be solved.
[0015]
As described above, according to the configuration of the present invention, the cost of the apparatus can be reduced as compared with the configuration in which the electric drive mechanism unit conventionally required for photographing a plurality of locations by one image photographing apparatus is required. Thus, it is possible to improve reliability, maintainability, and the degree of freedom of installation.
[0016]
In addition, the image photographing apparatus according to the present invention may be configured such that the image photographing apparatus further includes a transmission unit that transmits the image data processed by the imaging processing unit to an external device via a communication unit. .
[0017]
According to the above configuration, the image data obtained by the photographing can be transmitted to an external device via the communication unit. Therefore, for example, at a location far from the image photographing device, the image data is captured by the image photographing device. It is possible to confirm the image that has been obtained. Therefore, for example, it is possible to make the image photographing device function as a camera for monitoring use.
[0018]
Further, the image photographing apparatus according to the present invention, in the above configuration, further includes a receiving unit that receives a command signal from an external device via a communication unit, based on the command signal received by the receiving unit, A configuration may be adopted in which the selection of the imaging element is performed by the switching processing unit.
[0019]
According to the above configuration, it is possible to instruct the selection of the imaging device from an external device that receives the captured image, so that the user who checks the captured image using the external device can select a desired area. It is possible to select an image sensor that is shooting an image and see an image shot by the image sensor. Therefore, the user can check the photographed image of the desired area at the desired timing.
[0020]
Further, the image capturing apparatus according to the present invention, in the above configuration, further includes an image sensor switching counter that outputs an instruction signal for sequentially switching an image sensor to be selected at predetermined intervals. The configuration may be such that the image sensor to be selected is switched according to an instruction signal from the element switching counter.
[0021]
According to the above configuration, the switching processing unit sequentially switches the image sensors at predetermined intervals in accordance with an instruction from the image sensor switching counter, so that the user can use the image in which the images captured by each image sensor are sequentially switched. You can check. Therefore, the user can sequentially confirm the area photographed by the plurality of image sensors without giving any instruction, and can effectively function in, for example, a monitoring application.
[0022]
Further, in the image capturing apparatus according to the present invention, in the above configuration, the imaging parameter adjustment unit that adjusts an imaging parameter in the imaging element based on image data obtained by the imaging processing unit, and the imaging parameter adjustment unit An imaging parameter storage unit that stores the adjusted imaging parameter for each imaging element may be further provided.
[0023]
When adjusting an imaging parameter in an image sensor based on data of an image photographed by the image sensor, parameter adjustment cannot be completed sufficiently with only one frame of image data. Is repeatedly adjusted by the feedback control method, it is possible to set a good parameter value. Here, as described above, the adjustment result is stored in the imaging parameter storage unit for each imaging element, and when a certain imaging element is selected, the stored imaging parameter is read out and set as a default. If the control for setting the value is performed, the parameter adjustment can be completed with a small number of frames of images if the shooting environment has not changed significantly since the previous adjustment. That is, according to the above configuration, it is possible to shorten the time required for adjusting the imaging parameters.
[0024]
Further, the image capturing apparatus according to the present invention, in the above configuration, further includes an imaging parameter adjustment unit that adjusts an imaging parameter in the imaging element based on image data obtained by the imaging processing unit, and the switching processing unit The imaging processing unit may output image data captured by the imaging device selected after the switching, after a predetermined period from the time when the switching of the imaging device is performed.
[0025]
In the above configuration, when the imaging device is switched, an electric signal output from the imaging device selected after the switching is input to the imaging processing unit. Then, the imaging parameter adjustment unit adjusts the imaging parameters of the selected imaging device based on the digital image data generated by the imaging processing unit. Here, immediately after the switching of the image sensor, image data captured by the image sensor selected after the switching is not output from the imaging processing unit, but is output after a predetermined period has elapsed from the time when the switching was performed. It has become.
[0026]
For example, if image data captured by the selected image sensor is to be output immediately after switching, the output image is in a bad image state in which adjustment by the imaging parameter adjustment unit has not been completed. Has become. On the other hand, if the image data captured by the selected image sensor is output after a predetermined period has elapsed from the switching time as in the configuration of the present invention, the Since the adjustment by the parameter adjustment unit can be completed, the output image is in a good image state.
[0027]
That is, according to the above configuration, it is possible to prevent a captured image in a state where adjustment of the imaging parameters has not been completed from being output when the image sensor is switched.
[0028]
Further, in the image photographing apparatus according to the present invention, in the above configuration, within a predetermined period from the time when the switching of the image sensor is performed by the switching processing unit, the imaging processing unit is selected before the switching. It may be configured to output image data picked up by the image pickup device.
[0029]
According to the above configuration, image data captured by the imaging device selected before the switching is output within a predetermined period from the time when the switching of the imaging device is performed. It is possible to smoothly switch the imaging device without causing a blank period in the image.
[0030]
Further, in the image photographing apparatus according to the present invention, in the above configuration, when a specific image sensor is continuously selected by the switching processing unit, the switching processing unit is not selected every predetermined period. A configuration in which an image sensor is temporarily selected may be adopted.
[0031]
According to the above configuration, even when a specific image sensor is continuously selected, another image sensor is temporarily temporarily selected. As described above, when another imaging device is temporarily selected, the imaging parameter of the imaging device is adjusted by the imaging parameter adjustment unit, and the adjusted parameter is stored in the imaging parameter storage unit. . Therefore, even when the specific imaging device is continuously selected for a long period of time and is switched to another imaging device, the imaging parameter storage unit that stores the results of the imaging parameter adjustment performed regularly is stored. It is possible to read out the imaging parameters relating to the imaging device and reflect the read out imaging parameters on the switched imaging device.
[0032]
That is, it is possible to periodically perform the imaging parameter adjustment for the image sensor that is not selected, so that the value of the imaging parameter of each image sensor stored in the imaging parameter storage unit is adjusted to a value adjusted to some extent. It can be maintained. Therefore, even when the imaging device is switched, the adjustment control of the imaging parameter can be completed within a relatively short adjustment period.
[0033]
Further, an image photographing system according to the present invention includes the image photographing device according to the present invention, and a control device that performs image processing by inputting image data output from the image photographing device, wherein the control device includes: It is characterized in that processing is performed to combine each image data captured by the plurality of image sensors provided in the image capturing device into one composite image.
[0034]
According to the above configuration, each image data captured by the plurality of image sensors included in the image capturing device is combined into one combined image by the control device. Here, if the imaging ranges of the respective imaging elements are set so as to overlap each other at the ends, the combined image is an image of the range obtained by adding the imaging ranges of the respective imaging elements. That is, the composite image in this case is an image obtained by photographing a relatively wide range. Therefore, it is possible to output an image as if the image photographing device functions as a photographing device capable of photographing a wide range.
[0035]
Further, in the image photographing system according to the present invention, in the above-described configuration, the control device includes a transmission unit that transmits the processed image data to an external device via a communication unit, and the combined image includes The image data of some of the image areas may be transmitted to the external device.
[0036]
According to the above configuration, image data of a partial image area of the composite image is transmitted to an external device. Here, the size of the image data to be transmitted can be minimized by adjusting the size of the image area to be transmitted to the size required on the external device side, for example, the size of the display screen. For example, in the case of a terminal device such as a mobile phone as the external device of the transmission destination, the communication speed is often relatively low. Therefore, by minimizing the size of the image data as necessary as in the above configuration, the communication time can be reduced and the communication cost can be suppressed.
[0037]
Further, the image photographing system according to the present invention, in the above configuration, further comprising a receiving unit for receiving a command signal via a communication unit from an external device, based on the command signal received by the receiving unit, The position of the image area to be transmitted may be changed.
[0038]
According to the above configuration, an external device can issue an instruction to change the position of the image area to be transmitted in the composite image. Therefore, the user who operates the external device obtains an operation feeling as if performing an operation of changing the shooting direction of the image shooting device, for example, panning, etc., by giving an instruction to change the position of the image area. be able to. That is, it is possible to electronically realize the same function without giving the image photographing apparatus itself a function of physically changing the photographing direction.
[0039]
BEST MODE FOR CARRYING OUT THE INVENTION
One embodiment of the present invention will be described below with reference to FIGS.
[0040]
(System configuration)
FIG. 2 is a block diagram illustrating a schematic configuration of the remote imaging system according to the present embodiment. As shown in FIG. 1, the remote photographing system includes a multi-array camera (image photographing device) 1, a camera master controller (control device) 2, a center system 3, and a portable terminal 4.
[0041]
The multi-array camera 1 is a camera unit that includes a plurality of image sensors and appropriately switches and outputs images captured by each image sensor. Details of the multi-array camera 1 will be described later.
[0042]
The camera master controller 2 is a controller that receives image data from a plurality of multi-array cameras 1, and switches these image data as appropriate to output to the center system 3. The camera master controller 2 includes an image processing unit 5, a wireless transmission / reception unit 6, a storage unit 7, and a transmission / reception unit (transmission means / reception means) 8.
[0043]
When transmitting image data sent from the multi-array cameras 1 to the center system 3, the image processing unit 5 performs this processing when it is necessary to perform image synthesis processing (details will be described later). It is a block. The image processing unit 5 is realized by, for example, a CPU (Central Processing Unit) executing an image processing program.
[0044]
The wireless transmission / reception unit 6 corresponds to a communication interface for performing wireless communication with the multi-array cameras 1. Specific examples of wireless communication include wireless LAN, Bluetooth (registered trademark), and infrared communication. In this embodiment, the communication between the camera master controller 2 and the multi-array cameras 1... Is wireless. However, by using wireless communication, it is possible to improve the degree of freedom in the installation location of the multi-array cameras 1.
[0045]
The storage unit 7 temporarily stores image data sent from the multi-array cameras 1..., And is configured by a recording medium such as a RAM (Random Access Memory), a flash memory, and a hard disk drive. The image processing unit 5 performs an image synthesis process based on the image data stored in the storage unit 7.
[0046]
The transmission / reception unit 8 functions as a communication interface when communicating with the center system 3. The communication mode here includes, for example, communication via a public telephone network and the Internet, but is not particularly limited, and any communication mode that enables long-distance data communication is available. Is also good. Since it is assumed that the transmitted and received image data has private contents, when performing communication via the Internet, for example, the image data is subjected to encryption processing or a VPN (Virtual Private Network) is used. It is preferable to adopt a method that can ensure the security of data communication such as dropping.
[0047]
The center system 3 supervises and manages the remote photographing system according to the present embodiment, and includes a server computer and the like. Although only one camera master controller 2 is shown in FIG. 2, a large number of camera master controllers 2 are actually connected to the center system 3 by communication. Similarly, only one mobile terminal 4 is shown in the figure, but a large number of mobile terminals 4 are actually connected to the center system 3. The center system 3 has a function of appropriately connecting each mobile terminal 4 and each camera master controller 2 and mediating data transmission and reception.
[0048]
Note that the center system 3 can also function as a monitoring server. That is, the processing in the monitoring server includes, for example, processing for storing received image data, processing for activating an alarm when an abnormality occurs, and processing for communication. In this case, the center system 3 may be further connected to a central management server installed in a security company, for example, via a wide-area communication network. In the case of such a configuration, it is possible for the security company to grasp the monitoring status of each imaging device by the information transmitted from each center system 3, and for example, it is possible to perform security while away from home.
[0049]
The mobile terminal 4 functions as an operation terminal in the remote imaging system, and is configured by a mobile phone or the like carried by each user. The user connects to the center system 3 via the mobile terminal 4 for communication, specifies the multi-array camera 1 to be operated, performs a desired operation, and receives an image captured by the multi-array camera 1 to display the screen. Will be displayed above. The mobile terminal 4 is not limited to the above-described mobile phone, but may be a terminal device that can be carried by a user, such as a PDA (Personal Digital Assistant) terminal. In addition, the present invention is not limited to a portable terminal, but may be a terminal device provided at a position distant from the place where the multi-array camera 1 is installed, for example, a normal PC (Personal Computer).
[0050]
As described above, in the remote imaging system according to the present embodiment, the user uses the mobile terminal 4 to control the imaging of a remote location where the multi-array camera 1 is installed, and It is a system that allows the terminal 4 to check. In the above system example, the mediation of communication is performed by the center system 3. However, the mobile terminal 4 directly accesses the camera master controller 2 to perform a shooting control instruction and a shooting image. It may be a system. In this case, for example, the camera master controller 2 has an IP address on the Internet, and the portable terminal 4 accesses the camera master controller 2 by specifying the IP address. Recently, IPv6 has been put to practical use, and setting an IP address for each camera master controller 2 has become practical.
[0051]
(Configuration of multi-array camera)
Next, the configuration of the multi-array camera 1 will be described. FIG. 3 is a perspective view schematically showing the appearance of the multi-array camera 1. As shown in the figure, the multi-array camera 1 has a configuration in which an image sensor array unit 9 is provided inside a housing 24.
[0052]
The image sensor array unit 9 includes a first image sensor (image sensor) 9A, a second image sensor (image sensor) 9B, and a third image sensor (image sensor) 9C. In the following, the first image sensor 9A, the second image sensor 9B, and the third image sensor 9C will be referred to as an image sensor 9X unless it is particularly necessary to distinguish them.
[0053]
The image sensor 9X includes a lens group, an aperture, an imager, and the like. In recent years, a compact integration of these components has been put to practical use, and the present embodiment also uses such an integrated image sensor 9X. The lens group is for guiding external light onto the imager, and the focal length and the viewing angle are determined by setting the lens group. The stop adjusts the amount of external light guided onto the imager, and the depth of field and the like are determined by setting the stop amount.
[0054]
The imager converts input light into an electric signal, and includes a CCD (Charge Coupled Device), a CMOS image sensor, and the like. In the present embodiment, a CMOS image sensor is used as the imager, but any device having a similar function may be used. For example, a CCD image sensor may be used.
[0055]
Further, a window 25 is provided in the housing 24, and each image sensor 9 </ b> X receives light from the outside via the window 25. As described above, the configuration in which the image sensor array unit 9 is disposed in the housing 24 can prevent problems such as contamination and scratches on the lens surface of the image sensor 9X. it can.
[0056]
FIG. 4 is a perspective view schematically showing the appearance of the image sensor 9X. As shown in the drawing, the image sensor 9X used in the present embodiment is about 2.5 mm and 3.75 mm in both the vertical and horizontal directions, and has a thickness of about 2 mm including the lens portion. As described above, since the external size of the image sensor 9X is relatively small, the external size of the multi-array camera 1 itself shown in FIG. 3 is also considerably small. Specifically, for example, several cm 3 The multi-array camera 1 having a small external volume can be configured.
[0057]
Thus, the external size of the multi-array camera 1 of the present embodiment is considerably smaller than, for example, a conventional video camera for surveillance use. Therefore, the degree of freedom regarding the installation location is considerably large, and the user can install the multi-array camera 1 at various locations.
[0058]
Further, in recent years, the price of CCDs and the like constituting image sensors has been remarkably reduced due to advances in technology and increased demand. That is, since the device cost of the multi-array camera 1 is relatively low, it is easy to install a plurality of multi-array cameras 1 in terms of cost.
[0059]
FIG. 5 is a diagram illustrating a configuration when the image sensor array unit 9 is viewed from above, and an imaging range of each image sensor 9X. As shown in the figure, the first image sensor 9A, the second image sensor 9B, and the third image sensor 9C are respectively mounted on a support substrate 9D. Then, the shape of the support base 9D is set such that the first image sensor 9A, the second image sensor 9B, and the third image sensor 9C have different imaging directions.
[0060]
In the example shown in FIG. 5, the shooting direction of each image sensor 9X is the same direction in the up-down direction (the front-back direction in FIG. 5) and the shooting direction in the left-right direction (up-down direction in FIG. 5). Are set to be in different directions. The shooting directions of the image sensors 9X are set such that the imaging ranges of the image sensors 9X overlap with each other in the left and right end regions. That is, according to the image sensor array unit 9 shown in FIG. 5, taking into account the entire imaging range of each image sensor 9X, it is possible to perform wide-angle shooting in the left-right direction.
[0061]
In the image sensor array unit 9, the imaging directions of the image sensors 9X may be set to completely different directions, that is, the imaging ranges may not overlap at all.
[0062]
Further, in the present embodiment, an example in which three image sensors 9X are provided in the multi-array camera 1 is shown, but the present invention is not limited to this, and the image sensor 9X provided in one multi-array camera 1 is not limited to this. May be any number. Further, in the present embodiment, the image sensor 9X provided in the multi-array camera 1 has a configuration in which a plurality of image sensors 9X are arranged in the horizontal direction. However, for example, a configuration in which these are arranged in the vertical direction may be adopted. Alternatively, a configuration may be adopted in which a plurality of pieces are arranged in the horizontal and vertical directions.
[0063]
In FIG. 5, the support substrate 9D has a shape such that the imaging direction of each image sensor 9X is set to a predetermined direction, but the shape of the support substrate 9D can be changed. Is also good. For example, in the support base 9D, the portions where the image sensors 9X are provided may be provided as separate partial substrates, and the angle of the surface of each partial substrate may be adjustable by the user. By doing so, it is possible to widen or narrow the imaging range of all the image sensors 9X according to the user's request. If it is possible to freely change the direction of the surface of each partial substrate up, down, left, and right, it is possible to set the photographing direction of each image sensor 9X to a completely different direction according to the user's request. It becomes possible.
[0064]
Next, the internal configuration of the multi-array camera 1 will be described. FIG. 1 is a block diagram illustrating a configuration of a multi-array camera 1 according to the present embodiment. As shown in FIG. 1, the multi-array camera 1 is roughly divided into an imaging unit that performs actual imaging, an imaging processing unit that processes imaging data obtained by the imaging unit and performs transmission processing, and adjusts imaging. An imaging adjustment unit and a switching processing unit that performs a camera switching process are provided.
[0065]
As the imaging unit, the above-described first image sensor 9A, second image sensor 9B, and third image sensor 9C are provided.
[0066]
The imaging processing unit includes a timing generator 11, a synchronization generator 12, a sample and hold unit 13, an A / D converter 14, an image signal transmission switching unit 15, an image compression unit 16, and a wireless transmission / reception unit (transmission means / reception means) 17. Is provided.
[0067]
The sample hold unit 13 is a block for temporarily holding image data as an analog signal captured by the image capturing unit on a sample basis. The sample hold unit 13 is provided for the following reason. Image data as an analog signal captured by the imaging unit is converted into a digital signal by the A / D converter 14 at the subsequent stage. Generally, an A / D converter requires a certain amount of time to perform A / D conversion of one sample. Therefore, when the value of the input signal greatly changes during conversion, a correct digital signal cannot be obtained. Therefore, a circuit that holds the value of the input signal when the A / D conversion is started until the A / D conversion of one sample is completed is required. The sample and hold unit 13 performs this function.
[0068]
The A / D converter 14 is a block that converts image data as an analog signal captured by the imaging unit into a digital signal. As a result, image data as digital data can be obtained, and digital compression processing by the image compression unit 16 at the subsequent stage and digital data communication by the wireless transmission / reception unit 17 at the subsequent stage can be performed.
[0069]
The synchronization generator 12 is a block that generates a synchronization clock that is basic in performing an imaging process. Further, the timing generator 11 defines each operation timing in the image sensor 9X, the sample hold unit 13, the A / D converter 14, and the camera switching selection unit 20 (described later) based on the synchronization clock generated by the synchronization generator 12. This is a block for generating a timing signal. The image sensor 12, the sample-and-hold unit 13, the A / D converter 14, and the camera switching selecting unit 20 operate based on the timing signal, thereby processing from image capture to A / D conversion, and camera switching described later. Processing will be performed accurately without errors.
[0070]
The image signal transmission switching unit 15 determines which image sensor 9X has captured the image data currently input from the A / D converter 14, and adds the image data of the image sensor 9X to the header portion of the image data. A process for embedding information and sending the information to the image compression unit 16 is performed. The image signal transmission switching unit 15 receives a signal from an imaging adjustment / transmission switching control unit 23, which will be described later. Based on this signal, the image data currently input from the A / D converter 14 is It is determined by which image sensor 9X the image was taken.
[0071]
The image compression section 16 is a block that compresses digital image data input from the image signal transmission switching section 15. This data compression processing is performed by, for example, executing a program including a data compression algorithm on an arithmetic processing unit including, for example, a CPU (Central Processing Unit) and a RAM (Random Access Memory), or a DSP (Digital Signal Processor). Is achieved. By this data compression processing, the data size of the image data to be transmitted to the outside can be reduced, and the communication time and cost can be reduced. Note that an image compression storage unit that temporarily stores the image data compressed by the image compression unit 16 as necessary may be provided.
[0072]
The wireless transmission / reception unit 17 is a block that transmits the image data compressed by the image compression unit 16 to the camera master controller 2 by a wireless communication method. Examples of the wireless communication method include communication using radio waves and communication using light. Although not shown, the wireless transmission / reception unit 17 includes a protocol conversion unit that converts image data to be transmitted into a signal according to a communication protocol, and a wireless signal transmission unit that transmits a wireless signal. The wireless signal transmitting unit is configured by an RF module when performing communication by a radio wave method, for example. In the above description, only the function on the transmission side of the wireless transmission / reception unit 17 is described, but it is assumed that the wireless transmission / reception unit 17 also has a function of receiving a radio signal from outside the device.
[0073]
Next, the above-described imaging adjustment unit will be described. As the imaging adjustment unit, an imaging parameter adjustment unit 18 and an imaging parameter storage unit 19 shown in FIG. 1 are provided.
[0074]
The imaging parameter adjustment unit 18 determines an imaging state based on digital image data output from the A / D converter 14, and controls imaging parameters in the image sensor 9X based on the result. The imaging parameters here include, for example, gain adjustment and white balance adjustment in the image sensor 9X. The processing in the imaging parameter adjustment unit 18 is realized by causing an arithmetic processing unit including, for example, a CPU and a RAM, or a DSP to execute an imaging control processing program.
[0075]
The imaging parameter storage unit 19 stores the imaging parameters adjusted by the imaging parameter adjustment unit 18, and is configured by a recording medium such as a RAM, a flash memory, and a hard disk drive. The imaging parameter storage unit 19 includes a first storage unit 19A, a second storage unit 19B, and a third storage unit 19C. Here, the first storage unit 19A stores the imaging condition parameters related to the first image sensor 9A, the second storage unit 19B stores the imaging condition parameters related to the second image sensor 9B, and the third storage unit 19C stores the third image sensor. The imaging condition parameters relating to 9C are stored.
[0076]
Next, the switching processing unit will be described. As the switching processing unit, a switching unit 10, a camera switching selection unit 20, a camera switching counter (imaging element switching counter) 21, a camera switching instruction unit 22, and an imaging adjustment / transmission switching control unit 23 illustrated in FIG. 1 are provided. I have.
[0077]
The camera switching selection unit 20 switches and selects an image output from the multi-array camera 1 as an image captured by which image sensor 9X. This switching selection may be performed based on a switching selection instruction received from the outside, or may be performed based on an instruction from the camera switching counter 21.
[0078]
The case where the selection is performed based on the switching selection instruction received from the outside means that the switching selection instruction from the camera master controller 2 is received by the wireless transmission / reception unit 17 based on, for example, the instruction transmitted from the mobile terminal 4. This is a case where the switching selection instruction is input from the wireless transmission / reception unit 17 to the camera switching selection unit 20.
[0079]
The case where the operation is performed based on the instruction from the camera switching counter 21 is the case where the first image sensor 9A, the second image sensor 9B, and the third image sensor 9C are sequentially switched and output. That is, the camera switching counter 21 outputs an instruction signal for sequentially selecting the first image sensor 9A, the second image sensor 9B, and the third image sensor 9C at a predetermined timing.
[0080]
Note that the camera switching selection unit 20 is configured to instruct camera switching based on a timing signal input from the timing generator 11.
[0081]
The camera switching command section 22 outputs a camera switching command to the switching section 10 based on the content selected by the camera switching selection section 20. The switching unit 10 receives image signals captured by the first image sensor 9A, the second image sensor 9B, and the third image sensor 9C, and selects any one of these image signals. The signal is output to the sample hold unit 13. The selection of the image signal in the switching unit 10 is performed based on a camera switching command input from the camera switching command unit.
[0082]
The imaging adjustment / transmission switching control unit 23 performs an imaging adjustment control instruction and an image signal transmission switching control instruction based on the content selected by the camera switching selection unit 20. Specifically, first, the imaging parameter adjustment unit 18 is notified of which image sensor is selected by the camera switching selection unit 20. Then, the imaging parameter adjustment unit 18 reads out the imaging condition parameters relating to the image sensor notified of being selected from the imaging parameter storage unit 19, and adjusts the imaging condition parameters of the image sensor based on the read out. Become.
[0083]
Further, the image signal transmission switching unit 15 is notified of which image sensor is selected by the camera switching selection unit 20. Then, the image signal transmission switching unit 15 determines that the image data input from the A / D converter 14 has been captured by the image sensor notified that the image data has been selected.
[0084]
As described above, the multi-array camera 1 according to the present embodiment has a configuration in which a plurality of image sensors are provided in the imaging unit, while the imaging processing unit, the imaging adjustment unit, and the like are provided as a common unit. I have. Therefore, according to such a configuration, the cost of the entire apparatus can be kept relatively low while having a plurality of image sensors, and an imaging camera with good cost performance can be configured.
[0085]
(Camera switching sequence)
Next, a camera switching sequence in the multi-array camera 1 will be described. First, a description will be given, with reference to FIG. 6, of synchronous control when switching which image sensor outputs the image data output from the multi-array camera 1. In FIG. 6, the waveform of the frame synchronization signal is shown at the top. This frame synchronization signal is generated by the synchronization generator 12 shown in FIG.
[0086]
In FIG. 6, an arrow indicating the timing at which the camera switching command is issued is shown below the frame synchronization signal waveform. This camera switching command is input to the camera switching selecting unit 20 shown in FIG. 1 by communication from, for example, an external device (such as the portable terminal 4) or input from the camera switching counter 21 shown in FIG. It is. Such a camera switching command is basically input irrespective of the frame synchronization timing.
[0087]
Here, the camera switching selection unit 20 receives a timing signal from the timing generator 11 and issues a camera switching instruction to the camera switching command unit 22 based on the timing signal. This timing signal is a signal synchronized with the frame synchronization signal. Therefore, as shown at the bottom of FIG. 6, the output of the image captured by each image sensor is switched at a timing synchronized with the frame synchronization signal.
[0088]
In the example illustrated in FIG. 6, a switching command to the second image sensor 9B is first input in a state where an image captured by the first image sensor 9A is being output. Then, at the frame synchronization timing closest to the input point of the switching command, the output is switched to the output of the image captured by the second image sensor 9B. Further, after that, in a state where the image captured by the second image sensor 9B is being output, a switching command to the third image sensor 9C is input, and at the frame synchronization timing closest to this point, the third image sensor 9C The output is switched to the output of the image taken.
[0089]
As described above, since the camera switching selection unit 20 performs camera switching based on the timing signal from the timing generator 11, even if the switching command is input at random timing, the output image is disturbed at the switching time. It is possible to perform a good captured image switching process without causing the occurrence.
[0090]
Next, a specific example regarding camera switching will be described. In the present embodiment, two camera switching methods are assumed: (1) a sequential operation method and (2) an external command operation method.
[0091]
First, the above-mentioned (1) sequential operation method will be described. The sequential operation method is a method in which an image sensor that captures an image to be output is sequentially switched at a predetermined timing. This sequential operation method is performed based on a switching command output from the camera switching counter 21 described above.
[0092]
The camera switching counter 21 switches the switching command signal so as to sequentially switch the first image sensor 9A, the second image sensor 9B, and the third image sensor 9C as image sensors that capture images to be output at predetermined intervals. The data is output to the selection unit 20.
[0093]
FIGS. 7A and 7B show an example in which the switching period of the image sensor is set to one frame period, and FIG. 7A shows the sequence of the image sensor whose imaging parameter is to be adjusted. FIG. 2B shows a sequence of the image sensor in actual image output. As shown in these figures, in the case of the sequential operation method, the sequence of the image sensor whose imaging parameter is to be adjusted completely matches the sequence of the image sensor in the actual image output.
[0094]
The adjustment of the imaging parameters in this case will be described. Here, the description will focus on the first image sensor 9A. When the first image sensor 9A is to be subjected to the adjustment of the imaging parameters, the imaging parameter adjustment unit 18 adjusts the imaging parameters based on one frame of the image captured by the first image sensor 9A. Then, the adjustment result here is stored in the first storage unit 19A in the imaging parameter storage unit 19.
[0095]
When the process shifts to the next frame, the adjustment target of the imaging parameter becomes the second image sensor 9B, and when shifting to the next frame, the adjustment target of the imaging parameter becomes the third image sensor 9C. Then, when the process shifts to the next frame, the first image sensor 9A becomes an imaging parameter adjustment target again. At this time, the imaging parameter adjustment unit 18 reads out the adjustment result of the previous imaging parameter from the first storage unit 19A in the imaging parameter storage unit 19, sets it as the imaging parameter of the first image sensor 9A, and sets one frame in this state. Take a minute image. After that, the imaging parameter adjustment unit 18 adjusts the imaging parameters based on the image for one frame. Then, the adjustment result here is stored in the first storage unit 19A in the imaging parameter storage unit 19 in an updated form.
[0096]
As described above, in the case of the sequential operation method, when focusing on one image sensor, the adjustment of the imaging parameter is performed based on the image of one frame every three frames. Normally, the adjustment of the imaging parameters can be made to converge to a good state by performing feedback control based on images of several consecutive frames. Therefore, basically, the parameter adjustment is performed continuously for several frames. It is desirable to perform the following. However, in the case of the above method, the adjustment of the imaging parameters is performed every three frames, and the imaging parameters stored in the imaging parameter storage unit 19 are read out and adjusted every time. As long as there is no significant change in the environment, it is possible to adjust to a sufficiently good image state by adjusting the imaging parameters every three frames.
[0097]
Next, the above-mentioned (2) external command operation method will be described. The external command operation method is a method of switching an image sensor that captures an image to be output based on an external command, for example, a command from the mobile terminal 4. This external command is received by the wireless transmission / reception unit 17 shown in FIG.
[0098]
FIG. 8A shows a sequence of an image sensor whose imaging parameters are to be adjusted. As shown in the figure, in the initial state, the third image sensor 9C is selected, and a command to switch to the second image sensor 9B is input from the outside in the middle of the fourth frame. Then, based on this command, the image sensor whose imaging parameter is to be adjusted is switched to the second image sensor 9B from the fifth frame. Thereafter, an instruction to switch to the first image sensor 9A is input from the outside in the middle of the eighteenth frame, and the image sensor whose imaging parameter is to be adjusted is switched to the first image sensor 9A from the nineteenth frame.
[0099]
As a sequence of the image sensor in actual image output in this case, there are a method example 1 shown in FIG. 8B and a method example 2 shown in FIG. 8C. In the method example 1, in a state where the captured image of the third image sensor 9C is being output, four frames from the next frame after the selection command of the second image sensor 9B is input are output from the third image sensor 9C. A captured image has been output. Then, the captured image of the second image sensor 9B is output from the fifth frame from the next frame after the selection command of the second image sensor 9B is input.
[0100]
Similarly, in the state where the image captured by the second image sensor 9B is being output, the image captured by the second image sensor 9B for four frames from the next frame after the selection command of the first image sensor 9A is input. Is output, and a captured image of the first image sensor 9A is output from the next frame.
[0101]
As described above, in the method example 1, the image picked up by the image sensor selected by the selection command is output when several frames (four frames in the above example) have elapsed after the selection command from the outside is input. It can be switched. Then, during a period from when the selection command is input from the outside to when the output is actually switched, the captured image of the image sensor selected at the time when the selection command is input is output as a still image. ing.
[0102]
As described above, the adjustment of the imaging parameters can be made to converge to a favorable state by performing feedback control based on images of several consecutive frames. That is, in the above-described method, the image output is switched at the point when several frames have passed as the adjustment period after the selection command is input from the outside, so that the output image after the switching is adjusted so that the adjustment of the imaging parameters converges. It can be considered as a good state.
[0103]
In the case of the sequential operation method described above, the image output is switched without providing the adjustment period as described above. However, when focusing on one image sensor, the image output is always performed every three frames. This is because, since the parameter adjustment is performed, the imaging parameter adjustment process can be completed sufficiently with an image for one frame. On the other hand, in the above-described external command operation method, basically, the adjustment of the imaging parameter is not performed for a relatively long time for an image sensor that is not selected as an image sensor that captures an image to be output. Will be. Therefore, when an instruction to select such an image sensor is issued, adjustment of imaging parameters is required for several frames as described above, so that the sequence shown in FIG. Will occur.
[0104]
Here, a still image output during the adjustment period will be described. As described above, when the selection command is input, the image sensor whose imaging parameter is to be adjusted is switched from the next frame. That is, the image signal input from the switching unit 10 shown in FIG. 1 to the sample and hold unit 13 is a captured image of the image sensor after switching. Therefore, an image captured by the image sensor selected before the switching cannot be output in real time during the adjustment period. Therefore, the image captured by the image sensor selected before the switching immediately before the switching is stored as a still image in the buffer of the image compression unit 16, and the still image is repeatedly output during the adjustment period.
[0105]
Next, a method example 2 shown in FIG. 8C will be described. The method example 2 basically outputs an image in the same manner as the method example 1, except that no image is output during the adjustment period.
[0106]
More specifically, in the method example 1, as described above, during the adjustment period, the image captured by the image sensor selected before the switching is output as a still image, and after the adjustment processing of the imaging parameters is completed, the image is switched after the switching. The image picked up by the selected image sensor is output. On the other hand, in method example 2, when a selection command is input, image output is stopped for four frames from the next frame, and selection is performed after switching from the fifth frame in which the adjustment processing of the imaging parameter is completed. The image picked up by the image sensor is output.
[0107]
As described above, according to the method example 2, in the actual image output, a blank period of several frames (four frames in the above example) occurs every time the image sensor is switched. However, in the adjustment period, control such as buffering a still image and repeatedly outputting the same as in the method example 1 becomes unnecessary, so that control can be simplified and the image compression unit can be used. Since there is no need to provide a buffer function for temporary storage of a still image in the device 16, the apparatus can be simplified. On the other hand, according to the method example 1, although the above-described buffer control and still image output control are required, the image sensor can be switched smoothly without generating a blank period in the output image.
[0108]
Next, another embodiment of the above (2) external command operation system will be described. This embodiment is characterized in that an image sensor that captures an image to be output is switched based on a command from the outside, and adjustment processing of imaging parameters is periodically performed for an unselected image sensor.
[0109]
FIG. 9A shows a sequence of an image sensor to which an imaging parameter is to be adjusted in this embodiment. As shown in the figure, in the initial state, the third image sensor 9C is selected, and a command to switch to the second image sensor 9B is input from the outside in the middle of the fourth frame. Then, based on this command, the image sensor whose imaging parameter is to be adjusted is switched to the second image sensor 9B from the fifth frame.
[0110]
Then, in the period in which the second image sensor 9B is selected, the first image sensor 9A and the third image sensor 9C are adjusted for the imaging parameters every predetermined period, for example, every four frames in the example shown in FIG. It is set as the target image sensor. Similarly, when a command to switch to the first image sensor 9A is input, the image sensor whose imaging parameter is to be adjusted is switched to the first image sensor 9A from the next frame, and the second image sensor is switched every four frames. 9B and the third image sensor 9C are set as image sensors whose imaging parameters are to be adjusted.
[0111]
As described above, even during a period in which a certain image sensor is selected, the imaging parameters of each image sensor stored in the imaging parameter storage unit 19 are periodically adjusted by adjusting the imaging parameters for the other image sensors. It is possible to maintain the value of the parameter at a value adjusted to some extent. Therefore, even when the image sensor switching command is issued, the adjustment control of the imaging parameters can be completed within a relatively short adjustment period.
[0112]
FIG. 9B shows a sequence of the image sensor in actual image output in this embodiment. As shown in the figure, for example, the image picked up by the third image sensor 9C is output in the next frame after the selection command of the second image sensor 9B is input, and the second image sensor 9C starts from the next frame. 9B is output. That is, in this embodiment, the adjustment period is only one frame period.
[0113]
Note that during a period in which a certain image sensor is selected, an image captured by the selected image sensor cannot be output in real time at a frame timing in which imaging parameters of another image sensor are being adjusted. . Therefore, at this frame timing, an image for one frame that has been photographed immediately before by the selected image sensor is output as a still image. That is, during a period in which a certain image sensor is selected, a still image is periodically inserted and an image is output. However, since the period during which the still image is inserted is about two frames, when the output image is viewed as a moving image, it does not become extremely unnatural.
[0114]
In the example shown in FIG. 9B, for example, while the second image sensor 9B is selected, the imaging parameters of the first image sensor 9A and the third image sensor 9C are adjusted in continuous frames. It is also possible to make these timings dispersed. Specifically, for example, after the imaging parameters of the second image sensor 9B are adjusted in four frame periods, the imaging parameters of the first image sensor 9A are adjusted in one frame period, and the imaging parameters of the second image sensor 9B are again adjusted in four frame periods. After the adjustment, the sequence may be such that the imaging parameters of the third image sensor 9C are adjusted in one frame period. In this case, since each frame into which a still image is inserted can be one frame, it is possible to output a moving image that hardly causes unnaturalness.
[0115]
Further, in the example shown in FIG. 9B, in the adjustment period for one frame after the image sensor switching command is input, as in the method example 1 described above, the image sensor selected before the switching is used. Although a still image is inserted, the image may not be output during the adjustment period for one frame as in the above-described method example 2.
[0116]
(Electronic PAN function)
Next, an electronic PAN function realized by the multi-array camera 1 and the camera master controller 2 according to the present embodiment will be described. Conventionally, the so-called PAN function has been realized by physically changing the shooting direction of the camera itself. That is, the PAN function has been realized by, for example, providing an electric drive mechanism for moving the shooting direction up and down or left and right on a camera platform supporting the camera.
[0117]
On the other hand, in the present embodiment, the PAN function is realized electronically. That is, the PAN function is virtually realized in the image data obtained by photographing, instead of physically and mechanically changing the photographing direction.
[0118]
First, a method of generating a composite image based on the captured image of each image sensor 9X will be described. When the multi-array camera 1 has a configuration as shown in FIGS. 3 and 5, the right end region of the image captured by the first image sensor 9A and the left end region of the image captured by the second image sensor 9B are different from each other. The images are substantially the same, and the right end region of the image captured by the second image sensor 9B and the left end region of the image captured by the third image sensor 9C are substantially the same image. This is because, as shown in FIG. 5, the shooting direction of each image sensor 9X is set so that the imaging ranges of each image sensor 9X overlap each other in the left-right direction. Therefore, if the captured images of the respective image sensors 9X are simply arranged in the left-right direction, the same image will be continuous at the boundary portion between the captured images, which results in an unnatural image.
[0119]
Therefore, as shown in FIG. 10A, the images captured by the first image sensor 9A, the second image sensor 9B, and the third image sensor 9C are respectively arranged on the left and right, and substantially the same image is captured in the adjacent images. The image portions that are the regions are arranged so as to overlap each other. Then, by combining these, as shown in FIG. 10B, the captured image of each image sensor 9X can be converted into one composite image.
[0120]
Note that, in the captured images adjacent to each other, image portions having substantially the same imaging area are images captured from strictly different directions, and thus are slightly different images. Therefore, when combining, it is preferable to perform correction on the image of the overlapping portion. As a correction method, for example, a method of taking an average value of corresponding pixels to obtain a composite image can be considered.
[0121]
Further, a method of performing correction by setting weighting that defines which image is more affected depending on the position of the pixel may be considered. That is, for example, in the case where an overlapped portion of the captured image A and the captured image B is combined, in the overlapped portion, a pixel located closer to the captured image A is subjected to a correction for increasing the influence of the pixel of the captured image A, and A correction operation in which a pixel located at a position closer to B is corrected so as to increase the influence of the pixel of the captured image B is considered. According to such correction, the continuity in the overlapping portion can be made natural.
[0122]
The above-described composite image generation processing is performed in the camera master controller 2. That is, when image data is received from a certain multi-array camera 1 by the wireless transmission / reception unit 6, the camera master controller 2 temporarily stores the image data in the storage unit 7. At this time, assuming that the multi-array camera 1 switches captured images by the above-described sequential operation method, the storage unit 7 stores the first image sensor 9A, the second image sensor 9B, and the third image sensor 9B in the storage unit 7. Images captured by the image sensor 9C are sequentially stored. These captured images are read out by the image processing unit 5, and a composite image is generated by the method described above. Then, the generated composite image is stored in the storage unit 7.
[0123]
Next, a method of realizing the electronic PAN function based on the composite image obtained as described above will be described. When an external device such as the mobile terminal 4 requests the camera master controller 2 to transmit the captured image, the data of the image of the partial area is output from the composite image stored in the storage unit 7. Is transmitted to the corresponding external device via the transmission / reception unit 8. FIG. 11 shows the relationship between the composite image and the output image.
[0124]
Here, the size of the output image will be described. For example, when a mobile phone is used as the mobile terminal 4, the size of the display screen of the mobile phone is relatively small, and the resolution is also relatively small. Therefore, for example, even if the entire synthesized image is transmitted to the mobile terminal 4, the entire image cannot be displayed, and when the image is reduced to display the entire image, it is necessary to grasp the shooting target in the image in detail. Can not do. Therefore, it is preferable that the size of the output image is appropriately set according to the display performance of the transmission destination.
[0125]
As described above, the mobile terminal 4 receives the output image from the camera master controller 2 and displays the output image on the display screen, so that the user of the mobile terminal 4 can copy the image captured by the multi-array camera 1. You can check. Here, when the user wants to move the photographing range to the right, the user inputs an instruction to move the photographing range to the right by using, for example, a key or a button of the mobile terminal 4, and this movement instruction signal is transmitted. It is received by the transmission / reception unit 8 of the camera master controller 2 via the route. Then, the camera master controller 2 moves the image range as the output image to the right by controlling the address of the storage unit 7 in the composite image stored in the storage unit 7 and reads out the data of the image range. Transmit to mobile terminal 4. When this image data is received by the portable terminal 4 and displayed on the display screen, an image in the imaging range moved to the right side of the imaging range in the previous image is displayed.
[0126]
By instructing the movement of the imaging range in the left and right directions as described above, it is possible to give the user an operational feeling as if the camera were continuously panned and shooting was performed. Note that, in the above description, an example in which the instruction to move the imaging range is issued in the left-right direction, but when the size of the composite image is larger in the up-down direction than the size of the output image, panning in the up-down direction is performed. May also be possible.
[0127]
According to the electronic PAN function as described above, the operation of changing the shooting direction of the camera to the left, right, up and down (so-called pan / tilt function), which was conventionally performed by the electric drive mechanism, is replaced by a mechanical operation. It can be done electronically without doing it. Therefore, as compared with the configuration in which the electric drive mechanism unit is provided as in the related art, the device cost can be reduced, reliability and maintainability can be improved, and the degree of freedom of installation can be increased. It becomes.
[0128]
In this embodiment, the camera master controller 2 performs processing such as generation of a composite image and setting of an output image in order to realize the electronic PAN function. However, the present invention is not limited to this. Instead, for example, a configuration in which a processing unit for an electronic PAN function is provided in the multi-array camera 1 is also possible. Further, such a processing function may be provided in the center system 3 shown in FIG.
[0129]
【The invention's effect】
As described above, an image capturing apparatus according to the present invention includes an image sensor that converts input light into an electric signal, and an image processing unit that performs processing to convert an electric signal obtained by the image sensor into digital image data. An image capturing apparatus comprising: a plurality of the image sensors; selecting one of the plurality of the image sensors; and outputting an electric signal output from the selected image sensor. This is a configuration including a switching processing unit for inputting to the imaging processing unit.
[0130]
Thereby, as compared with a configuration in which an electric drive mechanism unit conventionally required for photographing a plurality of locations by one image photographing device is provided, reduction in device cost, improvement in reliability, maintainability, and There is an effect that the degree of freedom of installation can be improved.
[0131]
Further, the image photographing apparatus according to the present invention may further include a transmission unit that transmits the image data processed by the imaging processing unit to an external device via a communication unit.
[0132]
Thus, in addition to the effect of the above-described configuration, it is possible to confirm an image captured by the image capturing device, for example, at a location far from the image capturing device. Therefore, for example, there is an effect that the image capturing apparatus can function as a camera for monitoring use.
[0133]
Further, the image photographing apparatus according to the present invention further includes a receiving unit that receives a command signal from an external device via a communication unit, and the switching processing unit performs processing based on the command signal received by the receiving unit. A configuration in which the selection of the imaging element is performed may be adopted.
[0134]
Thereby, in addition to the effect of the above-described configuration, the user who confirms the captured image using the external device selects the image sensor that is capturing the desired area, and the image is captured by the image sensor. Images can be viewed. Therefore, there is an effect that the user can confirm a photographed image of a desired area at a desired timing.
[0135]
Further, the image photographing apparatus according to the present invention further includes an image sensor switching counter that outputs an instruction signal for sequentially switching an image sensor to be selected at a predetermined interval, and the switching processing unit is configured to output a signal from the image sensor switching counter. The configuration may be such that the image sensor to be selected is switched according to the instruction signal.
[0136]
Thereby, in addition to the effect of the above-described configuration, the user can confirm the image in which the images captured by the respective image sensors are sequentially switched. Therefore, the user can sequentially confirm the area photographed by the plurality of image sensors without giving any instruction, and this has an effect that the function can be effectively functioned in, for example, a monitoring application.
[0137]
Further, an image photographing apparatus according to the present invention includes an image pickup parameter adjusting unit that adjusts an image pickup parameter of the image pickup device based on image data obtained by the image pickup processing unit, and an image pickup parameter adjusted by the image pickup parameter adjuster. May be further provided with an imaging parameter storage unit for storing each of the imaging elements.
[0138]
With this, in addition to the effect of the above configuration, if the shooting environment has not changed significantly since the previous adjustment, the parameter adjustment can be completed with images of a small number of frames. There is an effect that the time can be shortened.
[0139]
Further, the image photographing apparatus according to the present invention further includes an imaging parameter adjustment unit that adjusts an imaging parameter of the imaging element based on image data obtained by the imaging processing unit, and switches the imaging element by the switching processing unit. The imaging processing unit may be configured to output image data imaged by the imaging device selected after the switching, after a predetermined period from the time when is performed.
[0140]
Thereby, in addition to the effect of the above-described configuration, it is possible to prevent the output of a captured image in a state where the adjustment of the imaging parameter is not completed when the image sensor is switched. Play.
[0141]
Further, in the image capturing apparatus according to the present invention, within a predetermined period from the time when the switching of the imaging device is performed by the switching processing unit, the imaging processing unit captures an image by the imaging device selected before the switching. Alternatively, the image data may be output.
[0142]
Accordingly, in addition to the effect of the above-described configuration, there is an effect that it is possible to smoothly switch the imaging device without generating a blank period in the output image.
[0143]
Further, in the image photographing apparatus according to the present invention, when a specific imaging device is continuously selected by the switching processing unit, the switching processing unit temporarily removes an unselected imaging device every predetermined period. May be selected.
[0144]
With this, in addition to the effect of the above-described configuration, it is possible to periodically perform the imaging parameter adjustment on the unselected imaging device, and thus the imaging of each imaging device stored in the imaging parameter storage unit is performed. It is possible to maintain the value of the parameter at a value adjusted to some extent. Therefore, even when the image sensor is switched, the adjustment control of the imaging parameter can be completed within a relatively short adjustment period.
[0145]
Further, an image photographing system according to the present invention includes the image photographing device according to the present invention, and a control device that performs image processing by inputting image data output from the image photographing device, wherein the control device includes: It is a configuration for performing a process of synthesizing each image data captured by the plurality of image sensors included in the image capturing device into one composite image.
[0146]
As a result, it is possible to output an image as if the image photographing device functions as a photographing device capable of photographing a wide range.
[0147]
In the image photographing system according to the present invention, the control device includes a transmission unit that transmits the processed image data to an external device via a communication unit, and a part of the composite image. The image data of the image area may be transmitted to the external device.
[0148]
Accordingly, in addition to the effect of the above configuration, by minimizing the size of the image data, the communication time can be reduced and the communication cost can be reduced. .
[0149]
Further, the image capturing system according to the present invention further includes a receiving unit that receives a command signal from an external device via a communication unit, based on the command signal received by the receiving unit. The position may be changed.
[0150]
Thereby, in addition to the effect of the above-described configuration, it is possible to electronically realize the same function without giving the image photographing apparatus itself a function of physically changing the photographing direction. To play.
[Brief description of the drawings]
FIG. 1 is a block diagram illustrating a configuration of a multi-array camera according to an embodiment of the present invention.
FIG. 2 is a block diagram illustrating a schematic configuration of a remote imaging system according to an embodiment of the present invention.
FIG. 3 is a perspective view schematically showing the appearance of the multi-array camera.
FIG. 4 is a perspective view schematically showing an appearance of an image sensor provided in the multi-array camera.
FIG. 5 is a diagram showing a configuration when an image sensor array unit included in the multi-array camera is viewed from above and an imaging range of each image sensor.
FIG. 6 is a timing chart showing a waveform of a frame synchronization signal, an input timing of a switching command, and a timing of image output.
FIGS. 7A and 7B show an example of a sequence of an image sensor corresponding to each frame in the sequential operation method, and FIG. FIG. 7 is a diagram showing a sequence of the image sensor to be performed, and FIG. 7B is a diagram showing a sequence of the image sensor in actual image output.
FIGS. 8A to 8C show an example of a sequence of an image sensor corresponding to each frame in the external command operation method, and FIG. FIG. 3B is a diagram showing a sequence of an image sensor in an actual image output according to the method example 1, and FIG. 3C is a diagram showing an actual sequence of the image sensor according to the method example 2. FIG. 4 is a diagram illustrating a sequence of an image sensor in image output.
9A and 9B show an example of a sequence of an image sensor corresponding to each frame in another embodiment of the external command operation method. FIG. 4 is a diagram illustrating a sequence of an image sensor whose imaging parameter is to be adjusted, and FIG. 4B is a diagram illustrating a sequence of the image sensor in actual image output.
FIG. 10A shows a state in which images captured by the respective image sensors are arranged side by side, and image portions having substantially the same imaging area are superimposed on the adjacent captured images. FIG. 2B is a diagram showing a composite image generated based on the state shown in FIG.
FIG. 11 is a diagram illustrating an example of an output image area provided in a composite image.
[Explanation of symbols]
1 multi-array camera (image capture device)
2 Camera master controller (control device)
3 Center system
4 mobile terminals
5 Image processing unit
6 Wireless transceiver
7 Storage unit
8 Transmission / reception unit (transmission means / reception means)
9 Image sensor array unit
9A First image sensor (imaging element)
9B 2nd image sensor (imaging device)
9C 3rd image sensor (imaging device)
9D support base
10 Switching unit
15 Image signal transmission switching unit
17 wireless transmission / reception unit (transmission means / reception means)
18 Imaging parameter adjustment unit
19 imaging parameter storage unit
20 Camera switching selector
21 Camera switching counter (Imaging element switching counter)
22 Camera switching command section
23 Imaging adjustment / transmission switching control unit

Claims (11)

入力された光を電気信号に変換する撮像素子と、
上記撮像素子において得られた電気信号をデジタル画像データに変換する処理を行う撮像処理部とを備えた画像撮影装置であって、
上記撮像素子を複数備えるとともに、
上記複数の撮像素子のうちのいずれか１つの撮像素子を選択し、選択された撮像素子から出力される電気信号を上記撮像処理部に入力する切替処理部を備えていることを特徴とする画像撮影装置。An image sensor that converts input light into an electric signal;
An image capturing apparatus comprising: an image processing unit that performs a process of converting an electric signal obtained by the image sensor into digital image data.
While having a plurality of the imaging elements,
An image, comprising: a switching processing unit that selects any one of the plurality of imaging devices and inputs an electric signal output from the selected imaging device to the imaging processing unit. Shooting equipment. 上記撮像処理部によって処理された画像データを、通信手段を介して外部の装置に送信する送信手段をさらに備えていることを特徴とする請求項１記載の画像撮影装置。2. The image photographing apparatus according to claim 1, further comprising a transmission unit that transmits the image data processed by the imaging processing unit to an external device via a communication unit. 外部の装置から、通信手段を介して指令信号を受信する受信手段をさらに備え、
上記受信手段によって受信された指令信号に基づいて、上記切替処理部による撮像素子の選択が行われることを特徴とする請求項１または２記載の画像撮影装置。From an external device, further comprising a receiving means for receiving a command signal via the communication means,
3. The image photographing apparatus according to claim 1, wherein an image sensor is selected by the switching processing unit based on a command signal received by the receiving unit. 選択する撮像素子を所定の間隔で順次切り替える指示信号を出力する撮像素子切替カウンタをさらに備えており、
上記切替処理部が、上記撮像素子切替カウンタからの指示信号に従って選択する撮像素子を切り替えることを特徴とする請求項１または２記載の画像撮影装置。An image sensor switching counter that outputs an instruction signal for sequentially switching the selected image sensor at predetermined intervals is further provided.
3. The image photographing apparatus according to claim 1, wherein the switching processing unit switches an image sensor to be selected in accordance with an instruction signal from the image sensor switching counter. 上記撮像素子における撮像パラメータを、上記撮像処理部によって得られる画像データに基づいて調整する撮像パラメータ調整部と、
上記撮像パラメータ調整部によって調整された撮像パラメータを、各撮像素子ごとに記憶する撮像パラメータ記憶部とをさらに備えたことを特徴とする請求項１ないし４のいずれか一項に記載の画像撮影装置。An imaging parameter adjustment unit that adjusts an imaging parameter in the imaging element based on image data obtained by the imaging processing unit;
The image capturing apparatus according to any one of claims 1 to 4, further comprising: an imaging parameter storage unit that stores the imaging parameters adjusted by the imaging parameter adjustment unit for each image sensor. . 上記撮像素子における撮像パラメータを、上記撮像処理部によって得られる画像データに基づいて調整する撮像パラメータ調整部をさらに備え、
上記切替処理部によって撮像素子の切り替えが行われた時点から所定の期間後から、上記撮像処理部が、切り替え後に選択された撮像素子によって撮像された画像データを出力することを特徴とする請求項１記載の画像撮影装置。An imaging parameter adjustment unit that adjusts imaging parameters in the imaging element based on image data obtained by the imaging processing unit,
The image processing unit outputs image data captured by an image sensor selected after the switching, after a predetermined period from a point in time when the image sensor is switched by the switching unit. 2. The image photographing device according to 1. 上記切替処理部によって撮像素子の切り替えが行われた時点から所定の期間内では、上記撮像処理部は、切り替え前に選択されていた撮像素子によって撮像された画像データを出力することを特徴とする請求項６記載の画像撮影装置。Within a predetermined period from the point in time when the switching of the imaging device is performed by the switching processing unit, the imaging processing unit outputs image data captured by the imaging device selected before the switching. The image photographing device according to claim 6. 上記切替処理部によって特定の撮像素子が選択され続けている際に、上記切替処理部が、所定の期間毎に、選択されていない撮像素子を一時的に選択することを特徴とする請求項５記載の画像撮影装置。6. The switching processing unit temporarily selects an unselected imaging device for each predetermined period when a specific imaging device is continuously selected by the switching processing unit. An image capturing apparatus according to the above. 請求項１ないし８のいずれか一項に記載の画像撮影装置と、
上記画像撮影装置から出力された画像データを入力して画像処理を行う制御装置とを備え、
上記制御装置が、上記画像撮影装置が備える上記複数の撮像素子によって撮像された各画像データを１つの合成画像に合成する処理を行うことを特徴とする画像撮影システム。An image photographing apparatus according to any one of claims 1 to 8,
A control device that performs image processing by inputting image data output from the image capturing device,
An image capturing system, wherein the control device performs a process of combining image data captured by the plurality of image sensors included in the image capturing device into one composite image. 上記制御装置が、処理された画像データを、通信手段を介して外部の装置に送信する送信手段を備えているとともに、
上記合成画像のうちの一部の画像領域の画像データを、上記外部の装置に送信することを特徴とする請求項９記載の画像撮影システム。The control device includes a transmission unit that transmits the processed image data to an external device via a communication unit,
10. The image capturing system according to claim 9, wherein image data of a part of the image area of the composite image is transmitted to the external device. 外部の装置から、通信手段を介して指令信号を受信する受信手段をさらに備え、
上記受信手段によって受信された指令信号に基づいて、送信する画像領域の位置が変更されることを特徴とする請求項１０記載の画像撮影システム。From an external device, further comprising a receiving means for receiving a command signal via the communication means,
The image capturing system according to claim 10, wherein the position of the image area to be transmitted is changed based on the command signal received by the receiving unit.
JP2002252181A 2002-08-29 2002-08-29 Image photographing apparatus and image photographing system Expired - Fee Related JP3931768B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002252181A JP3931768B2 (en) 2002-08-29 2002-08-29 Image photographing apparatus and image photographing system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002252181A JP3931768B2 (en) 2002-08-29 2002-08-29 Image photographing apparatus and image photographing system

Publications (2)

Publication Number Publication Date
JP2004096258A true JP2004096258A (en) 2004-03-25
JP3931768B2 JP3931768B2 (en) 2007-06-20

Family

ID=32058522

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002252181A Expired - Fee Related JP3931768B2 (en) 2002-08-29 2002-08-29 Image photographing apparatus and image photographing system

Country Status (1)

Country Link
JP (1) JP3931768B2 (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006033810A (en) * 2004-07-14 2006-02-02 Arecont Vision Llc Multi-sensor panoramic network camera
KR100589764B1 (en) 2004-12-24 2006-06-19 한국항공우주연구원 Apparatus for controlling sensor of satellite camera
JP2014082768A (en) * 2013-11-27 2014-05-08 Sony Corp Imaging apparatus and control method thereof
US9071753B2 (en) 2009-08-20 2015-06-30 Sony Corporation Imaging apparatus including a first imaging system and a second imaging system

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006033810A (en) * 2004-07-14 2006-02-02 Arecont Vision Llc Multi-sensor panoramic network camera
KR100589764B1 (en) 2004-12-24 2006-06-19 한국항공우주연구원 Apparatus for controlling sensor of satellite camera
US9071753B2 (en) 2009-08-20 2015-06-30 Sony Corporation Imaging apparatus including a first imaging system and a second imaging system
JP2014082768A (en) * 2013-11-27 2014-05-08 Sony Corp Imaging apparatus and control method thereof

Also Published As

Publication number Publication date
JP3931768B2 (en) 2007-06-20

Similar Documents

Publication Publication Date Title
US7296286B2 (en) Method and apparatus for transmitting image signals of images having different exposure times via a signal transmission path, method and apparatus for receiving thereof, and method and system for transmitting and receiving thereof
JP2004282162A (en) Camera, and monitoring system
KR20020067219A (en) Apparatus for remote surveillance using mobile video phone
WO2007119712A1 (en) Camera apparatus, and image processing apparatus and image processing method
JP2003259351A (en) Method for remotely controlling oscillating camera and image distribution method
JP4583717B2 (en) Imaging apparatus and method, image information providing system, program, and control apparatus
JP3931768B2 (en) Image photographing apparatus and image photographing system
JP3730630B2 (en) Imaging apparatus and imaging method
WO2006028247A1 (en) Video shooting system, video shooting device and video shooting method
JP4692138B2 (en) Pan / tilt function-equipped network camera viewing method from a mobile terminal and pan / tilt function-equipped network camera
JP2004282163A (en) Camera, monitor image generating method, program, and monitoring system
EP1568212A2 (en) A server and a server system
US20020040480A1 (en) On-demand camera relay method and device
JP4448001B2 (en) Imaging device
KR101273013B1 (en) Network camera using dual lens
WO2020129696A1 (en) Information processing device, information processing method, program, and information processing system
JP5024331B2 (en) Video camera and information transmission method
JPH10290412A (en) Image pickup, storage, processing, display, reproduction transmitter and recording medium
JP2010062834A (en) Photographing system, photographing device constituting the same, and operation device
JP2006025340A (en) Wide angle imaging apparatus, imaging system, and control method thereof
JP2007074417A (en) Camera control system
JP2004336105A (en) Picture photographing device, picture recording device and picture recording method
JPH08149345A (en) Camera system
JP2009147885A (en) Imaging apparatus and imaging method
KR200200307Y1 (en) Digital camera assembly

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20041125

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20061128

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20061205

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070126

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20070126

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070220

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070305

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees