JP2008085999A - カメラ、カメラシステム、及び画像処理回路 - Google Patents

カメラ、カメラシステム、及び画像処理回路 Download PDF

Info

Publication number
JP2008085999A
JP2008085999A JP2007217038A JP2007217038A JP2008085999A JP 2008085999 A JP2008085999 A JP 2008085999A JP 2007217038 A JP2007217038 A JP 2007217038A JP 2007217038 A JP2007217038 A JP 2007217038A JP 2008085999 A JP2008085999 A JP 2008085999A
Authority
JP
Japan
Prior art keywords
camera
image
cameras
image processing
mode
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2007217038A
Other languages
English (en)
Other versions
JP4861929B2 (ja
Inventor
Katsuyoshi Higashijima
勝義 東島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Priority to JP2007217038A priority Critical patent/JP4861929B2/ja
Publication of JP2008085999A publication Critical patent/JP2008085999A/ja
Application granted granted Critical
Publication of JP4861929B2 publication Critical patent/JP4861929B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Studio Devices (AREA)

Abstract

【課題】高解像度化の要望に応え拡張性の高いカメラシステムを提供する。
【解決手段】本発明のカメラシステムは、撮像手段101と画像処理手段102を有する複数のカメラ100を含む。カメラシステム内の第1カメラ100Aは、他のカメラと協働して動作するモードに設定されている場合、他のカメラから撮像画像を受信し、受信した撮像画像と、当該第1カメラ100Aの撮像手段101で撮像した撮像画像とを張り合わせて合成画像を生成する処理を、当該第1カメラ100Aの画像処理手段102で行う。生成した合成画像はカメラシステム内の第2カメラ100Bに送信する。前記第2カメラ100Bは、他のカメラと協働して動作するモードに設定されている場合、受信した合成画像について圧縮符号化処理の一部又は全てを、当該第2カメラ100Bの画像処理手段102で行う。
【選択図】図4

Description

本発明は、撮像画像を圧縮符号化して外部に出力する機能を有するカメラ、当該カメラを用いたカメラシステム、及び当該カメラに用いられる画像処理回路に関する。
従来、撮像した画像を圧縮符号化して外部のネットワークに送信する機能を有するカメラがある。
こうしたカメラは例えば監視カメラとして利用され、ネットワークに接続した受信装置でカメラの撮像画像を受信し、ディスプレイに表示してオペレータが監視することができるものである。
ところで、こうしたカメラには従来から、より高解像度の画像を撮像できる能力や、より撮像画像の左右方向に広がりを持った、いわゆるパノラマ撮影を行う能力等が求められている。
例えば、高解像度化の要望に応えるため、1台のカメラに複数の撮像素子を備え、各撮像素子で被写体を分割して撮影し、撮像した画像を合成することで高解像度の画像を得る技術が提案されている(特許文献1)。
図18は、特許文献1に記載されている、高解像度化を目指した従来のカメラの構成を示す。
特許文献1に記載されているカメラは、被写体を分割して撮像するため撮像レンズ1001a〜1001d及びCCD1002a〜1002dを備える。CCD1002a〜1002dで撮像された画像はそれぞれ前処理回路1003a〜1003dで前処理(ホワイトバランスやγ補正等)が行われ、歪み補正回路1004a〜1004dで歪みの補正処理が行われる。合成回路1006は、歪み補正回路1004a〜1004dで歪み補正処理が行われた各映像を合成する。
このような構成により、分割して撮像した各画像を合成して高解像度の画像を得ることができるものである。
特開平9−224180号公報
しかしながら、1台のカメラに複数の撮像素子を備えると、高解像度化の自由度や拡張性が阻害される。
すなわち、1台のカメラに、例えば100万画素の撮像素子を4つ搭載し、400万画素の画像を得ることができるようになったとしても、800万画素、1000万画素等のより高解像度の撮像画像を得ることができない。
より高解像の画像を得ようと思えば、より多くの撮像素子を搭載したカメラを製造しなければならない。
また、例えば、パノラマ撮影に対応するために、1台のカメラに10万×10万画素の撮像素子を横一列に4つ搭載して40万×10万画素の画像を得ることができるようにしたとすると、当該カメラではパノラマ撮影しかできず、一般的なサイズの画像を撮像することができなくなってしまう。
そこで、本発明は、上記課題に鑑み、高解像度化の要望に応え拡張性の高いカメラシステムを提供することを目的とする。
上記課題を解決するために、本発明のカメラシステムは、複数のカメラを含むカメラシステムであって、前記複数のカメラ夫々は、撮像手段と、単体で動作する第1モードに設定されている場合、前記撮像手段で撮像した撮像画像を圧縮符号化する画像処理手段を備え、前記複数のカメラのうち第1カメラは、他のカメラから撮像画像を受信する撮像画像受信手段と、他のカメラと協働して動作する第2モードに設定されている場合、前記撮像画像受信手段で受信した撮像画像と、当該第1カメラの撮像手段で撮像した撮像画像とを張り合わせて合成画像を生成する処理を、当該第1カメラの画像処理手段に実行させる第1実行手段と、生成された合成画像を、他のカメラのうち第2カメラに送信する合成画像送信手段とを備え、前記第2カメラは、前記第1カメラから前記合成画像を受信する合成画像受信手段と、前記第2モードに設定されている場合、前記合成画像受信手段で受信した前記合成画像について圧縮符号化処理の一部又は全てを、当該第2カメラの画像処理手段に実行させる第2実行手段とを備えることを特徴とする。
また、上記課題を解決するために、本発明のカメラは、複数の他のカメラと協働して動作可能なカメラであって、撮像手段と、単体で動作する第1モードに設定されている場合、前記撮像手段で撮像した撮像画像を圧縮符号化する画像処理手段と、前記複数の他のカメラと協働して動作する第2モードに設定されている場合、前記複数の他のカメラから撮像画像を受信する撮像画像受信手段と、前記複数の他のカメラと協働して動作する第2モードに設定されている場合、前記撮像画像受信手段で受信した撮像画像と、前記撮像手段で撮像した撮像画像とを張り合わせて合成画像を生成する処理を、前記画像処理手段に実行させる実行手段と、生成された合成画像、及び当該合成画像の符号化圧縮処理の指示を、前記複数の他のカメラのうち少なくとも1つのカメラに送信する送信手段とを備えることを特徴とする。
さらに、上記課題を解決するために、本発明のカメラは、複数の他のカメラと協働して動作可能なカメラであって、撮像手段と、単体で動作する第1モードに設定されている場合、前記撮像手段で撮像した撮像画像を圧縮符号化する画像処理手段と、前記複数の他のカメラと協働して動作する第2モードに設定されている場合、前記撮像手段で撮像した画像を、前記複数の他のカメラのうち第1カメラに送信する画像送信手段と、前記複数の他のカメラと協働して動作する第2モードに設定されている場合、前記撮像手段で撮像した画像と他の画像とが張り合わされた合成画像を、前記第1カメラから受信する合成画像受信手段と、前記複数の他のカメラと協働して動作する第2モードに設定されている場合、前記合成画像受信手段で受信した合成画像の圧縮符号化処理の一部又は全てを、前記画像処理手段に実行させる実行手段とを備えることを特徴とする。
また、上記課題を解決するために、本発明の画像処理回路は、複数の他の画像処理回路と協働可能であり、カメラに用いられる画像処理回路であって、単体で動作する第1モードに設定されている場合、前記カメラの撮像手段で撮像した撮像画像を入力して圧縮符号化する画像処理手段と、前記複数の他の画像処理回路と協働して動作する第2モードに設定されている場合、当該複数の他の画像処理回路から画像を入力する画像入力手段と、前記複数の他の画像処理回路と協働して動作する第2モードに設定されている場合、前記画像入力手段で入力した画像と、前記カメラの撮像手段で撮像した撮像画像とを張り合わせて合成画像を生成する処理を、前記画像処理手段に実行させる実行手段と、生成された合成画像、及び当該合成画像の符号化圧縮処理の指示を、前記複数の他の画像処理回路のうち少なくとも1つの画像処理回路に出力する出力手段とを備えることを特徴とする。
さらに、上記課題を解決するために、本発明の画像処理回路は、複数の他の画像処理回路と協働可能であり、カメラに用いられる画像処理回路であって、単体で動作する第1モードに設定されている場合、前記カメラの撮像手段で撮像した撮像画像を入力して圧縮符号化する画像処理手段と、前記複数の他の画像処理回路と協働して動作する第2モードに設定されている場合、前記カメラの撮像手段で撮像した画像を入力し、前記複数の他の画像処理回路のうち第1画像処理回路に出力する画像出力手段と、前記複数の他の画像処理回路と協働して動作する第2モードに設定されている場合、前記カメラの撮像手段で撮像した画像と他の画像とが張り合わされた合成画像を、前記第1画像処理回路から入力する合成画像入力手段と、前記複数の他の画像処理回路と協働して動作する第2モードに設定されている場合、前記合成画像入力手段で入力した合成画像の圧縮符号化処理の一部又は全てを、前記画像処理手段に実行させる実行手段とを備えることを特徴とする。
ここで、張り合わせて合成画像を生成するとは、互いが重なり合わないように、又は重なり合ったとしてもごく一部のみが重なり合う程度に、撮像画像同士の縁を合わせて合成することをいう。
以上の構成により、単体でカメラとして機能する複数のカメラを協働させると、1台のカメラ(第1カメラ)が画像合成を行い、他のカメラ(少なくとも第2カメラ)が分担して合成画像の圧縮符号化を行う。これにより、ユーザは、得たい画像の解像度に応じて自由に複数台カメラを組み合わせることができる。
すなわち、例えば、各カメラが100万画素の撮像手段を有するとき、カメラ単体ではある被写体を100万画素の画像を撮像できるとともに、カメラをN台(Nは任意の自然数)協働させれば同じ被写体に対してN×100万画素の画像を撮像することができる。
このため、本発明は、高解像度化の要望に応え拡張性の高いカメラシステムを提供することができる。
また、上記カメラシステムにおいて、前記第1実行手段は前記第1カメラの画像処理手段に設けられ、前記第2実行手段は前記第2カメラの画像処理手段に設けられた、夫々、回路構成を変更することで実行する処理を変更することのできる再構成回路であり、前記第2モードのとき、前記第1実行手段は、前記第1モードのときの回路構成から、前記合成画像を生成する処理を実行するための回路構成に変更し、前記第2モードのとき、前記第2実行手段は、前記第1モードのときの回路構成から、前記合成画像について圧縮符号化処理の一部又は全てを実行するための回路構成に変更するようにしてもよい。
この構成により、FPGA等の回路構成変更可能な手段で、画像処理手段に実行させる処理を変更させる。これにより、単体のカメラとして機能するための画像処理手段で合成画像の生成及び合成画像の圧縮符号化の一部又は全てを行うため、合成画像の生成や合成画像の圧縮符号化を行うための特別な回路をカメラに設ける必要がなく、カメラの製造コストの削減やカメラの小型化に有効である。
また、上記カメラシステムにおいて、前記第2モードのとき、前記第1のカメラは、前記他のカメラから、個々のカメラの前記第1のカメラに対する位置を示す位置情報と、個々のカメラを識別するための識別情報とを受信するカメラ情報受信手段と備え、前記第2モードのとき、前記第1のカメラの画像処理手段は、前記カメラ情報受信手段で受信した位置情報及び識別情報に基づき、前記撮像画像受信手段で受信した撮像画像と、当該第1のカメラの撮像手段で撮像した撮像画像とを張り合わせて合成画像を生成するようにしてもよい。
この構成により、第1カメラは、他のカメラの自カメラに対する位置に応じて、自カメラの撮像画像と他のカメラの撮像画像とを張り合わせて合成画像を生成する。例えば、自カメラの左に位置するカメラの撮像画像は、自カメラの撮像画像の左に張り合わせ、自カメラの右に位置するカメラの撮像画像は、自カメラの撮像画像の右に張り合わせる、といったように、位置関係を把握して正確な画像合成を行う。このため、複数台のカメラをいかように組み合わせてカメラシステムを構成したとしても、その都度、カメラ同士の位置関係に基づいた正確な画像合成を行うことができる。
また、上記カメラシステムにおいて、前記第2モードのとき、前記第2カメラは、当該第2カメラの画像処理手段で前記合成画像の圧縮符号化処理の一部を実行するものであり、前記複数のカメラのうち、前記第1カメラと第2カメラとは異なるカメラが分担して、前記合成画像の圧縮符号化処理の残りを行うようにしてもよい。
この構成により、2台以上のカメラで圧縮符号化処理を行うため、圧縮符号化を担当するカメラ1台につき加わる負荷を軽減することができる。特に、協働するカメラの台数が大量であるとき、合成画像は甚だ高画質になりデータ量が増大するため有用である。
また、上記カメラシステムにおいて、前記第2モードのとき、前記第1カメラは、前記複数のカメラのうち当該第1カメラ以外のカメラに対して前記合成画像の圧縮符号化処理を分担して行うよう指示し、前記第2モードのとき、前記第2カメラ、及び前記第1カメラと前記第2カメラとは異なるカメラが分担して、前記合成画像の圧縮符号化処理を行うようにしてもよい。
この構成により、第1カメラがマスタとして、スレーブである他のカメラ(少なくとも第2カメラ)に対し、合成画像を分担して圧縮符号化するよう指示するため、第1カメラが他のカメラの台数等の条件に基づいて分担させるカメラを調整することができる。
また、上記カメラシステムにおいて、前記合成映像は、複数の工程を経て圧縮符号化されるものであり、前記第2モードのとき、前記第2カメラ、及び前記第1カメラと前記第2カメラとは異なるカメラは、夫々の画像処理部において、前記複数の工程を分担して圧縮符号化処理するようにしてもよい。
この構成により、合成画像の圧縮符号化を担当するカメラ(第2カメラ及びその他のカメラ)は、圧縮符号化処理を工程毎に分担することができる。例えば、動き検出、DCT/Q処理、VLC処理、ローカルデコード処理等の工程を分担することができる。
また、上記カメラシステムにおいて、前記合成映像は、MPEG規格に従って複数のスライスに分けて圧縮符号化可能なものであり、前記第2モードのとき、前記第2カメラ、及び前記第1カメラと前記第2カメラとは異なるカメラは、夫々の画像処理部において、前記複数のスライスを分担して圧縮符号化処理するようにしてもよい。
この構成により、合成画像の圧縮符号化を担当するカメラ(第2カメラ及びその他のカメラ)は、圧縮符号化処理をスライス毎に分担することができる。
また、上記カメラシステムは、前記複数のカメラとネットワークを介して接続される外部装置をさらに含み、前記外部装置は、前記複数のカメラに対し、前記第1モード又は前記第2モードのいずれかで動作するよう指示する指示手段を備え、前記複数のカメラ夫々は、前記外部装置からの指示に従い前記第1モード又は前記第2モードに設定するようにしてもよい。
この構成により、外部の装置からの指示に応じてモードを切り換えることができる。これにより、例えば、外部装置が、各カメラの撮像画像を監視するための監視装置である場合、監視員が監視対象となる画像に応じてカメラのモードを切り換えることができる。
以下、図面を参照しながら本発明の実施の形態について説明していく。
(実施形態1)
まず、実施形態1に係るカメラ100について説明していく。
(1.概要)
カメラ100は、例えば10万×10万画素(合計100万画素)の解像度を持つ撮像部と、撮像部で撮像した画像を例えばMPEG方式で圧縮符号化する画像処理部とを備え、例えば監視カメラとして用に供されるものである。
カメラ100は、単体として使用する場合、撮像部で撮影し圧縮符号化した100万画素の撮像画像を外部に送信する機能を有する。
また、カメラ100は、複数台組み合わせることで、各カメラ100が撮像部で撮像した100万画素の画像を合成してより高解像度の画像を生成し、生成した合成画像を協働して圧縮符号化して外部に送信する機能を有する。
(2.構成)
図1は、カメラ100の外観を示す斜視図である。
図1に示すように、カメラ100は、矩形の筐体を有し、筐体の前面に、10万×10万画素の解像度を有する撮像部101を備える。
筐体の上下左右の各側面には、カメラ100を複数台結合するための結合部10を備える。
結合部10には、凹部が設けられており、結合部材20をこの凹部に嵌め込んで結合部10同士を嵌合させることでカメラ100同士を結合させることができるようになっている。
また、カメラ100は、筐体の背面に、ネットワークポート112、データ入出力ポート113、及び操作部114を備える。
撮像部101、ネットワークポート112、データ入出力ポート113、及び操作部114の詳細については、後述する。
ここで、カメラ100同士を結合したときの構成について説明する。
図2は、カメラ100同士を結合する状態を示す図である。
図2において、カメラ100A〜100Dは、いずれもカメラ100の構成を有するカメラである。以後、複数台のカメラ100を分けて言及するときは、カメラ100A、カメラ100B、カメラ100C、カメラ100D・・・とアルファベットを付して互いを区別して示す。
図2に示すように、カメラ100A〜カメラ100Dは、結合部10を介して互いに結合可能である。
図2(a)は、カメラ100Aの左側にカメラ100Bを、下側にカメラ100Cを結合し、カメラ100Bの下側(カメラ100の左側)にカメラ100Dを結合した例を示している。
このように結合することで、カメラ100A〜100Dは協働し、カメラ100A〜100D夫々の撮像画像から、好適には(各撮像画像が重なり合わずぴったりと張り合わさった場合)20万×20万画素(合計400万画素)の解像度の合成画像を生成して圧縮符号化する。
図2(b)は、カメラ100Aの左側にカメラ100Bを結合し、カメラ100Bの左側にはカメラ100Cを結合し、カメラ100Cの左側にはカメラ100Dを結合した例を示している。
このように結合することで、カメラ100A〜100Dは協働し、カメラ100A〜100D夫々の撮像画像から40万×10万画素(合計400万画素)の解像度の画像を生成して圧縮符号化する。この結合は、いわゆるパノラマ撮影に適したものである。
カメラ100A〜100Dを結合するとき、カメラ100A〜100Dはデータ入出力ポート113を介して接続され、互いにデータのやり取りを行うようになっている。
データ入出力ポート113を介しての接続は、例えば、FPC(Flexible Printed Circuit)やケーブル等で配線して行われる。
図3は、結合したカメラ100の接続状態を示す図である。
なお、図3において、カメラ100の背面に備わるネットワークポート112及び操作部114は図示しない。
図3(a)は、図2(a)で示すように結合したカメラ100A〜100Dの接続状態の一例を示している。
図3(a)に示すように、一例として、カメラ100Aのデータ入出力ポート113の出力端子と、カメラ100Cのデータ入出力ポート113の入力端子とがFPCで配線される。カメラ100Cのデータ入出力ポート113の出力端子と、カメラ100Dのデータ入出力ポート113の入力端子とがFPCで配線される。カメラ100Dのデータ入出力ポート113の出力端子と、カメラ100Bのデータ入出力ポート113の入力端子とがFPCで配線される。カメラ100Bのデータ入出力ポート113の出力端子と、カメラ100Aのデータ入出力ポート113の入力端子とがFPCで配線される。
図3(b)は、図2(b)で示すように結合したカメラ100A〜100Dの接続状態の一例を示している。
図3(b)に示すように、一例として、カメラ100Aのデータ入出力ポート113の出力端子と、カメラ100Bのデータ入出力ポート113の入力端子とがケーブルで配線される。カメラ100Bのデータ入出力ポート113の出力端子と、カメラ100Cのデータ入出力ポート113の入力端子とがケーブルで配線される。カメラ100Cのデータ入出力ポート113の出力端子と、カメラ100Dのデータ入出力ポート113の入力端子とがケーブルで配線される。カメラ100Dのデータ入出力ポート113の出力端子と、カメラ100Aのデータ入出力ポート113の入力端子とがケーブルで配線される。
図3(a)及び(b)で示すように、カメラ100A〜100Dは互いにチェーンバスを構成するように接続され、各々から出力されるデータが、カメラ100A〜100Dのいずれからも取り込める構成となっている。
以上のように、カメラ100は、複数台接続することが可能である。
カメラ100を複数台接続して使用するとき、いずれかのカメラがマスタとして動作し、他のカメラがスレーブとして動作する。
ユーザは、カメラ100A〜100Dのうち、マスタに設定するカメラに対し、当該カメラの操作部114の「Mst」を押下してマスタに設定する。
スレーブに設定するカメラに対しては、当該カメラの操作部114の文字キー(「上」「下」「左」「右」)と数字キー(「1」「2」「3」「4」)とを押下して、マスタに設定したカメラに対する相対位置を設定する。
例えば、「左1」はマスタのすぐ左隣を意味し、「下1」はマスタのすぐ下隣を意味し、「左1下1」はマスタのすぐ左下を意味する。
こうすることで、カメラ100A〜100Dのうち、マスタのカメラとスレーブのカメラとが協働して動作することができる。
以下、カメラ100の詳細な構成について説明する。
図4は、カメラ100の構成を示すブロック図である。
カメラ100は、撮像部101、画像処理部102、ネットワーク送信部103、カメラ出力データセレクタ104、画像処理入力データセレクタ105、画像処理出力データセレクタ106、制御部107、バス108、109、110、バスセレクタ111、ネットワークポート112、データ入出力ポート113、及び操作部114を備える。
撮像部101は、10万×10万画素(合計100万画素)の解像度を有する撮像素子を備え、撮像素子で被写体を撮像する機能を有し、かつ撮像した映像に対して、ホワイトバランスやγ補正等の前処理の一部を行う機能を有する。
画像処理部102は、撮像部101で撮像した映像に画像処理を行う機能を有し、特に、再構成ロジック回路102a及びメモリ102bを含む。
再構成ロジック回路102aは、プログラミングによりその回路構成を変形することのできるLSIであるFPGA(Field Programmable Gate Array)であり、メモリ102bに格納されているプログラムを実行することで回路構成を変形して種々の処理を実行するものである。
メモリ102bは、例えば、RAM(Random Access Memory)等のメモリであり、再構成ロジック回路102aに実行させるプログラムや、各プログラムを実行するのに必要な情報を格納するものである。特に、メモリ102bは、再構成ロジック回路102aに実行させるプログラムとして、画像合成プログラム、圧縮符号化プログラムを格納している。
画像合成プログラムは、入力された複数枚の画像の夫々を張り合わせて合成し、合成画像を生成するよう再構成ロジック回路102aの回路構成を変更する機能を有する。
圧縮符号化プログラムは、入力された画像を圧縮符号化するために、動き検出処理やDCT/Q(Discrete Cosine Transformation / Quantization)処理やVLC(Variable Length Coding)処理やローカルデコード処理を実行するよう再構成ロジック回路102aの回路構成を変更する機能を有する。
また、メモリ102bには、画像合成プログラムを実行するのに必要な情報として、他のカメラを識別するためのIDと、他のカメラの位置とを対応付けたテーブルを格納可能である。
なお、本実施形態では、カメラ100AのIDをAAA、カメラ100BのIDをBBB、カメラ100CのIDをCCC、カメラ100DのIDをDDDとする。
ネットワーク送信部103は、画像処理部102が画像処理したデータを、ネットワークポート112を介して外部のIPネットワークに送出する機能を有する。
カメラ出力データセレクタ104は、撮像部101で撮像した映像を、画像処理部102へ入力するか、バス108及びバスセレクタ111を介して他のカメラへ入力するかを選択するためのスイッチである。
画像処理入力データセレクタ105は、撮像部101で撮像した映像を画像処理部102へ入力するか、他のカメラから入力されるデータをバス109を介して画像処理部102へ入力するかを選択するためのスイッチである。
画像処理出力データセレクタ106は、画像処理部102で処理されたデータを、ネットワーク送信部103へ出力するか、バス110及びバスセレクタ111を介して他のカメラへ出力するかを選択するためのスイッチである。
バスセレクタ111は、バス108及び110を1系統に集約し、いずれかのバスを選択するためのスイッチである。
ネットワークポート112は、ネットワーク送信部103とIPネットワーク間のインターフェースである。ネットワークポート112は、具体的には、例えばEthernet(登録商標)ポートや無線LANで実現される。
データ入出力ポート113は、他のカメラから入力されるデータをバス109に入力するための入力端子と、バスセレクタ111を介してデータを他のカメラへ出力するための出力端子とを備えたインターフェースである。
制御部107は、カメラ100の各部を統括して制御する機能を有し、特に、CPU(Central Processing Unit)107a及びROM(Read Only Memory)107bを含む。
CPU107aは、ROM107bに格納されているプログラムを実行することで種々の処理を実行するものである。
ROM107bは、CPU107aが実行するプログラムや各プログラムを実行するのに必要な情報等を格納するメモリである。ROM107bに格納されているプログラムとしては特に、ID問合せプログラム及びID回答プログラムを含む。
また、ROM107bには自カメラのIDが格納されている。
ID問合せプログラムは、データ入出力ポート113を介して、他のカメラに対してIDを問合せるための信号を送信するよう指示する機能を有する。
ID回答プログラムは、他のカメラからID問合せを受けたとき、ROM107bに格納されている自カメラのIDを、データ入出力ポート113を介して送出する機能を有する。
操作部114は、カメラ100を操作するためにユーザが行う操作入力を受付ける機能を有する。具体的には、例えば図1に示すように、文字や数字が印字されたキーパッドで実現される。
(3.データ)
ここで、メモリ102b及びROM107bに格納されるデータについて説明する。
図5(a)は、メモリ102bに格納されるデータを示す概略図である。
メモリ102bには、画像合成プログラム、圧縮符号化プログラム、テーブル、及び位置情報が格納される。
画像合成プログラムは、カメラ100がマスタに設定されているときに実行される。
圧縮符号化プログラムは、カメラ100が単体として動作する際に撮像部101で撮像した撮像画像を圧縮符号化するために実行されるとともに、カメラ100がスレーブに設定されているときにも実行される。
テーブルは、カメラ100がマスタに設定されているとき、ID問合せプログラムが、カメラ100のデータ入出力ポート113を介して接続された他のカメラのIDと、当該他のカメラのカメラ100に対する相対位置とを対応付けることで生成される。
なお、同図のテーブルの例は、マスタであるカメラ100Aのメモリ102b内のテーブルであり、カメラ100B(ID:BBB)がカメラ100Aのすぐ左隣、カメラ100C(ID:CCC)がカメラ100Aのすぐ下隣、カメラ100D(ID:DDD)がカメラ100Aのすぐ左下に夫々位置していることを示している。
位置情報は、カメラ100をスレーブに設定するとき、マスタとなるカメラから見たカメラ100の位置(相対位置)を示す情報であり、操作部114からユーザが入力することで生成される。また、カメラ100をマスタに設定するときは、操作部114から「Mst」が入力され、これを受けて、「0」を示す情報を位置情報として記憶する。
図5(b)は、ROM107bに格納されるデータを示す概略図である。
ROM107bには、ID問合せプログラム、ID回答プログラム、及びIDとが格納される。
ID問合せプログラムは、カメラ100がマスタに設定されているときに実行される。
ID回答プログラムは、カメラ100がスレーブに設定されているときに実行される。
IDは、カメラ100を識別するための固有の識別情報である。
(4.動作)
次に、カメラ100の動作について説明する。
(4−1.単体のとき)
図6は、カメラ100が単体で動作するときの動作を示す図である。
カメラ100A〜100D夫々が単体で動作する場合、カメラ100A〜100Dは夫々の撮像画像を外部に送信する。
カメラ100A〜100Dにおいて、カメラ出力データセレクタ104及び画像処理入力データセレクタ105は、撮像部101で撮像した撮像画像を画像処理部102に入力するよう、スイッチが選択される。
カメラ100A〜100Dにおいて、再構成ロジック回路102aはメモリ102b内の圧縮符号化プログラムを実行することで圧縮符号化処理を行う回路を構成する。具体的には、ノイズ除去等の前処理の他、画像処理に必要な、動き検出、DCT/Q(量子化)、VLC、ローカルデコード処理を行うためのハードウェアエンジンが構成される。
カメラ100A〜100Dにおいて、画像処理出力データセレクタ106は、画像処理部102で処理された撮像画像をネットワーク送信部103に入力するよう、スイッチが選択される。
こうすることで、カメラ100A〜100D夫々は、撮像部101で撮像した撮像画像を、画像処理部102で画像処理し、ネットワーク送信部103及びネットワークポート112を介してIPネットワーク30に送出する。
IPネットワーク30に接続されたデコーダ40は、送出されたカメラ100A〜100Dの撮像画像を受信し、復号化して表示装置50に送出する。
表示装置50は、画面を分割し、デコーダ40から受信したカメラ100A〜100Dの撮像画像を表示する。
(4−2.結合したとき)
図7は、カメラ100が結合し、協働して動作するときの動作を示す図である。
図7において、カメラ100Aがマスタに設定され、カメラ100B〜100Dがスレーブに設定されているものとする。
カメラ100Aにおいて、カメラ出力データセレクタ104及び画像処理入力データセレクタ105は、データ入出力ポート113から入力される撮像画像を画像処理部102に入力するよう、スイッチが選択される。また、画像処理部102の再構成ロジック回路102aが画像合成プログラムを実行することで画像合成を行う回路を構成する。画像処理出力データセレクタ106は、画像処理部102で生成された合成画像をデータ入出力ポート113から出力するよう、スイッチが選択される。
カメラ100Bにおいて、カメラ出力データセレクタ104は、撮像部101で撮像した撮像画像をデータ入出力ポート113から出力するよう、スイッチが選択される。画像処理入力データセレクタ105は、データ入出力ポート113から入力される合成画像を画像処理部102に入力するよう、スイッチが選択される。画像処理部102の再構成ロジック回路102aは圧縮符号化プログラムを実行することで圧縮符号化処理の一部である動き検出処理を行う回路を構成する。画像処理出力データセレクタ106は、画像処理部102で処理された合成画像をデータ入出力ポート113から出力するよう、スイッチが選択される。
カメラ100Cにおいて、カメラ出力データセレクタ104は、撮像部101で撮像した撮像画像をデータ入出力ポート113から出力するよう、スイッチが選択される。画像処理入力データセレクタ105は、データ入出力ポート113から入力される合成画像を画像処理部102に入力するよう、スイッチが選択される。画像処理部102の再構成ロジック回路102aは圧縮符号化プログラムを実行することで圧縮符号化処理の一部であるDCT/Q処理及びVLC処理を行う回路を構成する。画像処理出力データセレクタ106は、画像処理部102で処理された合成画像をデータ入出力ポート113又はネットワーク送信部103から出力するよう、スイッチが選択される。
カメラ100Dは、カメラ出力データセレクタ104は、撮像部101で撮像した撮像画像をデータ入出力ポート113から出力するよう、スイッチが選択される。画像処理入力データセレクタ105は、データ入出力ポート113から入力される合成画像を画像処理部102に入力するよう、スイッチが選択される。画像処理部102の再構成ロジック回路102aは圧縮符号化プログラムを実行することで圧縮符号化処理の一部であるローカルデコード処理を行う回路を構成する。画像処理出力データセレクタ106は、画像処理部102で処理された合成画像をデータ入出力ポート113から出力するよう、スイッチが選択される。
これらの動作について、図8及び9のフローチャートを参照しながら詳述する。
図8は、マスタに設定されたカメラ100の動作を示すフローチャートである。
図8に示すように、マスタに設定されたカメラ100Aは、画像処理部102の再構成ロジック回路102aが画像合成プログラムを実行することで画像合成を行う回路を構成する(ステップS100)。
カメラ100Aは、カメラ100B〜100DのIDを問い合わせるための信号を、データ入出力ポート113を介して送出する(ステップS101)。
カメラ100Aは、カメラ100B〜100DからID及び位置情報を受信すると(ステップS102)、各IDと各位置情報とを対応付けてテーブルを作成してメモリ102bに格納する(ステップS103)。
カメラ100Aは、ステップS103で作成したテーブルを参照し、スレーブに設定されたカメラ100の台数に応じて、スレーブの各カメラ100に実行させる圧縮符号化処理を指示する信号を、データ入出力ポート113を介して出力する(ステップS104)。
図5に示す例では、スレーブに設定されたカメラ100(カメラ100B〜100D)は3台であり、圧縮符号化処理のうち、動き検出処理をカメラ100Bに、DCT/Q処理及びVLC処理をカメラ100Cに、ローカルデコード処理をカメラ100Dに、夫々実行させるよう指示する。
カメラ100Aは撮像部101で撮像する(ステップS105)とともに、データ入出力ポート113を介してカメラ100B〜100Dの撮像画像を受信する(ステップS106)。
カメラ100Aは、画像合成プログラムに従って、ステップS105で撮像した撮像画像と、ステップS106で受信した撮像画像夫々とを張り合わせて合成画像を生成する(ステップS107)。
ステップS106及びS107では、カメラ100Aは、撮像部101から出される撮像画像をバス108を介して画像処理部102に入力するよう、カメラ出力データセレクタ104のスイッチを制御し、また、カメラ出力データセレクタ104から出力される撮像画像と、データ入出力ポート113を介して入力されるカメラ100B〜100Dの撮像画像とを時分割で選択して画像処理部102へ入力するよう、画像処理入力データセレクタ105のスイッチを制御する。
また、ステップS107では、カメラ100Aは、画像処理部102に入力されたカメラ100A〜100Dの撮像画像を一旦メモリ102bに格納し、ステップS103で作成したテーブルを参照して、各撮像画像の相対的位置関係を把握して画像合成を行う。すなわち、例えば、図5に示す例の場合、カメラ100Bの撮像画像をカメラ100Aの撮像画像の左に張り合わせ、カメラ100Cの撮像画像をカメラ100Aの撮像画像の左下に張り合わせ、カメラ100Dの撮像画像をカメラ100Aの撮像画像の下に張り合わせて、合成画像を生成する。その結果、20万×20万画素(合計400万画素)の合成画像が生成される。
なお、画像合成を行う際の、画像の境界部分の画質が低下しないように補正する技術は、例えば、上述した日本国特許公開1997年224180号公報に記載されている。
カメラ100Aは、ステップS107で生成した合成画像を、データ入出力ポート113を介して出力する(ステップS108)。
ステップS108で、カメラ100Aは、画像処理部102から出力される合成画像をバス110を介してデータ入出力ポート113に入力するよう、画像処理出力データセレクタ106のスイッチを制御する。
図9は、スレーブに設定されたカメラ100の動作を示すフローチャートである。
図9に示すように、スレーブに設定されたカメラ100B〜Dは、画像処理部102の再構成ロジック回路102aが圧縮符号化プログラムを実行することで圧縮符号化処理を行う回路を構成する(ステップS200)。
カメラ100B〜100Dは、カメラ100Aからデータ入出力ポート113を介してIDの問い合わせるための信号を受信すると(ステップS201)、ROM107b内のID及び操作部114から設定された位置情報を、データ入出力ポート113を介して出力する(ステップS202)。
カメラ100B〜100Dは、カメラ100Aから自カメラが実行すべき符号化圧縮処理を受信する(ステップS203)。
カメラ100B〜100Dは、撮像部101で撮像する(ステップS204)とともに、データ入出力ポート113を介して撮像画像をカメラ100Aに送信する(ステップS205)。
その後、カメラ100B〜100Dは、データ入出力データポート113から合成画像を受信する(ステップS206)ので、受信した合成画像に対して、ステップS203で受信した指示に従って符号化圧縮処理の一部を実行して(ステップS207)、データ入出力ポート113又はネットワークポート112を介して出力する(ステップS208)。
ステップS205〜S208におけるカメラ100B〜100Dの具体的な動作は以下の通り。
(i)カメラ100Bは、撮像部101から出力される撮像画像をバス108を介してデータ入出力ポート113に出力するよう、カメラ出力データセレクタ104のスイッチを制御し、また、データ入力ポート113を介して入力されるデータを画像処理部102に入力するよう、画像処理入力データセレクタ105のスイッチを制御する。
カメラ100Bは、カメラ100Aから符号化圧縮前の合成画像と、カメラ100Dからローカルデコード処理された画像とを受信し、両画像を用いて合成画像の動き検出処理を行い、その結果である差分値及びベクトル値を、データ入出力ポート113を介してカメラ100Cに出力する。
カメラ100Bは、画像処理部102から出力されるデータをバス110を介してデータ入出力113に出力するよう、画像処理出力データセレクタ106のスイッチを制御する。
(ii)
カメラ100Cは、撮像部101から出力される撮像画像をバス108を介してデータ入出力ポート113に出力するよう、カメラ出力データセレクタ104のスイッチを制御し、また、データ入力ポート113を介して入力されるデータを画像処理部102に入力するよう、画像処理入力データセレクタ105のスイッチを制御する。
カメラ100Cは、カメラ100Bから動き検出結果を受信し、DCT/Q処理を行い、データ入出力ポート113を介してカメラ100Dに出力する。
また、カメラ100Cは、VLC処理後のデータをネットワーク送信部103を介してIPネットワーク30に出力する。
カメラ100Cは、画像処理部102から出力されるDCT処理済みデータのデータ入出力ポート113への出力と、画像処理部102から出力されるVLC処理済みデータのネットワーク送信部103への出力とを時分割で切り換えるよう、画像処理出力データセレクタ106のスイッチを制御する。
(iii)カメラ100Dは、撮像部101から出力される撮像画像をバス108を介してデータ入出力ポート113に出力するよう、カメラ出力データセレクタ104のスイッチを制御し、また、データ入力ポート113を介して入力されるデータを画像処理部102に入力するよう、画像処理入力データセレクタ105のスイッチを制御する。
カメラ100Dは、カメラ100CからDCT/Q処理結果を受信し、ローカルデコード処理を行い、データ入出力ポート113を介してカメラ100Bに出力する。
カメラ100Dは、画像処理部102から出力されるデータをバス110を介してデータ入出力113に出力するよう、画像処理出力データセレクタ106のスイッチを制御する。
なお、図10は、データ入出力ポート113を介して入出力される信号のプロトコル、及び割り当て帯域の一例を示す図である。
バス108〜110が100MHzで動作し、32ビット幅であるとすると、400MB/sの帯域が確保できる。同図に示す例は、カメラ100A〜100Dから出力されるデータを、時分割で多重化して順番に出力し、繰り返す方式を示している。
この場合、例えば、カメラ100A〜100Dは、120MHz程度の動作周波数で動作し、画像処理部102が480MB/s程度のデータ処理能力を有する構成とする。これにより、カメラ100A〜100Dは、撮像部101からは80MB/sのデータを取り込むとともに、データ入出力ポート113を介して400MB/sのデータを取り込むことができる構成となる。
以上のように、カメラ100A〜100Dは、単体として、撮像部101で撮像した撮像画像を符号化圧縮して外部に出力することができる。
また、カメラ100A〜100Dを結合したときは、各々が協働して各々の撮像画像を合成して符号化圧縮し、外部に出力することができる。
カメラ100A〜100Dのうちマスタに設定された1台が画像合成を行うため、画像同士の境界が画質を低下させることがない。
また、画像処理部102は、単体で使用されるときを想定し、撮像部101で撮像した撮像画像(100万画素)を処理する程度の能力しか有さない場合、撮像部101の撮像画像の4倍の解像度(400万画素)になる合成画像を符号化圧縮するのには本来大変な負荷がかかる。しかし、スレーブに設定されカメラ100が合成画像の符号化圧縮処理を分担するため、スレーブに設定された複数台のカメラ100夫々の画像処理部102の負荷を軽減することができる。
マスタに設定されたカメラ100は、スレーブに設定された他のカメラ100のIDと位置情報とを管理し、自カメラとの相対的位置関係に基づいて合成画像を生成する。このため、カメラ100は、高解像度の画像を得るために自由に組み合わせて結合し、その組み合わせに応じた適切な合成画像を生成して圧縮符号化することができる。
(変形例)
以上説明してきたカメラ100には、種々の変形を加えることが可能である。
(変形例1)
(1.概要)
実施形態1のカメラ100は、結合したときスレーブに設定されると、複数の工程(動き検出処理、DCT/Q処理、VLC処理、ローカルデコード処理)を分担して処理する構成であった。これに対し、カメラ100を、1枚の画面のスライスを分担して符号化圧縮するよう構成してもよい。
(2.スライスについて)
図11は、MPEG規格に準拠したスライスを示す図である。
図11に示すように、MPEG規格に準拠して圧縮符号化される画像(ピクチャ)は、複数のスライスに分割することができる(スライス01、スライス02、スライス03、スライス04、・・・スライスn)
(3.構成及び動作)
図12は、変形例1において、カメラ100が結合し、協働して動作するときの動作を示す図である。
カメラ100Aがマスタに設定され、カメラ100B〜100Dがスレーブに設定されているものとする。
変形例1において、カメラ100Aの画像処理部102は、カメラ100が結合して協働する場合でカメラ100がマスタに設定されているとき、テーブルを参照し、カメラ100B〜100Dの台数に応じて、各カメラ100B〜100Dに圧縮符号化処理をさせるスライスを指示する信号を、データ入出力ポート113を介して出力する。
また、変形例1において、カメラ100B〜100Dの画像処理部102は、カメラ100が結合して協働する場合でカメラ100がスレーブに設定されているとき、データ入出力データポート113から受信した合成画像に対して、マスタのカメラ100Aから受けた指示に従ってスライスを符号化圧縮する。
図12に示す例では、スレーブに設定されたカメラ100(カメラ100B〜100D)は3台であり、カメラ100Aは、スライスのうち、スライスnの圧縮符号化処理をカメラ100Bに、スライス(n+1)の圧縮符号化処理をカメラ100Cに、スライス(n+2)の圧縮符号化処理をカメラ100Dに、夫々実行させるよう指示する。
これを受けて、カメラ100Bはスライスnを、カメラ100Cはスライス(n+1)を、カメラ100Dはスライス(n+2)を夫々圧縮符号化する。
以上のように構成することで、カメラ100A〜100Dを結合したとき、カメラ100A〜2001は、各々が協働して合成画像のスライスを分担して符号化圧縮し、外部に出力することができる。
(変形例2)
(1.概要)
実施形態1のカメラ100では、カメラ100を結合したときに再構成ロジック回路102aが実行するプログラムをメモリ102bが格納している構成であった。
これに対し、カメラ100を、カメラ100を結合したときに再構成ロジック回路102aが実行する、圧縮符号化処理の一部を行うためのプログラムを外部サーバからIPネットワーク30経由で取得するよう構成してもよい。
(2.構成及び動作)
図13は、変形例2において、カメラ100が結合し、協働して動作するときの動作を示す図である。
カメラ100Aがマスタに設定され、カメラ100B〜100Dがスレーブに設定されているものとする。
図13に示すように、IPネットワーク30にサーバ60が接続されている。
変形例1の画像処理部102では、メモリ102bには、カメラ100が単体で動作する場合に、撮像部101で撮像した画像を圧縮符号化するためのプログラムのみが予め格納されている。
変形例1においては、カメラ100Aの画像処理部102は、カメラ100が結合して協働する場合でカメラ100がマスタに設定されているとき、テーブルを参照し、スレーブに設定されたカメラ100B〜100Dの台数に応じて、各カメラ100B〜100Dに実行させる圧縮符号化処理を指示する信号を、データ入出力ポート113を介して出力する。
また、変形例2においては、カメラ100B〜100Dの画像処理部301は、カメラ100が結合して協働するとき、データ入出力データポート113から受信した合成画像に対して実行すべき圧縮符号化処理のプログラムをサーバ60から取得してメモリにロードする。再構成ロジック回路102aは、メモリ102bにロードされたプログラムを実行して回路構成を変更し、自カメラに割り当てられた圧縮符号化処理を実行する。
図13の例では、カメラ100Aは、カメラ100Bに動き検出処理を、カメラ100CにDCT/Q処理及びVLC処理を、カメラ100Dにローカルデコード処理を夫々実行するよう指示する。
カメラ100Bは、指示された動き検出処理を実行するためのプログラムをサーバ60から取得し、メモリ102bにロードし、ロードしたプログラムを再構成ロジック回路102aで実行する。
カメラ100Cは、指示されたDCT/Q処理及びVLC処理を実行するためのプログラムをサーバ60から取得し、メモリ102bにロードし、ロードしたプログラムを再構成ロジック回路102aで実行する。
カメラ100Dは、指示されたローカルデコード処理を実行するためのプログラムをサーバ60から取得し、メモリ102bにロードし、ロードしたプログラムを再構成ロジック回路102aで実行する。
以上のように構成することで、カメラ100は、メモリ102bに予め合成画像を圧縮符号化するためのプログラムを格納しておく必要がなく、その都度必要に応じて最小限のプログラムをサーバ60から取得し実行することができる。
特に、カメラ100を結合する台数によって、マスタであるカメラ100Aがスレーブである他のカメラに指示する圧縮符号化処理が異なってくるため、結合台数が想定されていない場合に有用である。
(変形例3)
(1.概要)
実施形態1のカメラ100において、レンズを駆動するための駆動部115を備え、レンズを駆動できるよう構成してもよい。
(2.構成)
図14は、変形例3のカメラ100の構成を示すブロック図である。
駆動部115は、制御部107からの指示を受けて撮像部101のレンズを調整する機能を有する。
これにより、カメラ100は、例えば操作部114からの入力によって、カメラ101のレンズを調整してズーム、パン(レンズの水平方向の移動)、チルト(レンズの垂直方向の移動)等が可能である。
変形例3においては、カメラ100を結合したとき、1台のカメラ(例えばカメラ100A)の撮像部101のレンズが調整されると、これに応じて、当該カメラ(カメラ100A)がデータ入出力ポート113を介して他のカメラ(例えばカメラ100B〜100D)にレンズの調整を指示する信号を出力する。
カメラ100B〜100Dは、カメラ100Aからの指示に応じて、駆動部115で撮像部101のレンズを調整する。
具体的には、カメラ100Aの撮像部101のレンズの調整に応じ、当該調整によってカメラ100A〜100Dの合成画像の境界の重なり具合が変化するため、カメラ100Aがカメラ100B〜100Dに対して出力する指示は、この変化に対応して画像合成時の境界の重なり方がレンズの調整前と同じ程度になるよう、撮像部101のレンズを調整させるための指示である。
例えば、カメラ100Aの撮像部101のレンズを調整してズームすると、カメラ100B〜100Dの撮像部101のレンズも調整してズームしなければならない。また、同時に、パンやチルトを行ってズーム後のカメラ100A〜カメラ100Dの合成画像の境界の重なり方が、ズーム前における合成画像の境界の重なり方と同じ程度に調整しなければならない。
以上のように構成することで、カメラ100A〜100Dを結合して使用するときに、いずれかのカメラ(例えば100A)の撮像部101を調整してズームさせたりパンやチルトさせた場合に、他のカメラ(例えばカメラ100B〜100D)の撮像部101も調整し、カメラ100A〜100Dの合成画像の境界を適切に保つことができる。
(変形例4)
(1.概要)
実施形態1のカメラ100は、画像処理部102で圧縮符号化処理が完了した画像をネットワーク送信部103を介してIPネットワーク30に出力する構成であった。
これに対し、カメラ100において、ネットワーク送信部103を設けずに画像処理部102内の再構成ロジック回路102aが回路構成を変更してネットワーク送信部103と同様の処理を実行するよう構成してもよい。
図15は、変形例3のカメラ100の構成を示すブロック図である。
変形例3においては、メモリ102bに、ネットワーク送信部103が実行する処理(画像処理部102が画像処理したデータを、ネットワークポート112を介して外部のIPネットワークに送出する処理)を実行するためのプログラムが格納されている。再構成ロジック回路102aが当該プログラムを実行することで、画像処理部102で処理された画像を、ネットワークポート112を介してIPネットワーク30に出力することができる。
以上のように構成することで、カメラ100の構成を単純化することができ、カメラ100の小型化に効果的である。
(変形例5)
(1.概要)
実施形態1のカメラ100は、カメラ100同士を接続しない場合に単体として動作し、カメラ100同士を接続した場合に協働して動作する構成であって。
これに対し、カメラ100の接続状態に依らず、デコーダ40が、カメラ100が単体で動作するか協働して動作するかを指示するよう構成してもよい。
図16は、変形例5のカメラ100のメモリ102bに格納されるデータ、及びROM107bに格納されるデータを示す概略図である。
また、図17は、変形例5のカメラ100の動作を示す図である。
図16に示すように、変形例5においては、ROM107bに、新たにモード設定プログラムが格納されている。
モード設定プログラムは、ネットワークポート112を介してデコーダ40から送られてくるモード指示情報に従い、モードの設定を画像処理部102に行う機能を有する。
図17に示すように、デコーダ40にはモード指示部41が備わっている。
モード指示部41は、カメラ100が単体で動作するか、協働して動作するか、いずれのモードで動作するかを指示するための情報を、IPネットワーク30を介してカメラ100に送信する機能を有する。
モード設定プログラムを実行するCPU107aは、デコード40から、単体で動作する指示を受けた場合は、画像処理部102に対して単体で動作するよう(すなわち、図6で説明した動作をするよう)指示し、協働で動作する指示を受けた場合は、画像処理部102に対して協働して動作するよう(すなわち、図7で説明した動作をするよう)指示する。
以上のように構成することで、カメラ100を単体で動作させるか、協働してどうさせるかを、デコーダ40側で決定することができる。デコーダ40の操作者が、監視する画像に応じてカメラ100の単体動作と協働動作を切り換えることができるため有用である。
(補足)
以上、実施形態1、及び変形例1〜5に基づき、本発明のカメラシステムについて説明してきたが、その構成は上記記載に限定されるものではない。
(1)実施形態1及び変形例1〜5では、スレーブに設定するカメラ100の位置情報を入力するのに、操作部114から上下左右の文字及び数字の組み合わせで入力する例を示したが、これに限定されるものではない。
マスタとなるカメラ100に対する位置を認識できる方法であればいかなる方法であったもかまわまない。例えば、四方全ての結合部10に結合検出用のセンサを取り付け、検出したセンサの箇所によって、マスタとなるカメラ100に対する他のカメラの上下左右位置を入力するような構成や、各撮像画像の端部(縁)の画素をパターンマッチングすることで、マスタとなるカメラ100に対する他のカメラの上下左右位置を認識するような構成等が考えられる。
(2)実施形態1及び変形例1〜5では、カメラ100をマスタに設定するために、操作部114から位置情報として「0」を入力する例を示したがこれに限定されるものではない。
例えば、操作部114とは別にスイッチを設け、当該スイッチからマスタ又はスレーブを決定する操作を行うようにしてもよい。
(3)実施形態1及び変形例1〜5では、結合部10及び結合部材20を用いてカメラ100を結合する例を示したが、これに限定されるものではなく、カメラ100を結合できる態様であればいかなる方法でもかまわない。
(4)実施形態1及び変形例1〜5では、撮像部101が解像度10万×10万画素を有する例を示したが、これに限定されるものではない。画素数は任意である。例えば、30万×20万画素など、種々の画素数が考えられる。
(5)実施形態1及び変形例1〜5では、カメラ100A〜100Dの4台のカメラが接続される例を示したが、この台数に限定されるものではない。
カメラ100は、結合部10を介して任意の台数のカメラと結合可能であり、データ入出力ポート113を介して任意の台数のカメラと接続可能である。
(6)実施形態1及び変形例1〜5では、カメラ100同士は、データ入出力ポート113を介してFPC又はケーブルで接続される例を示したが、これに限定されるものではない。
UWB(Ultra Wide Band)やブルートゥース(登録商標)等の無線技術を用いて接続するように構成してもよいし、結合部10に電極を設けて当該電極を介して接続するように構成してもよい。カメラ100同士は、データの伝送が行えればいかなる手段でも接続し得る。
(7)実施形態1及び変形例1〜5では、回路構成を変更可能な再構成ロジック回路102a(FPGA等)を用いることでハードウェア的に画像処理部102の実行する処理を変更できる構成を示したが、これに限定されるものではない。
例えば、画像処理部102に画像処理用のプロセッサを備え、当該プロセッサが、合成画像の生成及び合成画像の圧縮符号化を実行するためのプログラムを実行することでソフトウェア的に画像処理部102の実行する処理を変更できる構成としてもよい。
(8)実施形態1並びに変形例1、2、3、及び5において、図4及び図14の点線で示すように、画像処理部102、ネットワーク送信部103、カメラ出力データセレクタ104、画像処理入力データセレクタ105、画像処理出力データセレクタ106、制御部107、バス108、109、110、及びバスセレクタ111を統合してワンチップ化してもよい。同様に、変形例4において、図15の点線で示すように、画像処理部102、カメラ出力データセレクタ104、画像処理入力データセレクタ105、画像処理出力データセレクタ106、制御部107、バス108、109、110、及びバスセレクタ111を統合してワンチップ化してもよい。ワンチップ化された回路は集積度に応じてIC(Integrated Circuit)、LSI(Large Scale Integration)、VLSI(Very Large Scale Integration)、ULSI(Ultra-Large Scale Integration)等と呼ばれる。
本発明は、撮像画像を圧縮符号化して外部に出力する機能を有するカメラに広く適用可能である。
図1は、カメラ100の外観を示す斜視図である。 図2は、カメラ100同士を結合する状態を示す図である。 図3は、結合したカメラ100の接続状態を示す図である。 図4は、カメラ100の構成を示すブロック図である。 図5は、メモリ102bに格納されるデータ、及びROM107bに格納されるデータを示す概略図である。 図6は、カメラ100が単体で動作するときの動作を示す図である。 図7は、カメラ100が結合し、協働して動作するときの動作を示す図である。 図8は、マスタに設定されたカメラ100の動作を示すフローチャートである。 図9は、スレーブに設定されたカメラ100の動作を示すフローチャートである。 図10は、データ入出力ポート113を介して入出力される信号のプロトコル、及び割り当て帯域の一例を示す図である。 図11は、MPEG規格に準拠したスライスを示す図である。 図12は、変形例1のカメラ100が結合し、協働して動作するときの動作を示す図である。 図13は、変形例2のカメラ100が結合し、協働して動作するときの動作を示す図である。 図14は、変形例3のカメラ100の構成を示すブロック図である。 図15は、変形例4のカメラ100の構成を示すブロック図である。 図16は、変形例5のカメラ100のメモリ102bに格納されるデータ、及びROM107bに格納されるデータを示す概略図である。 図17は、変形例5のカメラ100の動作を示す図である。 図18は、従来のカメラの構成を示すブロック図である。
符号の説明
100 カメラ
101 撮像部
102 画像処理部
103 ネットワーク送信部
104 カメラ出力データセレクタ
105 画像処理入力データセレクタ
106 画像処理出力データセレクタ
107 制御部
108、109、110 バス
111 バスセレクタ
112 ネットワークポート
113 データ入出力ポート
114 操作部

Claims (12)

  1. 複数のカメラを含むカメラシステムであって、
    前記複数のカメラ夫々は、
    撮像手段と、
    単体で動作する第1モードに設定されている場合、前記撮像手段で撮像した撮像画像を圧縮符号化する画像処理手段を備え、
    前記複数のカメラのうち第1カメラは、
    他のカメラから撮像画像を受信する撮像画像受信手段と、
    他のカメラと協働して動作する第2モードに設定されている場合、前記撮像画像受信手段で受信した撮像画像と、当該第1カメラの撮像手段で撮像した撮像画像とを張り合わせて合成画像を生成する処理を、当該第1カメラの画像処理手段に実行させる第1実行手段と、
    生成された合成画像を、他のカメラのうち第2カメラに送信する合成画像送信手段とを備え、
    前記第2カメラは、
    前記第1カメラから前記合成画像を受信する合成画像受信手段と、
    前記第2モードに設定されている場合、前記合成画像受信手段で受信した前記合成画像について圧縮符号化処理の一部又は全てを、当該第2カメラの画像処理手段に実行させる第2実行手段とを備える
    ことを特徴とするカメラシステム。
  2. 前記第1実行手段は前記第1カメラの画像処理手段に設けられ、前記第2実行手段は前記第2カメラの画像処理手段に設けられた、夫々、回路構成を変更することで実行する処理を変更することのできる再構成回路であり、
    前記第2モードのとき、前記第1実行手段は、前記第1モードのときの回路構成から、前記合成画像を生成する処理を実行するための回路構成に変更し、
    前記第2モードのとき、前記第2実行手段は、前記第1モードのときの回路構成から、前記合成画像について圧縮符号化処理の一部又は全てを実行するための回路構成に変更する
    ことを特徴とする請求項1記載のカメラシステム。
  3. 前記第2モードのとき、前記第1のカメラは、前記他のカメラから、個々のカメラの前記第1のカメラに対する位置を示す位置情報と、個々のカメラを識別するための識別情報とを受信するカメラ情報受信手段と備え、
    前記第2モードのとき、前記第1のカメラの画像処理手段は、前記カメラ情報受信手段で受信した位置情報及び識別情報に基づき、前記撮像画像受信手段で受信した撮像画像と、当該第1のカメラの撮像手段で撮像した撮像画像とを張り合わせて合成画像を生成する
    ことを特徴とする請求項1記載のカメラシステム。
  4. 前記第2モードのとき、前記第2カメラは、当該第2カメラの画像処理手段で前記合成画像の圧縮符号化処理の一部を実行するものであり、
    前記複数のカメラのうち、前記第1カメラと第2カメラとは異なるカメラが分担して、前記合成画像の圧縮符号化処理の残りを行う
    ことを特徴とする請求項1記載のカメラシステム。
  5. 前記第2モードのとき、前記第1カメラは、前記複数のカメラのうち当該第1カメラ以外のカメラに対して前記合成画像の圧縮符号化処理を分担して行うよう指示し、
    前記第2モードのとき、前記第2カメラ、及び前記第1カメラと前記第2カメラとは異なるカメラが分担して、前記合成画像の圧縮符号化処理を行う
    ことを特徴とする請求項4記載のカメラシステム。
  6. 前記合成映像は、複数の工程を経て圧縮符号化されるものであり、
    前記第2モードのとき、前記第2カメラ、及び前記第1カメラと前記第2カメラとは異なるカメラは、夫々の画像処理部において、前記複数の工程を分担して圧縮符号化処理する
    ことを特徴とする請求4記載のカメラシステム。
  7. 前記合成映像は、MPEG規格に従って複数のスライスに分けて圧縮符号化可能なものであり、
    前記第2モードのとき、前記第2カメラ、及び前記第1カメラと前記第2カメラとは異なるカメラは、夫々の画像処理部において、前記複数のスライスを分担して圧縮符号化処理する
    ことを特徴とする請求項4記載のカメラシステム。
  8. 前記複数のカメラとネットワークを介して接続される外部装置をさらに含み、
    前記外部装置は、前記複数のカメラに対し、前記第1モード又は前記第2モードのいずれかで動作するよう指示する指示手段を備え、
    前記複数のカメラ夫々は、
    前記外部装置からの指示に従い前記第1モード又は前記第2モードに設定する
    ことを特徴とする請求項1記載のカメラシステム。
  9. 複数の他のカメラと協働して動作可能なカメラであって、
    撮像手段と、
    単体で動作する第1モードに設定されている場合、前記撮像手段で撮像した撮像画像を圧縮符号化する画像処理手段と、
    前記複数の他のカメラと協働して動作する第2モードに設定されている場合、前記複数の他のカメラから撮像画像を受信する撮像画像受信手段と、
    前記複数の他のカメラと協働して動作する第2モードに設定されている場合、前記撮像画像受信手段で受信した撮像画像と、前記撮像手段で撮像した撮像画像とを張り合わせて合成画像を生成する処理を、前記画像処理手段に実行させる実行手段と、
    生成された合成画像、及び当該合成画像の符号化圧縮処理の指示を、前記複数の他のカメラのうち少なくとも1つのカメラに送信する送信手段とを備える
    ことを特徴とするカメラ。
  10. 複数の他のカメラと協働して動作可能なカメラであって、
    撮像手段と、
    単体で動作する第1モードに設定されている場合、前記撮像手段で撮像した撮像画像を圧縮符号化する画像処理手段と、
    前記複数の他のカメラと協働して動作する第2モードに設定されている場合、前記撮像手段で撮像した画像を、前記複数の他のカメラのうち第1カメラに送信する画像送信手段と、
    前記複数の他のカメラと協働して動作する第2モードに設定されている場合、前記撮像手段で撮像した画像と他の画像とが張り合わされた合成画像を、前記第1カメラから受信する合成画像受信手段と、
    前記複数の他のカメラと協働して動作する第2モードに設定されている場合、前記合成画像受信手段で受信した合成画像の圧縮符号化処理の一部又は全てを、前記画像処理手段に実行させる実行手段とを備える
    ことを特徴とするカメラ。
  11. 複数の他の画像処理回路と協働可能であり、カメラに用いられる画像処理回路であって、
    単体で動作する第1モードに設定されている場合、前記カメラの撮像手段で撮像した撮像画像を入力して圧縮符号化する画像処理手段と、
    前記複数の他の画像処理回路と協働して動作する第2モードに設定されている場合、当該複数の他の画像処理回路から画像を入力する画像入力手段と、
    前記複数の他の画像処理回路と協働して動作する第2モードに設定されている場合、前記画像入力手段で入力した画像と、前記カメラの撮像手段で撮像した撮像画像とを張り合わせて合成画像を生成する処理を、前記画像処理手段に実行させる実行手段と、
    生成された合成画像、及び当該合成画像の符号化圧縮処理の指示を、前記複数の他の画像処理回路のうち少なくとも1つの画像処理回路に出力する出力手段とを備える
    ことを特徴とする画像処理回路。
  12. 複数の他の画像処理回路と協働可能であり、カメラに用いられる画像処理回路であって、
    単体で動作する第1モードに設定されている場合、前記カメラの撮像手段で撮像した撮像画像を入力して圧縮符号化する画像処理手段と、
    前記複数の他の画像処理回路と協働して動作する第2モードに設定されている場合、前記カメラの撮像手段で撮像した画像を入力し、前記複数の他の画像処理回路のうち第1画像処理回路に出力する画像出力手段と、
    前記複数の他の画像処理回路と協働して動作する第2モードに設定されている場合、前記カメラの撮像手段で撮像した画像と他の画像とが張り合わされた合成画像を、前記第1画像処理回路から入力する合成画像入力手段と、
    前記複数の他の画像処理回路と協働して動作する第2モードに設定されている場合、前記合成画像入力手段で入力した合成画像の圧縮符号化処理の一部又は全てを、前記画像処理手段に実行させる実行手段とを備える
    ことを特徴とする画像処理回路。
JP2007217038A 2006-08-28 2007-08-23 カメラ、カメラシステム、及び画像処理回路 Expired - Fee Related JP4861929B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007217038A JP4861929B2 (ja) 2006-08-28 2007-08-23 カメラ、カメラシステム、及び画像処理回路

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2006230058 2006-08-28
JP2006230058 2006-08-28
JP2007217038A JP4861929B2 (ja) 2006-08-28 2007-08-23 カメラ、カメラシステム、及び画像処理回路

Publications (2)

Publication Number Publication Date
JP2008085999A true JP2008085999A (ja) 2008-04-10
JP4861929B2 JP4861929B2 (ja) 2012-01-25

Family

ID=39356312

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007217038A Expired - Fee Related JP4861929B2 (ja) 2006-08-28 2007-08-23 カメラ、カメラシステム、及び画像処理回路

Country Status (1)

Country Link
JP (1) JP4861929B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018010117A (ja) * 2016-07-13 2018-01-18 株式会社ソニー・インタラクティブエンタテインメント カメラ、スタンド、及びそれらを備えるカメラユニット

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11136677A (ja) * 1997-10-30 1999-05-21 Fujitsu Ltd 画像情報処理装置及び符号装置
JP2004080090A (ja) * 2002-08-09 2004-03-11 Hitachi Ltd 監視部ユニット、それを用いた監視システム、及び異常監視方法
JP2004147190A (ja) * 2002-10-25 2004-05-20 Matsushita Electric Ind Co Ltd 画像合成機能付き撮像装置及び撮像システム
JP2005218758A (ja) * 2004-02-09 2005-08-18 Konica Minolta Medical & Graphic Inc 医用画像システム、医用画像処理システム及びプログラム
JP2005252955A (ja) * 2004-03-08 2005-09-15 Canon Inc 撮像システム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11136677A (ja) * 1997-10-30 1999-05-21 Fujitsu Ltd 画像情報処理装置及び符号装置
JP2004080090A (ja) * 2002-08-09 2004-03-11 Hitachi Ltd 監視部ユニット、それを用いた監視システム、及び異常監視方法
JP2004147190A (ja) * 2002-10-25 2004-05-20 Matsushita Electric Ind Co Ltd 画像合成機能付き撮像装置及び撮像システム
JP2005218758A (ja) * 2004-02-09 2005-08-18 Konica Minolta Medical & Graphic Inc 医用画像システム、医用画像処理システム及びプログラム
JP2005252955A (ja) * 2004-03-08 2005-09-15 Canon Inc 撮像システム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018010117A (ja) * 2016-07-13 2018-01-18 株式会社ソニー・インタラクティブエンタテインメント カメラ、スタンド、及びそれらを備えるカメラユニット
US10184606B2 (en) 2016-07-13 2019-01-22 Sony Interactive Entertainment Inc. Camera, stand, and camera unit having camera and stand

Also Published As

Publication number Publication date
JP4861929B2 (ja) 2012-01-25

Similar Documents

Publication Publication Date Title
US7843487B2 (en) System of linkable cameras, each receiving, contributing to the encoding of, and transmitting an image
JP4345829B2 (ja) 画像表示システム、画像表示装置、画像表示方法およびプログラム
US7680192B2 (en) Multi-sensor panoramic network camera
JP5337707B2 (ja) 画像前処理のための方法およびシステム
TWI415462B (zh) 選定的影像擷取、傳輸及重製之系統及方法
US20140244858A1 (en) Communication system and relaying device
WO1999011073A1 (en) Stereoscopic image video signal generator, stereoscopic image video signal transmitter, stereoscopic image video signal receiver, and stereoscopic image video signal transmission switching device
US8774539B2 (en) Encoder, decoder, encoder system, decoder system, transmission adapter, encoding method, decoding method, and imaging apparatus
JP2007318596A (ja) 広角レンズによる撮像データの圧縮方法、伸長表示方法、圧縮装置、広角カメラ装置およびモニタシステム
KR101611531B1 (ko) 촬영장치 및 촬영영상 제공방법
WO2014192804A1 (ja) デコーダ及び監視システム
JP2006310975A (ja) ビデオモザイキング装置、パノラマ映像送受信システム、パノラマ映像作成送信装置、パノラマ映像受信装置、パノラマ映像用ストリップ作成送信装置およびパノラマ映像用ストリップ受信装置
US11295589B2 (en) Image processing device and method for simultaneously transmitting a plurality of pieces of image data obtained from a plurality of camera modules
JP4861929B2 (ja) カメラ、カメラシステム、及び画像処理回路
JP2008109364A (ja) カメラサーバシステム、データの処理方法、およびカメラサーバ
US8269858B2 (en) Image pickup device, image pickup method, and integrated circuit
US20020040480A1 (en) On-demand camera relay method and device
JP4763351B2 (ja) 多重センサパノラマネットワークカメラ
JP2000324474A (ja) カメラ画像伝送方法及びカメラ画像伝送システム
JP3931768B2 (ja) 画像撮影装置および画像撮影システム
JP2019009507A (ja) 画像処理装置およびその制御方法、撮像装置、監視システム
JP2006165664A (ja) 画像送受信システム
JP2006222617A (ja) 遠隔撮影システム、遠隔表示制御装置及び遠隔撮影装置
JP2010114575A (ja) 監視システム
JP2007067677A (ja) 画像表示装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100305

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110906

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20111018

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20111107

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141111

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees