JP2004186922A - 複数台のカメラを使用した広域撮影方法 - Google Patents
複数台のカメラを使用した広域撮影方法 Download PDFInfo
- Publication number
- JP2004186922A JP2004186922A JP2002350441A JP2002350441A JP2004186922A JP 2004186922 A JP2004186922 A JP 2004186922A JP 2002350441 A JP2002350441 A JP 2002350441A JP 2002350441 A JP2002350441 A JP 2002350441A JP 2004186922 A JP2004186922 A JP 2004186922A
- Authority
- JP
- Japan
- Prior art keywords
- image
- camera
- images
- cameras
- video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Studio Devices (AREA)
Abstract
【課題】複数台のカメラを使用し、映像の欠落・重なりのない、ひとつにまとまった広域映像を取得する広域撮影技術を提供するとともに、広域映像中で動き検出した物体についての追尾映像（詳細映像）を表示することができる技術を提供する。
【解決手段】複数台のカメラを配置するにあたって、隣り合うカメラ同士を近接して配置するとともに内側に傾けて配置し、撮影範囲における映像の欠落防止を図るとともに、複数台のカメラのシャッターの同期をとる手段と、各カメラから入力された各映像についてのデータ転送の同期をとる手段と、各映像を連結する手段とによって、時間ズレのない映像を連結し、さらに、前記各映像の重なりを検出する手段と、前記映像の重なりの一方を除去する手段と、各映像を連結する手段とによって、並列入力した各映像について、カメラから対象物までの距離変化に対応した各映像の重なりを調整（補正）しながら連結する。
【選択図】 図３
【解決手段】複数台のカメラを配置するにあたって、隣り合うカメラ同士を近接して配置するとともに内側に傾けて配置し、撮影範囲における映像の欠落防止を図るとともに、複数台のカメラのシャッターの同期をとる手段と、各カメラから入力された各映像についてのデータ転送の同期をとる手段と、各映像を連結する手段とによって、時間ズレのない映像を連結し、さらに、前記各映像の重なりを検出する手段と、前記映像の重なりの一方を除去する手段と、各映像を連結する手段とによって、並列入力した各映像について、カメラから対象物までの距離変化に対応した各映像の重なりを調整（補正）しながら連結する。
【選択図】 図３
Description
【０００１】
【発明の属する技術分野】
本発明は、複数台のカメラを使用して広域を撮影する方法に関し、各カメラで撮影した映像の重なりを補正しながら連結する技術に関する。
【０００２】
【従来の技術と発明が解決しようとする課題】
広域を撮影する方法として、広角レンズを備えたカメラ（広角カメラ）を使用して撮影する方法があり、広域の高解像度映像を撮影する場合、広角レンズを備えた高解像度カメラを使用していた。
そして例えば、広角レンズを備えた高解像度カメラを映像監視システムに導入し、監視領域内の詳細映像を取得し、監視を行っていた（例えば、未公開特許出願１を参照）。
【０００３】
【未公開特許出願１】
特願２００２−１６７３１０
【０００４】
しかし、１台の高解像度カメラを使用して広域を撮影することには限界があった。
例えば、高解像度用カメラは高精度レンズを使用するため、高解像度用の広角レンズを製造するのが難しく、レンズ製造技術に限界があった。
また画素数を上げると、フレームレートが下がることや画素あたりの光量が下がることから、動画で使える画素数には限界があり、そのため、広域（広範囲）かつ高解像度の映像を取得するのにも限界があった。
【０００５】
一方、監視領域内に複数台のカメラを設置して監視領域内の区画をそれぞれ撮影し、各カメラで撮影した映像をそれぞれモニタに表示して監視する方法もあるが、この場合、監視者は複数の映像を監視しなくてはならず監視者の労力が大きかった。特に、監視領域内の動体を監視する場合、各カメラ間（各撮影区画間）を前記動体が移動して別のモニタに表示されたときなど、動体の監視が困難であった。
【０００６】
そこで、複数台のカメラを使用し、撮影範囲を区分けして各カメラで撮影するとともに各カメラで撮影した映像を連結し、広域撮影範囲全体の映像を取得する広域撮影方法が考えられる。しかし、各カメラで撮影した各映像を連結したときに、カメラからの距離によって映像の欠落や重なりが起こり、全ての距離において映像をうまく連結することができなかった。
【０００７】
複数台のカメラを使用した広域撮影方法による各映像の連結について図６に示す。
図６（ａ）に示すように、第１カメラ１と第２カメラ２を隣り合わせて平行に配置し、これらのカメラで撮影した映像を連結する場合、カメラからの距離が連結照準距離Ｈの地点（対象物）を各カメラで撮影し、連結点Ｐの左側を撮影する第１カメラ１の映像と、連結点Ｐの右側を撮影する第２カメラ２の映像を連結した場合、各カメラの映像をうまく連結することができる（図６（ｂ）参照）。
しかし、カメラからの距離が連結照準距離Ｈよりも近い地点の映像を連結した場合、撮影範囲に欠落領域が発生し、そのため各映像をうまく連結できず、連結映像に欠落部分があった（図６（ｃ）参照）。
また、カメラからの距離が連結照準距離Ｈよりも遠い地点の映像を連結した場合、撮影範囲に重複領域が発生し、そのため各映像をうまく連結できず、連結映像に重複部分があった（図６（ｄ）参照）。
【０００８】
【課題を解決するための手段】
そこでこの発明は、上述した従来の複数台のカメラを使用した撮影技術の欠点を解消するもであって、複数台のカメラを配置するにあたって、隣り合うカメラ同士を近接して配置するとともに内側に傾けて配置し、撮影範囲における映像の欠落・重なりを最小限にするとともに、隣り合うカメラで撮影した各映像が映像端同士で重なるように撮影範囲を区分けして撮影するとともに、前記各映像を並列入力する手段（複数台のカメラ）と、複数台のカメラのシャッターの同期をとる手段と、各カメラから入力された各映像についてのデータ転送の同期をとる手段と、各映像を連結する手段とによって、各カメラ間におけるシャッタータイミングとデータ転送による映像の同期を合わせ各映像を連結し、さらに、前記各映像の重なりを検出する手段と、前記映像の重なりの一方を除去する手段と、各映像を連結する手段とによって、並列入力した各映像について、映像の重なりを補正して連結する。
【０００９】
【発明の実施の形態】
以下、本発明の実施例を図面を参照しながら説明する。
【００１０】
図１は、複数台のカメラを使用した撮影方法における、カメラの配置方法を示すものである。
この実施例では、複数台のカメラを配置するときに、隣り合うカメラ同士を接近させてレンズ同士の間隔を縮めて配置するとともに、隣り合うカメラ同士を内側に傾けて配置し、映像の欠落領域と重複領域を最小限にし、さらに隣り合うカメラで撮影した各映像が映像端同士で重なるように撮影することによって、映像に欠落領域が発生しないよう撮影する。
なお図１に示すように、隣り合うカメラ同士（第１カメラ１と第２カメラ２）を内側に傾けたとき、カメラ中心間の角度θを、使用するカメラのレンズの水平画角（カメラによる撮影角度）Ａより少なくすること（Ａ−α）が好ましい。
【００１１】
隣り合わせて配置した複数台のＣＣＤカメラ（高解像度カメラ）を使用し、広域範囲を区分けして撮影し、各映像を連結する場合、カメラには大きさがあるので各カメラ内のＣＣＤの間隔（第１カメラ１に内蔵されているＣＣＤと第２カメラ２に内蔵されているＣＣＤとの間隔）が離れてしまい映像に欠落が生じる。背景で映像の連結をすると手前に欠落が生じ、手前で映像の連結をすると背景に重なりが生じてしまう。この欠落と重なりを最小限に抑える必要がある（図６（ａ）参照）。
隣り合うカメラで撮影した映像に欠落や重なりが発生するのは、カメラに大きさがあるために生じることである。各々のカメラを外側に向けるとカメラ本体の大きさにより各カメラ内のＣＣＤの間隔が大きく開き、そのため大きな映像欠落領域が発生する。しかし各々のカメラを内側に向けると各カメラ内のＣＣＤの間隔はレンズの大きさにより決定されることとなる。通常、カメラ本体よりもレンズの方がカメラ本体よりも小さいため、カメラを外側に向けて配置するよりも内側に配置する方が、映像の欠落と重なりを最小限に抑えることができる。
【００１２】
図２のブロック図は、複数台のカメラを使用した撮影方法を利用した映像監視システムの実施例を示すものである。
この実施例による映像監視システムは、複数台のカメラから入力した各映像（区画映像）を連結することによって監視領域全体（広域）の高解像度映像を取得するとともに、各カメラから入力される高解像度映像に基づいて動き検出を行い、検出された動体の詳細映像（高解像度映像）を、全体映像（広域映像）から部分的に切り出して表示するものである。
すなわち複数台のカメラで広域撮影範囲を区画分け（分割）して撮影し、デジタル処理にて各映像をつなぎ合わせ、ひとつの広域映像を取得するとともに、前記広域映像上で被写体（動体）の追尾を行うものである。
この実施例は、広域撮影範囲を２つに区分けし、各区画を第１カメラ１と第２カメラ２とでそれぞれ撮影し、各映像を連結することによって広域映像を取得する。
【００１３】
この実施例では、２台のカメラのシャッターを同時にかけるとともに、同時に撮られた映像をＩ／Ｆを介し同期メモリに入れて、読み出し側で同期をとる。
すなわちアドレスカウンタ９によって、第１カメラ１と第２カメラ２のシャッタータイミング（映像取り込みタイミング）の同期をとるとともに、第１カメラ１の映像を第１メモリ（同期メモリ）３に入力し、第２カメラ２の映像を第２メモリ（同期メモリ）４に入力し、各メモリから映像データを読み出すときのデータ転送の同期をとり、表示メモリ６において、第１カメラ１で撮影した映像（経時的に連続な画像）と第２カメラ２で撮影した映像（経時的に連続な画像）を連結するときに連結される各映像間の同期を合わせる。
【００１４】
表示メモリ６は、各メモリ（同期メモリ）から、撮影区画の配置に合わせて各カメラで撮影した映像（区画映像）を読み出し、連結してひとつの広域映像とする。つまり表示メモリ６において各カメラで撮影した映像が再配置されるとともに連結され、監視領域全体の映像を取得する。このとき、各映像同士の重なり部分における映像の重なりを補正し、連結映像に重なりが起こらないようにする。この映像連結方法については後段で説明する。
【００１５】
またこの実施例による映像監視システムには、監視領域内（撮影範囲）の動体を検出し、撮影範囲全体の映像から前記動体の詳細映像（高解像度映像）を部分的に切り出してモニタに表示する動き検出表示ユニット７を備える。
監視領域内（広域撮影範囲内）における動体の検出は、各カメラから入力された映像に基づいて行い、第１カメラで撮影した映像（広域撮影範囲内）に基づいて動き検出を行う動き検出部７１と、第２カメラ２で撮影した映像に基づいて動き検出を行う動き検出部７２が設けられ、各動き検出部７１、７２の検出結果を動き検出表示ユニット７に入力する。連続的な動き検出（追尾）を行うにはリアルタイム性が要求されるため、各カメラ映像を連結するまえに、カメラ毎に動き検出を並列処理により行う。
【００１６】
動き検出表示ユニット７は、各動き検出部７１、７２の検出結果を入力した動き検出メモリ７３からの情報に基づいて、表示メモリ６に格納されている連結映像（全体映像）からの切り出し部分を決定する切り出し決定部７４を有し、この切り出し決定部７４が切り出し部８を制御し、表示メモリ６に格納されている連結映像から部分的に映像を切り出し、表示系へ出力することによって、各動き検出部７１，７２で検出した動体の詳細映像をモニタに表示する。
すなわちカメラ毎の動き検出結果（動体の位置情報）を、表示メモリ６における各区画映像の配置に合わせて再配置し、表示メモリ６に格納されている連結映像上で対応する部分を切り出す。なお、切り出し部８はアドレスカウンタ９によって同期がとられている。
【００１７】
次に、複数台のカメラから並行入力された各映像の連結方法について図３から図５を参照して説明する。
【００１８】
この発明による複数台のカメラを使用した広域撮影方法は、広域撮影範囲を区分けし、複数台のカメラで各区画を同時に撮影するとともに、各カメラから入力される映像（時間ズレのない映像）を連結することにより広域映像を取得するものであって、映像の欠落が発生しないよう隣り合うカメラからの映像端同士が重なるように複数台のカメラを配置するとともに、これらカメラで撮影した映像の重なり（重複領域）を検出する手段と、重なりの一方を除去する手段によって、各映像の重なりをカメラから対象物までの距離に応じて調整（補正）しながら連結する。
【００１９】
図３のブロック図は、複数台のカメラを使用した広域撮影方法における、各映像の連結方法について説明するものである。
図３に示す実施例は、広域撮影範囲の左区画を撮影する第１カメラ（同期メモリ）１と右区画を撮影する第２カメラ（同期メモリ）２とによって、広域を撮影するものである。
この実施例では、第１カメラ１で撮影した映像を第１メモリ３に入力するとともに、第２カメラ２で撮影した映像を第２メモリ４に入力する（図３（ａ）参照）。
このとき第１カメラの映像の右端と、第２カメラの映像の左端には、各映像の端同士を重ねる部分（映像端に設定した一定の領域、以下、重なり部分と表記する）ｋが設けられ、この領域内において映像の重なりが発生するため、各映像をそのまま連結した場合、連結付近において重なりのある連結映像となる（図３（ｂ）参照）。
【００２０】
そこでこの実施例では、重なり検出部５において、前記各映像の重なりを検出するとともに、前記映像の重なりの一方を除去（第２メモリ４に格納されている映像から重なりを除去）することによって各映像の重なりを補正する。
すなわち、図３（ｃ）に示すように、重なり検出部は第２カメラの映像上に第１カメラの映像との重なりの境界位置を検出し、この境界位置より左側の映像（第１カメラとの重なり）を除去し、映像を補正する。
その後、表示メモリ６にある連結部６１が、第１メモリ３から映像を読み出すとともに、第２メモリから補正された映像を読み出し、各映像を連結する（図３（ｄ）参照）。
【００２１】
重なり検出部５の詳細について、図４を参照して説明する。
重なり検出部５では、各カメラ映像の重なり部分ｋのプロジェクションを求め、このプロジェクションに基づいて重なりの境界位置を検出し、この重なりの検出位置に基づいて第２メモリ４に格納されている映像（画像）を補正する（重なりを除去する）。
ここでプロジェクションとはカメラから入力される映像（経時的に連続な画像）の１フレームの画像において列毎（または行毎）に輝度を加算した列（行）を変数とする２次元のデータである。
【００２２】
第１カメラで撮影した映像は、第１プロジェクション計算部１１に入力され、第１プロジェクション計算部１１では、時間経過によって逐次入力される画像（現画像（ａｍ）や前画像（ａｍ − １））の画像端重なり部分のプロジェクション（Ｐａｍ，Ｐａｍ − １）を逐次算出する。
また第２カメラで撮影した映像は、第２プロジェクション計算部１２に入力され、第２プロジェクション計算部１２では、時間経過によって逐次入力される画像（現画像（ｂｍ）や前画像（ｂｍ − １））の画像端重なり部分のプロジェクション（Ｐｂｍ，Ｐｂｍ − １）を逐次算出する。
画像端重なり部分とは、各映像の重なり部分ｋ（図３（ｂ）参照）について、画像単位（１フレームの画像）であらわしたものであって、画像端部に予め一定の領域（範囲）ｋが設定されている。
【００２３】
この実施例では、左区画を撮影する第１カメラ１から入力した映像（画像）と、右区画を撮影する第２カメラ２から入力した映像（画像）について、各々の映像（画像）の画像端重なり部分のプロジェクションを求める。
【００２４】
第１カメラ１から入力した映像の画像端重なり部分のプロジェクション（ＰＲＯＪ１（ｉ））は下記の数式１にて算出され、第２カメラ２から入力した映像の画像端重なり部分のプロジェクション（ＰＲＯＪ２（ｉ））は下記の数式２によって算出される。なお各数式における変数の取り方について図５に説明する。
【００２５】
Ｐ−ｋ ≦ ｉ ≦ Ｐ において
【数１】
ただし ｉ：水平方向の成分
ｊ：垂直方向の成分
Ｐ：画像の水平方向の幅
Ｑ：画像の垂直方向の幅
ｋ：映像を重ねた幅（重なり部分）
Ｙｉｊ：座標（ｉ，ｊ）の輝度値
【００２６】
０ ≦ ｉ ≦ ｋ において
【数２】
ただし ｉ：水平方向の成分
ｊ：垂直方向の成分
Ｐ：画像の水平方向の幅
Ｑ：画像の垂直方向の幅
ｋ：映像を重ねた幅（重なり部分）
Ｙｉｊ：座標（ｉ，ｊ）の輝度値
【００２７】
そして、第１プロジェクション計算部１１で計算した、現画像と前画像の画像端重なり部分（ｋ）のプロジェクション算出結果（ＰａｍとＰａｍ − １）を変化検出部１５に入力し、現画像と前画像の変化を評価する。
【００２８】
前記変化検出部１５は、第１プロジェクション計算部１１で計算した現画像のプロジェクション（Ｐａｍ）と前画像のプロジェクション（Ｐａｍ − １）の差分（Σ｜Ｐａｍ−１−Ｐａｍ｜）の大小比較を行い、設定されたしきい値に基づいて有効な差分が検出された場合は、現画像と前画像との間に変化があると判断するとともに、有効な差分が検出されない場合は、現画像と前画像との間に変化がないと判断する。
【００２９】
そして、現画像と前画像との間に変化がないと判断した場合、セレクタ１８において、事前の設定値メモリ１６に格納されている「事前の設定値」を重なり境界位置として選択し、この事前の設定値を現画像の重なり境界位置として検出する。
なお事前の設定値とは、現画像の１フレーム前の画像（前画像（ａｍ − １とｂｍ − １））の連結時に用いた重なり境界位置の値である。
【００３０】
一方、前画像と現画像との間に変化があると判断した場合、セレクタ１８において、境界位置更新部１７で検出した重なり境界線（更新値）を選択し、この更新値を現画像の重なり境界位置として検出する。
【００３１】
境界位置更新部１７による重なり境界線（更新値）の検出方法について、以下に説明する。
まず、第１プロジェクション計算部１１で計算した算出結果はメモリＡ１３に入力され格納されるとともに、前記メモリＡ１３に格納されたプロジェクションの算出結果は、入力時の書き込みアドレスと同じ読み出しアドレスにて境界位置更新部１７へ出力される。
【００３２】
一方、第２プロジェクション計算部で計算した計算結果はメモリＢ１４に入力され格納されるとともに、前記メモリＢ１４に格納されたプロジェクションの算出結果は、読み出し時（境界位置更新部１７への出力時）には、仮想移動量ｄドット（−ｎ＜ｄ＜＋ｎ，ｎ＝自然数）だけずらして読み出せるように書き込みアドレスと読み出しアドレスを分ける。
従って、メモリＢ１４から境界位置更新部１７へプロジェクションの算出結果を出力した（読み出した）結果は、下記の数式３によって計算される。
【００３３】
【数３】
【００３４】
境界位置更新部１７では、メモリＡ１３とメモリＢ１４から入力されたデータ（算出結果）に基づいて、境界位置（更新値）の検出を行う。
このとき、メモリＢ１４から入力される算出結果についてドット値ｄを変化させ（−ｎ＜ｄ＜＋ｎ，ｎ＝自然数）、メモリＡ１３から入力される算出結果（数式１）とメモリＢ１４から入力される算出結果（数式３）の値の差をとり、この差分が最小値になるときのドット値ｄを重なり境界位置（更新値）として検出する。
なお差分は、下記の数式４にて計算される。
【００３５】
【数４】
【００３６】
こうして、検出された重なり境界位置（事前の設定値、もしくは更新値）のデータを、第２カメラ２の映像を格納する第２メモリ４に入力し、第２メモリでは前記境界位置のデータに基づいて、画像データを連結部６１へ出力する。
すなわち連結部６１は、各メモリから映像を読み出すとき、重なり境界位置までは第１メモリ３の画像を、重なり境界位置以降は第２メモリ４の画像を読み出し、各画像の境界位置が欠落・重複することなく結合する。
【００３７】
【発明の効果】
以上説明したように、本発明による複数台のカメラを使用した広域撮影方法によれば、複数台のカメラを配置するにあたって、隣り合うカメラ同士を近接して配置するとともに内側に傾けて配置し、撮影範囲における映像の欠落・重なりを最小限にするとともに、各映像端に設けた映像の重なり部分を補正しながら各映像を連結するにあたって、各カメラ間におけるシャッタータイミングとデータ転送による映像の同期を合わせることによって、時間ズレのない映像（画像）を連結することができた。
また各映像を連結するときに、前画像と現画像の画像端重なり部分に変化があったときに、重なり境界位置を更新するようにしたため、カメラと対象物との距離変化に対応して各映像を連結することができ、映像の欠落や重なりを低減できた。
さらに、プロジェクション比較により重なり境界位置の検出を行うため、画像を直接比較するよりも計算量が低減した。
【図面の簡単な説明】
【図１】本発明によるカメラの配置方法の実施例。
【図２】本発明による複数台のカメラを使用した広域撮影方法を利用した映像監視システムの構成を示すブロック図。
【図３】映像の連結方法に関する説明図。
【図４】重なり検出部の詳細な説明図。
【図５】数式の変数の取り方を説明する図。
【図６】従来技術による複数台のカメラを使用した広域撮影方法の説明図。
【符号の説明】
１ 第１カメラ
２ 第２カメラ
３ 第１メモリ
４ 第２メモリ
５ 重なり検出部
６ 表示メモリ
６１ 連結部
７ 動き検出表示部
７１、７２ 動き検出部
７３ 動き検出メモリ
７４ 切り出し決定部
８ 切り出し部
９ アドレスカウンタ
１１ 第１プロジェクション計算部
１２ 第２プロジェクション計算部
１３ メモリＡ
１４ メモリＢ
１５ 変化検出部
１６ 事前の設定値メモリ
１７ 境界位置更新部
１８ セレクタ
【発明の属する技術分野】
本発明は、複数台のカメラを使用して広域を撮影する方法に関し、各カメラで撮影した映像の重なりを補正しながら連結する技術に関する。
【０００２】
【従来の技術と発明が解決しようとする課題】
広域を撮影する方法として、広角レンズを備えたカメラ（広角カメラ）を使用して撮影する方法があり、広域の高解像度映像を撮影する場合、広角レンズを備えた高解像度カメラを使用していた。
そして例えば、広角レンズを備えた高解像度カメラを映像監視システムに導入し、監視領域内の詳細映像を取得し、監視を行っていた（例えば、未公開特許出願１を参照）。
【０００３】
【未公開特許出願１】
特願２００２−１６７３１０
【０００４】
しかし、１台の高解像度カメラを使用して広域を撮影することには限界があった。
例えば、高解像度用カメラは高精度レンズを使用するため、高解像度用の広角レンズを製造するのが難しく、レンズ製造技術に限界があった。
また画素数を上げると、フレームレートが下がることや画素あたりの光量が下がることから、動画で使える画素数には限界があり、そのため、広域（広範囲）かつ高解像度の映像を取得するのにも限界があった。
【０００５】
一方、監視領域内に複数台のカメラを設置して監視領域内の区画をそれぞれ撮影し、各カメラで撮影した映像をそれぞれモニタに表示して監視する方法もあるが、この場合、監視者は複数の映像を監視しなくてはならず監視者の労力が大きかった。特に、監視領域内の動体を監視する場合、各カメラ間（各撮影区画間）を前記動体が移動して別のモニタに表示されたときなど、動体の監視が困難であった。
【０００６】
そこで、複数台のカメラを使用し、撮影範囲を区分けして各カメラで撮影するとともに各カメラで撮影した映像を連結し、広域撮影範囲全体の映像を取得する広域撮影方法が考えられる。しかし、各カメラで撮影した各映像を連結したときに、カメラからの距離によって映像の欠落や重なりが起こり、全ての距離において映像をうまく連結することができなかった。
【０００７】
複数台のカメラを使用した広域撮影方法による各映像の連結について図６に示す。
図６（ａ）に示すように、第１カメラ１と第２カメラ２を隣り合わせて平行に配置し、これらのカメラで撮影した映像を連結する場合、カメラからの距離が連結照準距離Ｈの地点（対象物）を各カメラで撮影し、連結点Ｐの左側を撮影する第１カメラ１の映像と、連結点Ｐの右側を撮影する第２カメラ２の映像を連結した場合、各カメラの映像をうまく連結することができる（図６（ｂ）参照）。
しかし、カメラからの距離が連結照準距離Ｈよりも近い地点の映像を連結した場合、撮影範囲に欠落領域が発生し、そのため各映像をうまく連結できず、連結映像に欠落部分があった（図６（ｃ）参照）。
また、カメラからの距離が連結照準距離Ｈよりも遠い地点の映像を連結した場合、撮影範囲に重複領域が発生し、そのため各映像をうまく連結できず、連結映像に重複部分があった（図６（ｄ）参照）。
【０００８】
【課題を解決するための手段】
そこでこの発明は、上述した従来の複数台のカメラを使用した撮影技術の欠点を解消するもであって、複数台のカメラを配置するにあたって、隣り合うカメラ同士を近接して配置するとともに内側に傾けて配置し、撮影範囲における映像の欠落・重なりを最小限にするとともに、隣り合うカメラで撮影した各映像が映像端同士で重なるように撮影範囲を区分けして撮影するとともに、前記各映像を並列入力する手段（複数台のカメラ）と、複数台のカメラのシャッターの同期をとる手段と、各カメラから入力された各映像についてのデータ転送の同期をとる手段と、各映像を連結する手段とによって、各カメラ間におけるシャッタータイミングとデータ転送による映像の同期を合わせ各映像を連結し、さらに、前記各映像の重なりを検出する手段と、前記映像の重なりの一方を除去する手段と、各映像を連結する手段とによって、並列入力した各映像について、映像の重なりを補正して連結する。
【０００９】
【発明の実施の形態】
以下、本発明の実施例を図面を参照しながら説明する。
【００１０】
図１は、複数台のカメラを使用した撮影方法における、カメラの配置方法を示すものである。
この実施例では、複数台のカメラを配置するときに、隣り合うカメラ同士を接近させてレンズ同士の間隔を縮めて配置するとともに、隣り合うカメラ同士を内側に傾けて配置し、映像の欠落領域と重複領域を最小限にし、さらに隣り合うカメラで撮影した各映像が映像端同士で重なるように撮影することによって、映像に欠落領域が発生しないよう撮影する。
なお図１に示すように、隣り合うカメラ同士（第１カメラ１と第２カメラ２）を内側に傾けたとき、カメラ中心間の角度θを、使用するカメラのレンズの水平画角（カメラによる撮影角度）Ａより少なくすること（Ａ−α）が好ましい。
【００１１】
隣り合わせて配置した複数台のＣＣＤカメラ（高解像度カメラ）を使用し、広域範囲を区分けして撮影し、各映像を連結する場合、カメラには大きさがあるので各カメラ内のＣＣＤの間隔（第１カメラ１に内蔵されているＣＣＤと第２カメラ２に内蔵されているＣＣＤとの間隔）が離れてしまい映像に欠落が生じる。背景で映像の連結をすると手前に欠落が生じ、手前で映像の連結をすると背景に重なりが生じてしまう。この欠落と重なりを最小限に抑える必要がある（図６（ａ）参照）。
隣り合うカメラで撮影した映像に欠落や重なりが発生するのは、カメラに大きさがあるために生じることである。各々のカメラを外側に向けるとカメラ本体の大きさにより各カメラ内のＣＣＤの間隔が大きく開き、そのため大きな映像欠落領域が発生する。しかし各々のカメラを内側に向けると各カメラ内のＣＣＤの間隔はレンズの大きさにより決定されることとなる。通常、カメラ本体よりもレンズの方がカメラ本体よりも小さいため、カメラを外側に向けて配置するよりも内側に配置する方が、映像の欠落と重なりを最小限に抑えることができる。
【００１２】
図２のブロック図は、複数台のカメラを使用した撮影方法を利用した映像監視システムの実施例を示すものである。
この実施例による映像監視システムは、複数台のカメラから入力した各映像（区画映像）を連結することによって監視領域全体（広域）の高解像度映像を取得するとともに、各カメラから入力される高解像度映像に基づいて動き検出を行い、検出された動体の詳細映像（高解像度映像）を、全体映像（広域映像）から部分的に切り出して表示するものである。
すなわち複数台のカメラで広域撮影範囲を区画分け（分割）して撮影し、デジタル処理にて各映像をつなぎ合わせ、ひとつの広域映像を取得するとともに、前記広域映像上で被写体（動体）の追尾を行うものである。
この実施例は、広域撮影範囲を２つに区分けし、各区画を第１カメラ１と第２カメラ２とでそれぞれ撮影し、各映像を連結することによって広域映像を取得する。
【００１３】
この実施例では、２台のカメラのシャッターを同時にかけるとともに、同時に撮られた映像をＩ／Ｆを介し同期メモリに入れて、読み出し側で同期をとる。
すなわちアドレスカウンタ９によって、第１カメラ１と第２カメラ２のシャッタータイミング（映像取り込みタイミング）の同期をとるとともに、第１カメラ１の映像を第１メモリ（同期メモリ）３に入力し、第２カメラ２の映像を第２メモリ（同期メモリ）４に入力し、各メモリから映像データを読み出すときのデータ転送の同期をとり、表示メモリ６において、第１カメラ１で撮影した映像（経時的に連続な画像）と第２カメラ２で撮影した映像（経時的に連続な画像）を連結するときに連結される各映像間の同期を合わせる。
【００１４】
表示メモリ６は、各メモリ（同期メモリ）から、撮影区画の配置に合わせて各カメラで撮影した映像（区画映像）を読み出し、連結してひとつの広域映像とする。つまり表示メモリ６において各カメラで撮影した映像が再配置されるとともに連結され、監視領域全体の映像を取得する。このとき、各映像同士の重なり部分における映像の重なりを補正し、連結映像に重なりが起こらないようにする。この映像連結方法については後段で説明する。
【００１５】
またこの実施例による映像監視システムには、監視領域内（撮影範囲）の動体を検出し、撮影範囲全体の映像から前記動体の詳細映像（高解像度映像）を部分的に切り出してモニタに表示する動き検出表示ユニット７を備える。
監視領域内（広域撮影範囲内）における動体の検出は、各カメラから入力された映像に基づいて行い、第１カメラで撮影した映像（広域撮影範囲内）に基づいて動き検出を行う動き検出部７１と、第２カメラ２で撮影した映像に基づいて動き検出を行う動き検出部７２が設けられ、各動き検出部７１、７２の検出結果を動き検出表示ユニット７に入力する。連続的な動き検出（追尾）を行うにはリアルタイム性が要求されるため、各カメラ映像を連結するまえに、カメラ毎に動き検出を並列処理により行う。
【００１６】
動き検出表示ユニット７は、各動き検出部７１、７２の検出結果を入力した動き検出メモリ７３からの情報に基づいて、表示メモリ６に格納されている連結映像（全体映像）からの切り出し部分を決定する切り出し決定部７４を有し、この切り出し決定部７４が切り出し部８を制御し、表示メモリ６に格納されている連結映像から部分的に映像を切り出し、表示系へ出力することによって、各動き検出部７１，７２で検出した動体の詳細映像をモニタに表示する。
すなわちカメラ毎の動き検出結果（動体の位置情報）を、表示メモリ６における各区画映像の配置に合わせて再配置し、表示メモリ６に格納されている連結映像上で対応する部分を切り出す。なお、切り出し部８はアドレスカウンタ９によって同期がとられている。
【００１７】
次に、複数台のカメラから並行入力された各映像の連結方法について図３から図５を参照して説明する。
【００１８】
この発明による複数台のカメラを使用した広域撮影方法は、広域撮影範囲を区分けし、複数台のカメラで各区画を同時に撮影するとともに、各カメラから入力される映像（時間ズレのない映像）を連結することにより広域映像を取得するものであって、映像の欠落が発生しないよう隣り合うカメラからの映像端同士が重なるように複数台のカメラを配置するとともに、これらカメラで撮影した映像の重なり（重複領域）を検出する手段と、重なりの一方を除去する手段によって、各映像の重なりをカメラから対象物までの距離に応じて調整（補正）しながら連結する。
【００１９】
図３のブロック図は、複数台のカメラを使用した広域撮影方法における、各映像の連結方法について説明するものである。
図３に示す実施例は、広域撮影範囲の左区画を撮影する第１カメラ（同期メモリ）１と右区画を撮影する第２カメラ（同期メモリ）２とによって、広域を撮影するものである。
この実施例では、第１カメラ１で撮影した映像を第１メモリ３に入力するとともに、第２カメラ２で撮影した映像を第２メモリ４に入力する（図３（ａ）参照）。
このとき第１カメラの映像の右端と、第２カメラの映像の左端には、各映像の端同士を重ねる部分（映像端に設定した一定の領域、以下、重なり部分と表記する）ｋが設けられ、この領域内において映像の重なりが発生するため、各映像をそのまま連結した場合、連結付近において重なりのある連結映像となる（図３（ｂ）参照）。
【００２０】
そこでこの実施例では、重なり検出部５において、前記各映像の重なりを検出するとともに、前記映像の重なりの一方を除去（第２メモリ４に格納されている映像から重なりを除去）することによって各映像の重なりを補正する。
すなわち、図３（ｃ）に示すように、重なり検出部は第２カメラの映像上に第１カメラの映像との重なりの境界位置を検出し、この境界位置より左側の映像（第１カメラとの重なり）を除去し、映像を補正する。
その後、表示メモリ６にある連結部６１が、第１メモリ３から映像を読み出すとともに、第２メモリから補正された映像を読み出し、各映像を連結する（図３（ｄ）参照）。
【００２１】
重なり検出部５の詳細について、図４を参照して説明する。
重なり検出部５では、各カメラ映像の重なり部分ｋのプロジェクションを求め、このプロジェクションに基づいて重なりの境界位置を検出し、この重なりの検出位置に基づいて第２メモリ４に格納されている映像（画像）を補正する（重なりを除去する）。
ここでプロジェクションとはカメラから入力される映像（経時的に連続な画像）の１フレームの画像において列毎（または行毎）に輝度を加算した列（行）を変数とする２次元のデータである。
【００２２】
第１カメラで撮影した映像は、第１プロジェクション計算部１１に入力され、第１プロジェクション計算部１１では、時間経過によって逐次入力される画像（現画像（ａｍ）や前画像（ａｍ − １））の画像端重なり部分のプロジェクション（Ｐａｍ，Ｐａｍ − １）を逐次算出する。
また第２カメラで撮影した映像は、第２プロジェクション計算部１２に入力され、第２プロジェクション計算部１２では、時間経過によって逐次入力される画像（現画像（ｂｍ）や前画像（ｂｍ − １））の画像端重なり部分のプロジェクション（Ｐｂｍ，Ｐｂｍ − １）を逐次算出する。
画像端重なり部分とは、各映像の重なり部分ｋ（図３（ｂ）参照）について、画像単位（１フレームの画像）であらわしたものであって、画像端部に予め一定の領域（範囲）ｋが設定されている。
【００２３】
この実施例では、左区画を撮影する第１カメラ１から入力した映像（画像）と、右区画を撮影する第２カメラ２から入力した映像（画像）について、各々の映像（画像）の画像端重なり部分のプロジェクションを求める。
【００２４】
第１カメラ１から入力した映像の画像端重なり部分のプロジェクション（ＰＲＯＪ１（ｉ））は下記の数式１にて算出され、第２カメラ２から入力した映像の画像端重なり部分のプロジェクション（ＰＲＯＪ２（ｉ））は下記の数式２によって算出される。なお各数式における変数の取り方について図５に説明する。
【００２５】
Ｐ−ｋ ≦ ｉ ≦ Ｐ において
【数１】
ｊ：垂直方向の成分
Ｐ：画像の水平方向の幅
Ｑ：画像の垂直方向の幅
ｋ：映像を重ねた幅（重なり部分）
Ｙｉｊ：座標（ｉ，ｊ）の輝度値
【００２６】
０ ≦ ｉ ≦ ｋ において
【数２】
ｊ：垂直方向の成分
Ｐ：画像の水平方向の幅
Ｑ：画像の垂直方向の幅
ｋ：映像を重ねた幅（重なり部分）
Ｙｉｊ：座標（ｉ，ｊ）の輝度値
【００２７】
そして、第１プロジェクション計算部１１で計算した、現画像と前画像の画像端重なり部分（ｋ）のプロジェクション算出結果（ＰａｍとＰａｍ − １）を変化検出部１５に入力し、現画像と前画像の変化を評価する。
【００２８】
前記変化検出部１５は、第１プロジェクション計算部１１で計算した現画像のプロジェクション（Ｐａｍ）と前画像のプロジェクション（Ｐａｍ − １）の差分（Σ｜Ｐａｍ−１−Ｐａｍ｜）の大小比較を行い、設定されたしきい値に基づいて有効な差分が検出された場合は、現画像と前画像との間に変化があると判断するとともに、有効な差分が検出されない場合は、現画像と前画像との間に変化がないと判断する。
【００２９】
そして、現画像と前画像との間に変化がないと判断した場合、セレクタ１８において、事前の設定値メモリ１６に格納されている「事前の設定値」を重なり境界位置として選択し、この事前の設定値を現画像の重なり境界位置として検出する。
なお事前の設定値とは、現画像の１フレーム前の画像（前画像（ａｍ − １とｂｍ − １））の連結時に用いた重なり境界位置の値である。
【００３０】
一方、前画像と現画像との間に変化があると判断した場合、セレクタ１８において、境界位置更新部１７で検出した重なり境界線（更新値）を選択し、この更新値を現画像の重なり境界位置として検出する。
【００３１】
境界位置更新部１７による重なり境界線（更新値）の検出方法について、以下に説明する。
まず、第１プロジェクション計算部１１で計算した算出結果はメモリＡ１３に入力され格納されるとともに、前記メモリＡ１３に格納されたプロジェクションの算出結果は、入力時の書き込みアドレスと同じ読み出しアドレスにて境界位置更新部１７へ出力される。
【００３２】
一方、第２プロジェクション計算部で計算した計算結果はメモリＢ１４に入力され格納されるとともに、前記メモリＢ１４に格納されたプロジェクションの算出結果は、読み出し時（境界位置更新部１７への出力時）には、仮想移動量ｄドット（−ｎ＜ｄ＜＋ｎ，ｎ＝自然数）だけずらして読み出せるように書き込みアドレスと読み出しアドレスを分ける。
従って、メモリＢ１４から境界位置更新部１７へプロジェクションの算出結果を出力した（読み出した）結果は、下記の数式３によって計算される。
【００３３】
【数３】
境界位置更新部１７では、メモリＡ１３とメモリＢ１４から入力されたデータ（算出結果）に基づいて、境界位置（更新値）の検出を行う。
このとき、メモリＢ１４から入力される算出結果についてドット値ｄを変化させ（−ｎ＜ｄ＜＋ｎ，ｎ＝自然数）、メモリＡ１３から入力される算出結果（数式１）とメモリＢ１４から入力される算出結果（数式３）の値の差をとり、この差分が最小値になるときのドット値ｄを重なり境界位置（更新値）として検出する。
なお差分は、下記の数式４にて計算される。
【００３５】
【数４】
こうして、検出された重なり境界位置（事前の設定値、もしくは更新値）のデータを、第２カメラ２の映像を格納する第２メモリ４に入力し、第２メモリでは前記境界位置のデータに基づいて、画像データを連結部６１へ出力する。
すなわち連結部６１は、各メモリから映像を読み出すとき、重なり境界位置までは第１メモリ３の画像を、重なり境界位置以降は第２メモリ４の画像を読み出し、各画像の境界位置が欠落・重複することなく結合する。
【００３７】
【発明の効果】
以上説明したように、本発明による複数台のカメラを使用した広域撮影方法によれば、複数台のカメラを配置するにあたって、隣り合うカメラ同士を近接して配置するとともに内側に傾けて配置し、撮影範囲における映像の欠落・重なりを最小限にするとともに、各映像端に設けた映像の重なり部分を補正しながら各映像を連結するにあたって、各カメラ間におけるシャッタータイミングとデータ転送による映像の同期を合わせることによって、時間ズレのない映像（画像）を連結することができた。
また各映像を連結するときに、前画像と現画像の画像端重なり部分に変化があったときに、重なり境界位置を更新するようにしたため、カメラと対象物との距離変化に対応して各映像を連結することができ、映像の欠落や重なりを低減できた。
さらに、プロジェクション比較により重なり境界位置の検出を行うため、画像を直接比較するよりも計算量が低減した。
【図面の簡単な説明】
【図１】本発明によるカメラの配置方法の実施例。
【図２】本発明による複数台のカメラを使用した広域撮影方法を利用した映像監視システムの構成を示すブロック図。
【図３】映像の連結方法に関する説明図。
【図４】重なり検出部の詳細な説明図。
【図５】数式の変数の取り方を説明する図。
【図６】従来技術による複数台のカメラを使用した広域撮影方法の説明図。
【符号の説明】
１ 第１カメラ
２ 第２カメラ
３ 第１メモリ
４ 第２メモリ
５ 重なり検出部
６ 表示メモリ
６１ 連結部
７ 動き検出表示部
７１、７２ 動き検出部
７３ 動き検出メモリ
７４ 切り出し決定部
８ 切り出し部
９ アドレスカウンタ
１１ 第１プロジェクション計算部
１２ 第２プロジェクション計算部
１３ メモリＡ
１４ メモリＢ
１５ 変化検出部
１６ 事前の設定値メモリ
１７ 境界位置更新部
１８ セレクタ
Claims (5)
- 複数台のカメラを使用し、撮影範囲の各区画を各カメラで撮影するとともに、撮影した各区画の映像をひとつにまとめるにあたって、
隣り合うカメラで撮影した各映像が映像端同士で重なるように撮影範囲を区分けして撮影するとともに、前記各映像を並列入力する手段と、
各カメラ間のシャッターの同期をとる手段と、
各カメラから入力された各映像についてのデータ転送の同期をとる手段と、
各映像を撮影区画にあわせて再配置し、各映像を連結する手段とによって、
各カメラ間におけるシャッタータイミングとデータ転送による映像の同期を合わせ、時間ズレのない映像を連結した広域映像を取得することを特徴とする複数台のカメラを使用した広域撮影方法。 - 複数台のカメラを配置するにあたって、隣り合うカメラ同士を近接して配置するとともに内側に傾けて配置し、撮影範囲において映像の欠落を低減することを特徴とする請求項１に記載の複数台のカメラを使用した広域撮影方法。
- 各カメラで撮影した映像に基づいて動きを検出する手段を各カメラ毎に設け、これら動き検出手段によって検出された物体の映像を、各映像の連結映像から切り出し、この切り出し映像をモニタに表示することを特徴とする１または２に記載の複数台のカメラを使用した広域撮影方法。
- 隣り合うカメラで撮影した各映像が映像端同士で重なるように撮影範囲を区分けして撮影するとともに、前記各映像を並列入力する手段と、
前記各映像の重なりを検出する手段と、
前記映像の重なりの一方を除去する手段と、
各映像を連結する手段とによって、
並列入力した各映像について、映像の重なりを補正して連結することを特徴とする請求項１から３の何れか１項に記載の複数台のカメラを使用した広域撮影方法。 - カメラから入力される映像の１フレーム毎の画像のプロジェクションを評価することによって、カメラから対象物までの距離変化に対応した映像の重なりの補正を行い、並列入力される各映像を連結するものであって、
各カメラから入力された映像について、現画像と前画像のプロジェクションを計算し、格納する手段と、
前画像と現画像の重なり部分のプロジェクションを比較し、前画像と現画像の変化を検出する手段と、
前画像と現画像に変化がない場合は、事前の設定値を重なり境界位置として検出し、この境界位置に基づいて、各カメラから並列入力された各現画像の重なりを補正して連結する手段と、
前画像と現画像に変化がある場合は、映像の重なり部分かつ変化があった部分のプロジェクションを画素単位でずらしながら比較し、重なり境界位置を更新するとともに、この更新値に基づいて、各カメラから並列入力された各現画像の重なりを補正して連結する手段とによって、
映像の重なりの補正を画素単位で行って連結することを特徴する請求項４に記載の複数台のカメラを使用した広域撮影方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002350441A JP3798747B2 (ja) | 2002-12-02 | 2002-12-02 | 複数台のカメラを使用した広域撮影方法及びその装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002350441A JP3798747B2 (ja) | 2002-12-02 | 2002-12-02 | 複数台のカメラを使用した広域撮影方法及びその装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004186922A true JP2004186922A (ja) | 2004-07-02 |
| JP3798747B2 JP3798747B2 (ja) | 2006-07-19 |
Family
ID=32752665
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002350441A Expired - Fee Related JP3798747B2 (ja) | 2002-12-02 | 2002-12-02 | 複数台のカメラを使用した広域撮影方法及びその装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3798747B2 (ja) |
Cited By (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006187386A (ja) * | 2005-01-04 | 2006-07-20 | Olympus Corp | 内視鏡装置、動体検出方法、及びそのプログラム |
| JP2006303989A (ja) * | 2005-04-21 | 2006-11-02 | Matsushita Electric Ind Co Ltd | 監視装置 |
| JP2008028605A (ja) * | 2006-07-20 | 2008-02-07 | Matsushita Electric Ind Co Ltd | 監視用画像記録装置 |
| JP2009527150A (ja) * | 2006-02-13 | 2009-07-23 | ソニー株式会社 | マルチレンズアレイシステム及び方法 |
| US7693413B2 (en) | 2005-07-21 | 2010-04-06 | Sony Corporation | Camera system, information processing device, information processing method, and computer program |
| JP2011066882A (ja) * | 2009-09-18 | 2011-03-31 | Hon Hai Precision Industry Co Ltd | イメージマッチングシステム及びイメージマッチング方法 |
| JP2014179841A (ja) * | 2013-03-15 | 2014-09-25 | Ricoh Co Ltd | 撮像装置 |
| KR101552600B1 (ko) * | 2015-03-31 | 2015-09-11 | (주)서광시스템 | 영상분할을 이용한 복수의 보행자 객체를 동시에 추적하는 방법 |
| JP2016048573A (ja) * | 2015-11-20 | 2016-04-07 | 株式会社リコー | 画像処理システム |
| JP2017511057A (ja) * | 2013-12-09 | 2017-04-13 | シゼイ シジブイ カンパニー リミテッド | マルチプロジェクション映像の生成方法及びそのシステム |
| US9652856B2 (en) | 2014-08-12 | 2017-05-16 | Ricoh Company, Ltd. | Image processing system, image processing apparatus, and image capturing system |
| KR101881292B1 (ko) * | 2017-02-27 | 2018-07-24 | (주)진명아이앤씨 | Uhd동영상의 스티칭 및 컷-아웃용 텔레스트레이터 |
| KR101897018B1 (ko) * | 2017-04-27 | 2018-09-10 | 주식회사 엑사스코프 | 객체 추적 방법 및 장치 |
| KR101908952B1 (ko) * | 2017-02-27 | 2018-12-19 | (주)진명아이앤씨 | Uhd동영상 스티칭 방법 및 그 장치 |
| CN112954234A (zh) * | 2021-01-28 | 2021-06-11 | 天翼物联科技有限公司 | 一种多视频融合的方法、系统、装置及介质 |
| KR102606849B1 (ko) * | 2022-06-03 | 2023-11-29 | 주식회사 알엠에쓰플렛폼 | 디지털 sop 기반 통합관제장치 및 방법 |
| KR102606850B1 (ko) * | 2022-06-03 | 2023-11-29 | 주식회사 알엠에쓰플렛폼 | 재난대응장치 및 방법 |
-
2002
- 2002-12-02 JP JP2002350441A patent/JP3798747B2/ja not_active Expired - Fee Related
Cited By (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006187386A (ja) * | 2005-01-04 | 2006-07-20 | Olympus Corp | 内視鏡装置、動体検出方法、及びそのプログラム |
| JP4624802B2 (ja) * | 2005-01-04 | 2011-02-02 | オリンパス株式会社 | 内視鏡装置、及びそのプログラム |
| JP2006303989A (ja) * | 2005-04-21 | 2006-11-02 | Matsushita Electric Ind Co Ltd | 監視装置 |
| JP4722537B2 (ja) * | 2005-04-21 | 2011-07-13 | パナソニック株式会社 | 監視装置 |
| US7693413B2 (en) | 2005-07-21 | 2010-04-06 | Sony Corporation | Camera system, information processing device, information processing method, and computer program |
| JP2009527150A (ja) * | 2006-02-13 | 2009-07-23 | ソニー株式会社 | マルチレンズアレイシステム及び方法 |
| US9182228B2 (en) | 2006-02-13 | 2015-11-10 | Sony Corporation | Multi-lens array system and method |
| US8369399B2 (en) | 2006-02-13 | 2013-02-05 | Sony Corporation | System and method to combine multiple video streams |
| JP2008028605A (ja) * | 2006-07-20 | 2008-02-07 | Matsushita Electric Ind Co Ltd | 監視用画像記録装置 |
| JP2011066882A (ja) * | 2009-09-18 | 2011-03-31 | Hon Hai Precision Industry Co Ltd | イメージマッチングシステム及びイメージマッチング方法 |
| JP2014179841A (ja) * | 2013-03-15 | 2014-09-25 | Ricoh Co Ltd | 撮像装置 |
| JP2017511057A (ja) * | 2013-12-09 | 2017-04-13 | シゼイ シジブイ カンパニー リミテッド | マルチプロジェクション映像の生成方法及びそのシステム |
| US9652856B2 (en) | 2014-08-12 | 2017-05-16 | Ricoh Company, Ltd. | Image processing system, image processing apparatus, and image capturing system |
| KR101552600B1 (ko) * | 2015-03-31 | 2015-09-11 | (주)서광시스템 | 영상분할을 이용한 복수의 보행자 객체를 동시에 추적하는 방법 |
| JP2016048573A (ja) * | 2015-11-20 | 2016-04-07 | 株式会社リコー | 画像処理システム |
| KR101881292B1 (ko) * | 2017-02-27 | 2018-07-24 | (주)진명아이앤씨 | Uhd동영상의 스티칭 및 컷-아웃용 텔레스트레이터 |
| KR101908952B1 (ko) * | 2017-02-27 | 2018-12-19 | (주)진명아이앤씨 | Uhd동영상 스티칭 방법 및 그 장치 |
| KR101897018B1 (ko) * | 2017-04-27 | 2018-09-10 | 주식회사 엑사스코프 | 객체 추적 방법 및 장치 |
| CN112954234A (zh) * | 2021-01-28 | 2021-06-11 | 天翼物联科技有限公司 | 一种多视频融合的方法、系统、装置及介质 |
| KR102606849B1 (ko) * | 2022-06-03 | 2023-11-29 | 주식회사 알엠에쓰플렛폼 | 디지털 sop 기반 통합관제장치 및 방법 |
| KR102606850B1 (ko) * | 2022-06-03 | 2023-11-29 | 주식회사 알엠에쓰플렛폼 | 재난대응장치 및 방법 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3798747B2 (ja) | 2006-07-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11375173B2 (en) | Auto-alignment of image sensors in a multi-camera system | |
| JP3798747B2 (ja) | 複数台のカメラを使用した広域撮影方法及びその装置 | |
| US9900505B2 (en) | Panoramic video from unstructured camera arrays with globally consistent parallax removal | |
| US7082209B2 (en) | Object detecting method and object detecting apparatus and intruding object monitoring apparatus employing the object detecting method | |
| JP5313127B2 (ja) | 映像合成方法、映像合成システム | |
| US10764496B2 (en) | Fast scan-type panoramic image synthesis method and device | |
| JP5803467B2 (ja) | 画像処理装置および撮像装置、ならびに画像処理方法 | |
| US10489885B2 (en) | System and method for stitching images | |
| JPH1093808A (ja) | 画像合成装置および方法 | |
| JP6656035B2 (ja) | 画像処理装置、撮像装置および画像処理装置の制御方法 | |
| US20110012991A1 (en) | Moving image recording method and apparatus, and moving image coding method and moving image coder | |
| JP2020182045A (ja) | パノラマ映像合成装置、パノラマ映像合成方法、及びパノラマ映像合成プログラム | |
| US9538161B2 (en) | System and method for stereoscopic photography | |
| JP4172684B2 (ja) | 画像補正装置および画像補正方法 | |
| CN109218602B (zh) | 影像撷取装置、影像处理方法及电子装置 | |
| JP2007049266A (ja) | 画像撮像装置 | |
| US9883102B2 (en) | Image processing apparatus, image processing method, program, and camera | |
| US12015840B2 (en) | Synchronized camera system having two different cameras | |
| JP7458769B2 (ja) | 画像処理装置、撮像装置、画像処理方法、プログラムおよび記録媒体 | |
| JP4757679B2 (ja) | 映像合成装置 | |
| EP3605450B1 (en) | Image processing apparatus, image pickup apparatus, control method of image processing apparatus, and computer-program | |
| JP2007329596A (ja) | 画像生成装置および画像生成方法 | |
| Heflin et al. | Correcting rolling-shutter distortion of CMOS sensors using facial feature detection | |
| JP5189568B2 (ja) | 画像合成装置，画像合成方法および画像合成プログラム | |
| JP2020194400A (ja) | 画像処理装置、画像処理方法、及びプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040406 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20051228 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060105 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060303 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060328 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060420 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100428 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100428 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110428 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120428 Year of fee payment: 6 |
|
| LAPS | Cancellation because of no payment of annual fees |