JP2007081553A - カメラシステムの表示方法及びカメラシステム - Google Patents

カメラシステムの表示方法及びカメラシステム Download PDF

Info

Publication number
JP2007081553A
JP2007081553A JP2005263995A JP2005263995A JP2007081553A JP 2007081553 A JP2007081553 A JP 2007081553A JP 2005263995 A JP2005263995 A JP 2005263995A JP 2005263995 A JP2005263995 A JP 2005263995A JP 2007081553 A JP2007081553 A JP 2007081553A
Authority
JP
Japan
Prior art keywords
image
area
camera
video
monitor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2005263995A
Other languages
English (en)
Other versions
JP4685561B2 (ja
Inventor
Toyohiko Hayashi
豊彦 林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Kokusai Electric Inc
Original Assignee
Hitachi Kokusai Electric Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Kokusai Electric Inc filed Critical Hitachi Kokusai Electric Inc
Priority to JP2005263995A priority Critical patent/JP4685561B2/ja
Publication of JP2007081553A publication Critical patent/JP2007081553A/ja
Application granted granted Critical
Publication of JP4685561B2 publication Critical patent/JP4685561B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Closed-Circuit Television Systems (AREA)

Abstract

【課題】
従来多数のカメラで行なっていた広域監視システムを、1台あるいは少数のメガピクセルカメラ等の有効画素数が多い TV カメラで撮像し、全体を把握しながら監視したいエリアを効率的に監視することを目的とする。また、アラーム情報と画像エリアをデータマップ化することでエリア情報を画像、文字つきで即座に表示する。
【解決手段】
有効画素数が多い TV カメラで撮像した映像を監視したい複数のエリアに分割し伝送する。また、有効画素数が多い TV カメラで撮像した映像を複数のエリアに分割し、分割した各々の映像について奥行き補正する。また、TV カメラで撮像した映像を IP ネットワークを介して伝送する際に、映像をエリア分割し、必要なエリアの映像だけ、例えば、VGA サイズで伝送することで、従来の画像データの伝送方式に比べて伝送帯域を小さく抑える。
【選択図】 図1

Description

本発明は、被写体を撮像し、撮像した画像中から観たいエリアを自由に選択して表示するカメラシステムに関し、特に奥行きのある被写体を撮像して監視する監視カメラシステムにおいて、その中から監視したいエリアを手動選択或いは自動選択し、モニタ表示するカメラシステムに関するものである。
鉄道のホーム監視カメラシステムなど、従来、奥行きのある被写体を監視する場合、カメラを複数台設置し、各カメラがそれぞれ撮像した複数の画像を、各々映像ケーブルでモニタ表示部まで伝送し、モニタ表示部に表示された画像を観ることによって監視を行っていた。そのため車両編成が変わり被写体の位置が変更になると、その都度カメラの移設工事を行なう必要があった。
レンズや雲台を備え、パン機構、チルト機構またはズーム倍率変更機構等の少なくとも1つを制御してカメラの視野範囲を変更するような可動式カメラでは、視野範囲を変更して監視したいエリアに可動させることで複数のエリアを1台のカメラでカバーすることができるが、一度に全体の状況を把握し、観たいエリアに即座に映像表示させることはできなかった(例えば、特許文献1参照。)。
図23によって、従来の奥行きのある監視領域を監視するカメラシステムを更に説明する。図23は、鉄道のプラットホームの状況の監視や列車への乗降等の状況の監視など、奥行きのある監視領域を監視するシステムの略構成とモニタ画面の表示例を示す図である。図23(a) はホームを上方から見たシステムの略構成を示し、51-1 と 51-2 は TV カメラ、52-1 〜 52-4 は列車の車両を示す。TV カメラ、ホーム、及び車両は一部を示しているだけで、全ては表示していない。また、乗降客等、ホームや列車上にあるべき他の物体等の図示は、煩雑さを避けるために省略している。ここで、モニタや記録装置は図22に示していないが、例えば、運転席、車掌席、駅事務所または監視センタに設置され、TV カメラ 51-1 と 51-2 と無線または有線のいずれかあるいはそれらの組合せの周知の伝送手段(図示しない、例えば、無線 LAN( Local Area Network )、光通信等によって結合されている。
また図23(b) は、図23(a) に示す TV カメラ 51-1 と 51-2 が取得した画像のモニタ画面への表示の一例を示す図で、510 と 520 はモニタ画面の表示例、510-1 はモニタ画面の表示例 510 中に表示された画像、520-1 と 520-2 は表示例 520 中に表示された画像である。また、TV カメラやモニタは、ホームの長さ、形状、障害物、乗降客数、予算等の必要性に応じて、台数が変わるものである。
鉄道のホームは、幅が狭く、ホーム内には、乗客、柱、案内板、時計、広告、信号灯等が障害となって列車の車両の乗降口を撮像するために最適な位置に TV カメラを設置するためには多くの制限が存在するうえ、ホームがまっすぐに延びているとは限らないし、斜面上にあったり段差があったりする場合もある。このため、TV カメラの視野方向は、天井付近から下方を俯瞰するように設置することはもとより、列車車両の進行方向とほぼ平行な向きに設置せざるを得ない上、設置する TV カメラの数も制限される。
従って、図23(a) の TV カメラ 51-1 と 51-2 と伝送手段で結合され、TV カメラ 51-1 と 51-2 の取得した画像を表示しているモニタには、図23(b) の表示例 510 、520 に示すように、TV カメラ 51-1 と 51-2 の手前の車両は大きく映り、奥の車両は小さく映る。
図23(b) の上段に示すように、TV カメラ 51-1 と 51-2 で撮像した画像を合成した画像 510-1 を表示する単画面の場合( TV カメラが1台の場合には合成しない)の表示例 510 では、乗降口付近だけでなく、ホームの内側まで監視できるが、画面奥(主に、列車乗降口や車側灯)が小さくなり画面奥が見難い。また、図23(b) の下段に示す表示例 520 の画像(分割画像)のように、TV カメラ 51-1 と 51-2 で撮像した画像 520-1 と 520-2 を別々に表示した場合や、合成した後、例えば、車両ごとに分割して表示した場合は、画面奥にも TV カメラが設けられていることで車両奥まで視認できるがホームの内側がカットされるし、画面が全体的に見難くい。
また、通常の TV カメラで撮影した画像について、特に監視が必要な部分(例えば、特に混雑した乗降口付近)を電子ズームで拡大処理した場合には、画質が劣化してしまい、特に監視が必要な部分は拡大されるものの、解像度が悪いため視認性は向上しない。このため、高解像の(有効画素数が多い) TV カメラ(例えば、メガピクセルカメラ)を用いて撮像して画像を拡大表示しても画質が劣化しないようにしても、記録装置に録画される画像及び再生される画像の画質が固定なので、記録装置から録画された画像を再生し、画像処理によって画像の見たい部分領域(画像領域)を拡大する場合には、画質が劣化する。
特開平11−124036号公報
奥行きのある場所としては、例えば、港湾、河川、発電所、高速道路、交通量監視、駅ホーム、駅構内、空港等がある。これら、奥行きのある広範囲な複数のエリアを多数のカメラで監視する場合、カメラ台数が多くなり選択操作が複雑になる。
例えば、監視エリアを変更する必要があったり、被写体のレイアウトが変更されたり(監視場所のレイアウトが変更されたり)すると、その都度カメラを移設する必要がある。設置されているカメラが多いほど、変更作業には時間や労力がかかるようになる。
また、監視カメラシステムでは、複数の監視者が同じ画像を共有しているが、そのなかで監視したいポイントの画像を監視者毎にそれぞれ選択して、それぞれのモニタに表示させることはできない。
本発明の目的は、複数のカメラで撮像していたエリアを1台のメガピクセルカメラ等の有効画素数が多い TV カメラで撮像し、1フレーム毎の映像内を監視ポイント毎に自由にエリア分割し、モニタ表示することができる監視カメラシステムを提供することにある。
また、エリア分割することでメガピクセルカメラ等の有効画素数が多い TV カメラの画像フレームの大きなデータ量を縮小し効率的に LAN などへ配信することができる。
本発明の他の目的は、従来多数のカメラで行なっていた広域監視システムを1台あるいは少数のメガピクセルカメラ等の有効画素数が多い TV カメラで撮像し、全体を把握しながら監視したいエリアを効率的に監視することを目的とする。また、アラーム情報と画像エリアをデータマップ化することでエリア情報を画像、文字つきで即座に表示することにある。
上記の目的を達成するために、本発明のカメラシステムの表示方法は、1台あるいは複数台のカメラによって1つのエリアを撮像し、撮像された1つのエリアの映像から、所定の分割エリアを選択して選択された分割エリア毎にモニタに表示するカメラシステムの表示方法において、1台あるいは複数台のカメラが撮像する1つのエリアの映像のサイズが、モニタの画面表示解像度より大きいことを特徴とする。
また、好ましくは、所定の分割エリアの映像の奥行きを補正してモニタ表示する。
また、好ましくは、カメラが360度カメラである。
また、好ましくは、センサと分割エリアをあらかじめ関連付けしておき、センサがアラームを発生した場合には、アラームを発生したセンサに関連付けられた分割エリアの映像をモニタに表示する。
また、本発明のカメラシステムは、1つのエリアを撮像する1台または複数台のカメラと、撮像された1つのエリアの映像から、所定の分割エリアを選択して選択された分割エリア毎にモニタに表示するために出力する制御装置とを備え、1台あるいは複数台のカメラが撮像する1つのエリアの映像のサイズが、モニタの画面表示解像度より大きいことを特徴とする。
上記の目的を達成するために、本発明のカメラシステムは、有効画素数が多い TV カメラで撮像した映像を監視したい複数のエリアに分割し伝送するものである。
また、本発明のカメラシステムは、有効画素数が多い TV カメラで撮像した映像を複数のエリアに分割し、分割した各々の映像について奥行き補正(画面奥方向の画像を奥行きに従って大きく表示)するものである。
また、本発明のカメラシステムは、TV カメラで撮像した映像を IP ネットワークを介して伝送する際に、映像をエリア分割し、必要なエリアの映像だけ、例えば、VGA サイズで伝送することで、従来の画像データの伝送方式に比べて伝送帯域を小さく抑えるものである。
また本発明のカメラシステムは、望ましくは、有効画素数が多い TV カメラで撮像した映像について、GUI( Graphical User Interface )操作により、例えば、VGA サイズ等の TV カメラの撮像画素サイズより小さな画素サイズの映像に変換するものである(例えば、マウス等のポインティングデバイスでクリックしたポイントを中心として、VGA サイズの画像に変換する。)。
また本発明のカメラシステムは、望ましくは、有効画素数が多い TV カメラで撮像した映像について、画像処理装置を用いて、侵入物体を検出し、検出された侵入物体を中心としたエリアを、例えば、VGA サイズ等の TV カメラの撮像画素サイズより小さな画素サイズで自動抽出するものである。
また本発明のカメラシステムは、望ましくは、野球、サッカーなどのスポーツ中継のインターネット配信で、視聴者が見たいエリアを視聴者が選択し、WEBサーバはそのエリアを拡大表示して配信するものである。
また本発明のカメラシステムは、望ましくは、360度カメラで撮像したパノラマ画面について監視場所毎に予めエリア分割し、画面内の見たいエリアを GUI 操作によって手動選択するか、或いは、アラーム情報から自動選択し伝送するものである。
また本発明のカメラシステムは、更に、アラーム発生エリアをデータマップ化し、アラーム情報表示及びアラーム予測を行なうものである。
本発明によれば、奥行きのある被写体をカメラで撮像して監視するカメラシステムにおいて、有効画素数が多い TV カメラで被写体全体を撮像し、撮像した映像を監視したい複数のエリアに分割することで、モニタ画像の解像度や画像サイズを自由に変更することが可能であり、従来のように、画角を変更する都度カメラ位置を変える必要が無い。
また、有効画素数が多い TV カメラで撮像した映像をデータ化して、IP ネットワークなどを介して伝送する場合、撮像した映像全体をデータ化せず、監視に必要な分割されたエリアのみをデータ化して伝送するため、データ量を低減することが可能である。
また、本発明を画像処理装置と組み合わせることで検出された侵入物体などの被写体周辺のエリアを自動選択することが可能である。
本発明のシステムを野球、サッカーなどのスポーツ中継のインターネット配信等、高精細で配信または放送される、映像に応用することができ、球場全体をメガピクセルカメラ等の有効画素数が多い TV カメラで撮像した画像の中から、視聴者が観たいエリアを選択することが可能である。
また、本発明を市街地の交差点などを監視する交通流監視システムに応用ですことで交差点全体360度をメガピクセルカメラで撮像した画像について、監視ポイント毎にエリア分割し、エリア画像と場所情報、警報情報をデータマップ化することで、監視者は交差点全体の状況を把握すると同時に交差点の詳細画像及び警報発生ポイントの画像をモニタすることが可能である。
本発明の一実施例を図1によって説明する。図1は、奥行きのある被写体を複数の TV カメラで監視するカメラシステムのカメラ配置と撮像画像のイメージ図である。図1は、TV カメラ、ホーム、及び車両は一部を示しているだけで、全ては表示していない。また、乗降客等、ホームや列車上にあるべき他の物体等の図示は、煩雑さを避けるためにできるだけ省略している。
図1(a) の被写体は、駅のホームに停車している電車 4 を先頭車両の方から観た概略図である。電車 4 は、例えば、6両編成である。
1-1 〜 1-3 は、TV カメラで、例えば、TV カメラ1-1 で1〜2車両目を監視し、TV カメラ 1-2 で3〜4車両目を監視し、TV カメラ 1-3 で5〜6車両目を監視する。
TV カメラ 1-1 〜 1-3 は、図示していないホームの屋根から支柱 1-11 、1-12 、1-13 でそれぞれ吊り下げられて固定されている。
図1(b) は、ホームと電車 4 を上方から見たシステムの一部の略構成を示し、4-1 は電車 4 の先頭車両、4-2 は電車 4 の2車両目、4-3 は電車 4 の3車両目を示す(以下の車両は省略)。
TV カメラ 1-1 及び 1-2 から延びている実線は、TV カメラの視野範囲を示す。
図1(c) は、TV カメラ 1-1 が撮像した画像、図1(d) は、TV カメラ 1-2 が撮像した画像、図1(e) は、TV カメラ 1-3 が撮像した画像を表示している。
ここで、モニタや記録装置は図1に示していないが、例えば、運転席、車掌席、駅事務所または監視センタに設置され、TV カメラ各々と無線または有線のいずれかあるいはそれらの組合せの周知の伝送手段(図示しない、例えば、無線 LAN( Local Area Network )、光通信等によって結合されている。
図2は、TV カメラ 1-1(図1)の位置に有効画素数がモニタ等の表示装置の解像度より大きいカメラを1台設置し、6両編成の電車全体をカバーできる視野範囲を監視エリアとして撮像したときの画面である。TV カメラは、例えば、有効画素数が 900 万画素の CCD を搭載したメガピクセルカメラである。
このとき、例えば、TV カメラの撮影画素数を 3200 × 2400 ドット( QUXGA サイズ)と設定する。そして、モニタの画面表示解像度を、例えば640 × 480 ドット( VGA サイズ)とする。
また、例えば、TV カメラは、その撮影画素数が 2048 × 1536 ドット( QXGA サイズ)以上のカメラである。
図2(a) は、1台の TV カメラで撮像した電車の画面である。破線 20-1 で囲まれたエリアは、図1における TV カメラ 1-1 が撮像したときの視野範囲と同等のエリアであることを示し、破線 20-2 で囲まれたエリアは、図1における TV カメラ 1-2 が撮像したときの視野範囲と同等のエリアであることを示し、破線 20-3 で囲まれたエリアは、図1におけるTV カメラ 1-3 が撮像したときの視野範囲と同等のエリアであることを示している。なお、図2において、図2(b) は無い。
破線 20-1 で囲まれたエリアの画像は、図2(c) のように抽出され、破線 20-2 で囲まれたエリアの画像は、図2(d) のように抽出され、破線 20-3 で囲まれたエリアの画像は、図2(e) のように抽出さる。
図1の TV カメラ 1-1 〜 1-3 に相当する監視エリアを画像処理によって抽出し、部分拡大して奥行き補正を行なった画像も併せて示す。
即ち、図2(c) の画像は図2(c′) に示すように補正され、図2(d) の画像は図2(d′) に示すように補正され、図2(e) の画像は図2(e′) に示すように補正される。
このような補正技術については、後述する。
図3は、本発明のシステムの一実施例の構成を示すブロック図である。31 は TV カメラ、32 は TV カメラ 31 の映像を監視したい複数のエリアに分割するための映像制御器、33 は分割するためのそれぞれのエリアを選択するための操作 PC( Personal Computer )、34 は分割したエリアを表示するためのモニタ、35 は TV カメラ 31 の映像を表示するためのモニタである。TV カメラ 31 は、例えば、メガピクセルカメラ等の有効画素数が多い TV カメラである。
図3において、TV カメラ 31 は、視野範囲を撮像し、撮像した映像を映像信号として映像制御器 32 に出力する。映像制御器 32 は、入力された映像信号を操作 PC 33 に出力する。
操作 PC 33 は、自身で備えているかまたは別途接続した表示ユニットに映像制御器 32 から与えられた映像信号をその表示ユニットの表示形式に変換して出力する。表示ユニットは、TV カメラ 31 が撮像した視野範囲全体の映像を表示する。
操作者は、操作 PC 33 に備えられた、例えば、マウス等のポインティングデバイスやキーボード等の入力機器を使って、操作 PC 33 を操作し、監視したいエリアを選択する。
監視したいエリアは、図1のような鉄道のホーム監視カメラシステムの場合には、例えば、電車の上降口付近であり、1つまたは複数のエリアを選択することができる。
そして、表示するモニタをモニタ 34 の中から選択あるいは指定して、その情報と共に、映像制御器 32 に出力する。
なお、このとき、操作者が、表示するエリアの映像と共にそのエリアの情報を文字や図形で表示(更に、音声出力)したい場合には、その設定をすることもできる。エリアの情報とは、例えば、そのエリアの地名や地番(電車の乗降の場合には、車両番号等の順番や乗降口番号、等)他、時刻情報、等である。
映像制御器 32 は、操作 PC 33 から与えられた指示に従って、TV カメラ 31 が撮像した視野範囲全体の映像から指定のエリアの映像を分割して、操作 PC 33 から指示された情報と共に、該当するモニタ 34 に映像データと指定されたエリア情報を出力する。
モニタ 34 は、それぞれ与えられたデータを映像または音声として出力する。
また、映像制御器 32 は、TV カメラ 31 が撮像した視野範囲全体の映像をモニタ 35 に出力し、モニタ 35 は、視野範囲全体の映像を表示する。
次に、図3の映像制御器 32 の詳しい機能について図4を用いて説明する。
図4は、本発明の一実施例の映像制御器の機能を説明するためのブロック図である。41 は映像分配器、42 は A/D 変換部、43 は画像メモリ部、44 はエリア抽出部、45 は画像補正部、46 は D/A 変換部、47 はコントロール部、48 は画質変換部である。
TV カメラ 31 が取得した映像は、フレーム毎に映像制御器 32 の映像分配部 41 に入力する。映像分配部 41 は、入力された映像をフレーム毎に分配して、A/D 変換部 42 と外部機器(例えば、図3の操作 PC 33 及びモニタ 35 )に出力する。
A/D 変換部 42 は、映像信号をデジタルデータに変換し、フレーム毎に画像メモリ 43 に出力する。画像メモリ部 43 は、入力された映像データを記録する。
図3の操作 PC 33 において選択されたエリアの情報が、コントロール部 47 に入力すると、コントロール部47 は、操作パソコンで選択されたエリアを検出し、検出されたエリア情報をエリア抽出部 44 に出力し、かつ画像メモリ部 43 に1フレーム分の映像データをエリア抽出部 44 に出力するように指令する。
画像メモリ部 43 は、1フレーム分の映像データをエリア抽出部 44 に出力する。
エリア抽出部 44 は、与えられたエリア情報に基づいて、画像メモリ部 43 から入力される映像データをフレーム毎にそれぞれのエリアに分割して画像補正部 45 に出力する。
この際、画質変換部 48 では、各エリアの映像サイズを同じ画素サイズ(画面表示解像度のサイズ)に合せる。分割されたエリアは、各々画像補正部 45 に入力され、部分拡大による奥行き補正を行ない、エリア毎に、それぞれ該当する D/A 変換部 46 に出力する。
最後に D/A 変換部 46 で各エリア毎の画像をアナログの映像信号に戻してそれぞれのモニタ 34 に出力する。
以上の処理過程により、従来複数台(この場合3台)の監視カメラで行っていたカメラシステムを、1台のメガピクセルカメラ等の有効画素サイズの大きなカメラで実現することができる。
図5は、本発明を IP( Internet Protocol )ネットワーク経由でクライアント PC へ伝送するためのシステムの一実施例の構成を示すブロック図である。図5(a) は従来の IP ネットワークへの伝送方式で、図5(b) は本発明の IP ネットワークへの伝送方式の実施例である。51 は TV カメラ、52 と 52′は TV カメラ 51 が撮像した映像をフレーム毎に配信するための画像配信装置、53 は IP ネットワーク、54 は映像をモニタするためのクライアント PC 、55 は映像を複数のエリアに分割するための映像制御器、56 は映像信号、57 は制御信号、58 はエリアを選択するための操作PC である。
図5(b) において、TV カメラ 51 は、視野範囲を撮像し、撮像した映像を映像信号として映像制御器 55 に出力する。映像制御器 55 は、入力された映像信号を操作 PC 58 に出力する。
操作 PC 58 は、自身で備えているかまたは別途接続した表示ユニットに映像制御器 55 から与えられた映像信号をその表示ユニットの表示形式に変換して出力する。表示ユニットは、TV カメラ 51 が撮像した視野範囲全体の映像を表示する。
操作者は、操作 PC 58 に備えられた入力機器を使って、操作 PC 58 を操作(例えば、GUI 操作)し、監視したいエリアを選択する。そして、その情報を映像制御器 55 に出力する。
なお、このとき、操作者が、表示するエリアの映像と共にそのエリアの情報を文字や図形で表示(更に、音声出力)したい場合には、その設定をすることもできる。エリアの情報とは、例えば、そのエリアの地名や地番(電車の乗降の場合には、車両番号等の順番や乗降口番号、等)他、時刻情報、等である。
映像制御器 55 は、操作 PC 58 から与えられた指示に従って、TV カメラ 51 が撮像した視野範囲全体の映像から指定のエリアの映像を分割して、操作 PC 58 から与えられた情報と共に、映像信号 56 として、画像配信装置 52′に出力する。また、映像制御器 55 と画像配信装置 52′とは、制御信号 57(例えば、クライアント PC 54 からの配信要求、操作 PC 58 からの配信制御信号、等)を送受しあう。
画像配信装置 52′は、映像をフレーム毎に IP パケット化して、IP ネットワーク 53 に配信する。
クライアント PC 54 は、IP ネットワーク 53 を介して、TV カメラ 51 が撮像した視野範囲全体の映像から操作 PC 58 で分割した映像を受信してその表示部に表示する。
なお、図5では、クライアント PC を1台だけとして説明したが、複数のクライアント PC があり、それぞれが別のエリア画像(全体画像を含む)の配信要求をしても良い。
図6は、本発明の映像制御器 52′の機能ブロックの一実施例を説明するための図である。
図6は、図4の映像制御器から、映像分配器 41 を除去し、画質変換部 48 を映像分配器 41 と結合する代わりに画質メモリ部43 とを設け、画質変換部 48 と画像メモリ部 43 と結合したものである。
図6のように、画質変換部では QXGA サイズ( 2048 × 1536 ドット)以上の画像フレーム(メガピクセル監視カメラの全体画像)を VGA サイズ( 640 × 480 ドット)に変換することで、データ量を減らしてネットワークへの負荷を軽減することができる。
なお、図6では、映像制御器 55 から、画像配信装置 52′への結線は、複数の入力があるように描いているが、図5の場合には、映像制御器 55 から画像配信装置 52′等の結線が1本のデータバスとして描いてあることによる違いで、実質的に同一である。
図7は、本発明の画像配信装置 52′の機能の一実施例を説明するためのブロック図である。
WEB エンコーダ 71 〜 73 は、エリア画像をネットワークへ配信する(この場合は3台)。また、WEB エンコーダ 74 は、映像制御器 55 の画質変換部 48 で変換された VGA サイズの映像をフレーム毎にネットワーク 53 に配信する。
なお、図7では、映像制御器 55 から、画像配信装置 52′内部の機能を明確にするために、複数の入力があるように描いているが、図5の場合には、映像制御器 55 から画像配信装置 52′等の結線が1本のデータバスとして描いてあることによる違いで、実質的に同一である。
各 WEB エンコーダ 71 〜 74 は、クライアント PC 54 側からの要求に応じてエリア画像または全体画像を配信する。
コントロール部 75 は、映像制御器 55 からの情報によって、各 WEB エンコーダ 71 〜 74 とスイッチングハブ 76 を制御し、スイッチングハブ 76 は、IP ネットワーク 53 と各 WEB エンコーダ 71 〜 74 との結合を切り換える。
従来の技術では、TV カメラの映像全体を、フレーム毎に、直接、データ化するため、1フレーム( QXGA サイズ以上)あたりのデータ量が非常に大きくネットワークに与える負荷が大きいものであった。
しかし、本発明では、TV カメラの映像をフレーム毎にサイズの小さなエリアに分割した後にネットワークに配信する。このため、従来に比べてデータ量を小さく抑えることが可能である。
QXGA サイズの TV カメラの映像をフレーム単位でVGA サイズのエリアに分割した場合には、従来の方式に比べて約 10 %のデータ量にすることが可能である。
また、図1((c)〜(e))や図2((c)〜(e)、(c′)〜(e′))、から分かるように、各エリア画像は似通っており、映像の相関性が高い。WEB エンコーダで MPEG 形式でエンコードする際、I ピクチャを共有化することでデータ量の低減を図ることが可能である。
クライアント PC 54 側が複数のエリア画像を表示する場合、コントロール部 47 で、あるエリアの I ピクチャとその他のエリアの I ピクチャとの差分を検出し、WEB エンコーダが、1つのエリアの I ピクチャとその他のエリアの差分データ(例えば、P ピクチャ)のみを配信する。
クライアント PC が1つのエリア画像を表示する場合には、あまり効果が無いが、複数のエリア画像を表示する場合は、1つのエリアの I ピクチャとその他のエリアの差分データを配信するだけでよいのでデータ量を低減することが可能である。
なお、エンコードの形式は、MPEG 形式に限らない。
図5(b) と図8によって、手動選択によるエリア画像選択方法の一実施例を説明する。図8は、本発明の一実施例のエリア画像選択方法を説明するための図である。図8(a) は、TV カメラ 51 が撮像した視野範囲全体の画像が表示された表示ユニットの表示エリアを示す。また、図8(b) は、操作者が選択した所望のエリア画像の拡大画像を示す。この拡大画像は、例えば、クライアント PC 54 の表示ユニットに表示される。
図5(b) のシステムにおいて、操作 PC 58 に結合された表示ユニット(外付けでも内蔵でも可)に TV カメラ 51 で撮像された全体画像 81 が表示される。操作者は、GUI 操作等によって表示画面上の全体画像 81 から所望の監視ポイントを選択する(例えば、マウス(図8(b) 中の矢印で示す図形の先端は、監視ポイントの位置を示す。)でクリック等の操作をする)と、その部分を中心としたエリア画像 82 が、VGA サイズで選択される(図8(a) の点線枠)。選択の方法は、また、GUI 操作等によって表示画面上の所望の範囲のエリアを選択する(例えば、マウスにより任意の範囲のエリアを選択する)ことでも良い。このとき、VGA サイズ等の画面表示解像度の縦横比には横長なので、侵入者として検出されたエリアの高さ(縦)方向を主として、検出された侵入者の縦方向がすべて表示されるようにエリアの大きさが決定される。
そして、選択された任意の大きさのエリア画像は、映像制御器 55 の画質変換部で VGA サイズに変換され、画像 83 のように表示される。
なお、映像制御器 55 がサイズ変換する場合、選択されたエリアの画素数が、表示されるモニタの表示解像度のドットサイズより多い場合は間引いて変換され、少ない場合は補完して表示される。
また、拡大されて表示されるか縮小されて表示されるかも、同様なことがいえる。
図9は、本発明の画像処理装置で侵入者などを自動検知することでエリアを自動選択する方法を示す。図9は、本発明の一実施例のエリア画像選択方法を説明するための図である。図9(a) は、図5(b) の本発明のシステムの一実施例に画像処理部 99 を追加した、本発明の別のシステムの実施例を示す図である。
監視用 TV カメラ 51 が撮像した映像は、フレーム毎に画像処理部 99 に出力される。画像処理部 99 は、周知のアルゴリズム(例えば、フレーム間差分や背景差分)を用いて侵入者を検知する。そして、侵入者を検出すると、検出したエリアを中心とした、侵入者のエリアを含み、侵入者のエリアと同じか少し大きめのエリアを自動選択する。この選択するエリアの広さはあらかじめ定めるか、また適時変更できる。
図9(b) は、図9(a) のシステムの画像処理部 99 が自動的に検出した侵入者を追跡していることを示す図である。91 は操作 PC 58 に結合された表示ユニット(外付けでも内蔵でも可)表示されたTV カメラ 51 で撮像された全体画像、92 は時刻 t0 で検出したエリア、93 は時刻 t2 で検出したエリア、94 は時刻 t3 で検出したエリアを示す枠である。また、図9(c) の 95 は、エリアの枠 94 が選択した所望のエリア画像の拡大画像を示す。この拡大画像は、例えば、クライアント PC 54 の表示ユニットに表示される。
即ち、図9(c) は、エリア枠 94 の画像が映像制御器 55 の画質変換部で VGA サイズに変換され、画像 95 のように表示されることを示す。
なお、図9(b)においては、説明のために全体画像 91 中に枠 92 〜 94 が同時に描かれているが、時間の推移と共に枠の位置が矢印のように侵入者の移動に対応して移動して行くことを説明するためであって、実際には、各時刻毎にいずれか1つが表示されるものである。
また、侵入者が同時に2つ以上検出される場合には、同意に複数の枠が表示されるが、その場合には、更にマウス等が表示され、操作者が選択したいずれかの侵入者が VGA サイズで表示されるか、あるいは、複数のクライアント PC に自動的に割り当てられて別々に拡大されて表示することができる。
上記実施例では、侵入者を検出しているが、侵入者である必要は無く、動物や車両等の移動体または物体がカメラの視野範囲内に、またはセンサの警戒範囲内を通過または侵入することを検出する場合にも適用できることは言うまでもない。
図10は、本発明の別の実施例を説明するための図で、野球などのスポーツ中継のインターネット配信画像を示す図である。図10(a) は、球場での野球中継の画像配信を説明するための図である。101 は球場全体を TV カメラで撮影した映像を表示した全体画像である。全体画像 101 は図10(a) では、上空から見た図に見えるが、ドーム球場では、このように上にカメラを取り付けて魚眼レンズと組み合わせた360度カメラの映像を画像処理して表示することができるが、通常は、球状のホームベース側の所定の高さから斜め下を俯瞰するように撮影するのが一般的である。また、球場観客席の一塁ベース側やあるいは三塁ベース側から撮影することも考えられる。
102 はレフト(左翼)選手の守備範囲を中心としたエリア、103 はセンタ(中堅)選手の守備範囲を中心としたエリア、104 はライト(右翼)選手の守備範囲を中心としたエリア、105 は内野選手の守備範囲を中心としたエリア、106 は投手と捕手の守備範囲を中心としたエリアである。
上記の発明の実施例では、操作 PC 58 で行なっていたエリア画像選択を、画像配信用 WEB サーバの WEB ページ(ブラウザ)上でクライアント PC 54 を操作することで行ない、クライアント PC 54 でモニタする視聴者側でエリアを選択する。選択されたエリアが、例えば画像 107 のようにモニタに表示される。
図11に示すように、WEB サーバ 111 は、選択された情報をもとに、WEB サーバ 111 に備えられた映像制御器 55′を制御し、配信するエリアを指定することで視聴者が観たい映像を届けることができる。
なお、WEB サーバ 111 はネットワーク経由でカメラ側の映像を受信しても良いが、ネットワークを経由しないで、直接映像を得、それらの映像を蓄積しておいて、WEB サーバ 111 からネットワークを介して映像を配信しても良い。
例えば、図10をもとに説明すると、ライトの選手の動きを中心にモニタしたい場合、TV カメラ 51′で撮影した球場全体の画像から観たいエリアを視聴者が WEB ページ上で選択し、WEB サーバ 111 は映像制御器 55′で抽出したエリア画像を映像制御器 55′に備えられた WEB エンコーダ経由で視聴者側に配信する。
なお、上記実施例では、360度カメラによって撮像したが、必ずしも360度である必要は無く、撮影するために必要な角度であれば良い。
また、複数台のカメラで撮像した画像の合成についても同様なことがいえる。
図12は、TV カメラを3台使用し、各々が水平120度ずつ撮像して取得した映像を合成して360度のパノラマ画面例を示す図である。また、図13は、図12の360度のパノラマ画面を用いて、市街地などの交通流監視カメラシステムに応用した場合で、本発明のシステムの構成の一実施例を示すブロック系統図である。
図12において、カメラ部 121には、3台のTV カメラ 122 を水平120度ずつ撮像するように配置し、それぞれのTV カメラ 122 が撮像した映像 123-1 、123-2 、及び 123-3 を画像処理によって合成して360度のパノラマ画面 124 を表示のために出力する。TV カメラ 122 は、例えば、900 万画素のメガピクセルカメラである。
図13において、例えば、360度撮像可能なカメラ部 121 で、交差点の中心部に設置し全方向を監視する。なお、3台のカメラ画像を合成する方式の他に、360度監視するカメラ 121 は、NSK株式会社製360度撮影カメラでも代用可能である。カメラ部 121 は、複数台備え、それぞれのカメラ部 121 が、割り当てられた交差点を撮像する。
カメラ部 121 が撮像した交差点の映像は、それぞれ、屋外用機器収容ボックス 132 に出力される。屋外用機器収容ボックス 132 は、それぞれ、入力された映像を合成して360度のパノラマ画面に変換し、更に、IP ネットワーク 133 で伝送できるデータ形式(例えば、IP パケット)に変換して、IP ネットワーク 133 を介して、管理サーバ( WEB サーバ)134 に送信する。
管理サーバ 134 は、映像の配信制御、及び配信するクライアント数などネットワーク接続端末を管理する。
クライアント PC 135 は、IP ネットワーク 133 と結合し、監視映像をモニタする。また、WEB デコーダ 136 は、IP パケットで配信された画像データを例えば NTSC アナログ信号に変換し、大型モニタ137 に出力する。
WEB デコーダ 136 が変換する形式は、大型モニタ137 が表示可能な形式であれば何でも良い。
大型モニタ 137 は、入力された監視画像を単画面表示または多分割表示する。
なお、単画面表示とは、モニタの表示画面に入力可能なカメラの1台分の映像だけを表示し、多分割表示とは、表示画面を分割して複数台のカメラの映像を表示するものである。
図13において、図示しないセンサは、音、光、振動、等の変化を検知し、アラーム信号 138 を屋外用機器収容ボックス 132 に出力し、屋外用機器収容ボックス 132 は、アラーム信号 138 に応じて、異常な変化を検知したセンサに対応するカメラの映像を単画面表示するかあるいは、色つきの枠で囲ったり、枠を点滅させたりするように画面表示を切り換える情報を IP ネットワーク 133 を介してクライアント PC 135 や WEB デコーダ 136 に出力する。WEB デコーダ 136 は、更にその情報に応じて、大型モニタ 137 の表示を切り換える。
例えば、市街地の各交差点に混雑状況を監視するための360度監視可能なカメラを設置し、クライアント PC 135 側で予め選択されたエリアとアラームポイントを対応させ、WEB サーバ 134 でデータマップを作成する。アラームが発生すると、クライアント PC 135 の操作画面は自動的にアラームが発生したエリアの画面に切り換わる。設置されたセンサと、そのセンサのアラームが発生した場合に表示するエリアとは、あらかじめ関連付けられている。また、対応するエリアが、1つのセンサに複数あっても良いし、同じエリアが複数のセンサと対応していても良い。
図14は、本発明のクライアント PC 135 の操作画面の一実施例のイメージ図である。図14(a) はクライアント PC 135 の表示部 141 に表示された操作画面の略イメージを示し、画面 142 には、選択されているエリア(即ち、操作対象のカメラ部が撮影している映像)が表示されている。また、下側の画面 143 に交差点の360度全体の画像を表示される。図14(b) は、画面 143 を拡大して表示した図である。更に、右側の画面 144 には、選択されているエリアに関する情報(交差点名称、通り名称、住所、警報発生件数、警報発生時間など)が図形や文字等で表示される。図14(c) は、画面 144 を拡大して表示した図である。
各エリア、アラーム情報は、交差点名称などと共に、WEB サーバ 134 でデータマップ化され、アラームが多発する時刻、場所などからアラーム発生予測を行なうことが可能である。
本発明の他の実施形態について説明する。
図15は、本発明の一実施例の監視システムを示すブロック図である。図2は、被写体の画像の部分拡大処理を行うための画像処理装置と記録装置を使用したシステム系統図である。521 は TV カメラ、522 は画像処理装置、522-1 は画像処理装置 522 内の画像フレームメモリ、523 は記録装置、524 はモニタである。また、525 ,526 ,527 は映像信号である。記録装置は、例えば、デジタルレコーダである。TV カメラ 521 は、例えば、有効画素数が 120 万画素以上のメガピクセルカメラである。
図15において、TV カメラ521 は、監視領域、例えば、ホームに停車した列車の車両を撮影し、映像信号525 を画像処理装置 522 に出力する。画像処理装置 522 は、入力された映像信号 525 を1フレーム毎に、SXGA サイズ( 1280 × 1024 画素)で画像処理装置 522 内の画像フレームメモリ 522-1 に記憶する。
画像処理装置 522 は、画像フレームメモリ522-1 に記憶された画像を、被写体の画像の奥行きや形状に基づいて部分的に拡大し、部分的な拡大画像を映像信号526 として記録装置 523 に出力する。記録装置 523 は、入力された映像信号526 の画像を予め選択された画質モードで録画する。
この予め選択された画質で録画された画像は、記録装置 523 から映像信号 527 として読み出され、再生画像としてモニタ524 に出力される。モニタ 524 は、入力された映像信号 527 の再生画像を画面に表示する。
上記実施例では、画像を拡大処理しても画質が劣化しないことを特徴としている。しかし、画像処理装置 522 で拡大した画像が、拡大しないで録画された通常の録画画像より画質の劣化がないようにするためには、画素の拡大率と、記録装置523 の録画画質に注意しなければならない。
例えば、記録装置 523 が VGA( 640 × 480 画素)で録画するなら、画素の拡大率は、縦、横ともに最大で2倍まで画質を落とさずに拡大することが可能である。
また例えば、QVGA( 320 × 240 )で録画するなら、画素の拡大率は、縦、横ともに最大で4倍までなら画質を落とさずに拡大することが可能である。
図16は、本発明の画像処理装置 522 の機能ブロックの一実施例を示す図である。531 は画像フレームメモリ、532 はエッジ検出部、533 は輝度差検出部、534 は被写体形状検出部、535 は拡大処理部である。また図17は、図16の画像処理装置522 内の各構成部( 531 〜 535 )での画像の様子を模式的に示す図である。541 は画像フレームメモリ 531 に記憶された画像、542 はエッジ検出部532 で検出されたエッジ検出画像、543 は輝度差検出部 533 で検出された輝度差検出画像、544 は、被写体形状検出部 534 で検出された形状検出画像、545 は拡大処理部 535 が出力する拡大画像である。
図16において、画像処理装置 522 に入力された映像信号 525 は、画像フレームメモリ531 に高画質(例えば、SXGA サイズ)の画像データ(画像 541 )として記憶される。画像フレームメモリ 531 は、記憶された画像 541 を、エッジ検出部532 と輝度差検出部 533 に出力する。
エッジ検出部 532 は、入力された画像データの画像のエッジ抽出を行い、抽出されたエッジ検出画像542 を被写体形状検出部 534 に出力する。例えば、ホームの列車の画像の場合、列車がホームに入線した状態の列車外枠をエッジとして検出する。
また、輝度差検出部 533 は、入力された画像541 と背景画像との輝度値の差を算出し、算出された輝度値の差を輝度値とした画像(輝度差検出画像543 )を生成し、生成された輝度差検出画像 543 を被写体形状検出部 534 に出力する。例えば、ホームの列車の画像の場合、列車表面が背景より明るいことを利用して列車と背景とを分離し、列車の画像領域のみを抽出する。なお、背景画像は、例えば、予め列車が入線していない時に監視視野領域を撮像して取得し、例えば画像処理装置522 内の所定のメモリに記憶しておく。また輝度値の差の算出は、例えば画素毎に実行する。
被写体形状検出部 534 は、入力されたエッジ検出画像542 と輝度差検出画像 543 とから、相関性の高い部分領域を列車の画像として確定し、確定した領域の画像(形状検出画像 544 )を拡大処理部 535 に出力する。
拡大処理部 535 は、被写体形状検出部534 で確定された形状検出画像 544 の画素領域について、各々の画素についての画素サイズの拡大率を決定する。そして、決定された拡大率を各々の画素のサイズに乗じて、被写体を擬似的に正面から見た拡大画像545 を生成し、映像信号 526 としてモニタ 524 に出力する。なお、拡大率の算出は、ホームの入線列車や建物構内など、背景の変化や動体の無い条件で(例えば、上記背景画像によって)行う。
また、乗降口付近の乗客の乗り降りを監視するためには、乗降口だけではなくその周囲も監視しなければならないため、列車の画像として確定された画像領域に、更にホーム側数十 cm 以上内側までの画像を拡大処理するようにしても良い。
以上のように、動画をリアルタイムで監視するために、図16における処理は、全てハードウェアで構成している。
しかし、画像処理装置を FPGA で構成して図18に示すフローチャートのように処理することもできる。図18は、本発明の一実施例の画像処理方法の処理動作例を説明するためのフローチャートである。
図18において、ステップ 1501 では、予め基準とする背景画像を決定し、記憶する。
ステップ 1502 では、背景画像によって画素毎の拡大率の算出を行う。
ステップ 551 では、映像信号525 を画像フレームメモリ 531 に記憶する。
ステップ 552 では、記憶された映像信号525 のエッジ抽出を行い、エッジ検出画像 542 を抽出する。
ステップ 553 では、記憶された映像信号525 と予め格納していた背景画像とを、例えば画素毎に輝度値の差分を算出し、輝度差検出画像543 を検出する。
ステップ 554 では、エッジ検出画像542 と輝度差検出画像 543 とから、相関性の高い部分領域を形状検出画像 544 として確定する。
ステップ 555-1 では、被写体形状検出部534 で確定された形状検出画像 544 の画素領域について、各々の画素の画素サイズの拡大率を決定する。
ステップ 555-2 では、決定された各画素毎の拡大率を各々の画素のサイズに乗じて、被写体を擬似的に正面から見た拡大画像545 を生成する。
次に、図19によって本発明の拡大率の算出の手順を一例を説明する。図19は、本発明の一実施例の拡大率の算出の手順を説明するための図である。横軸を X 軸、縦軸を Y 軸とした XY 座標で表示している。また、一番左下の座標を原点( 0 ,0 )としている。(a) は、図23の表示例510 の画像 510-1 、(b) は拡大前の画素のサイズ、(c) は拡大後の画素のサイズである。ただし、図6(a) の画像に比して、図19(b) と図19(c) は、図示している画素の大きさは大きく表している。
図19において、画像 510-1 を X 、Y 座標で表し、画像 510-1 全体を( LH × LV )=( 1280 × 1024 )とする。
算出方法を一般化するために、以降のように変数を定める。
被写体形状検出により得られた形状検出画像 544 から、図19(a) のように lH 、lV1 、lV2 を定める。ここで、lH は形状検出画像 544 の左端の X 座標、lV1 は形状検出画像 544 の左下端の Y 座標、lV2 は形状検出画像 544 の左上端の Y 座標である。また、列車下部の直線を関数 F 1(X) 、列車上部の直線を関数 F 2(X) とする。
このとき、関数 F 1(X) は、式(1) 、関数 F 2(X) は、式(2) のように求めることができる。
Figure 2007081553
Figure 2007081553
また、元の画素の大きさを( gX × gY )、拡大画素の大きさを( GX × GY )、画素の Y 軸方向の拡大率をα(X) 、X 軸方向の拡大率をβ(X) とする。
このとき、GY は式(3) のように求めることができる。
Figure 2007081553
次に、GX は、画素の X 軸方向の拡大率もα(X) として、拡大後の画像フレームの水平画素の和を S とすると、式(4) のように求めることができる。
Figure 2007081553
以上より元の画素に X による変数である拡大率α(X) 、β(X) を乗じて各画素毎に拡大することで拡大画像が得られる。
以上の算出処理は、カメラ設置時に被写体を撮影した状態で行い、以降の通常監視時は、拡大率の算出は行わず、拡大率α(X) 、β(X) を定数として使用する。
本発明の他の実施例を、図20によって説明する。図20は、鉄道におけるホーム画像監視システムの本発明の一実施例を説明するための図である。図20(a) はホームを上方から見たシステムの略構成を示し、51-1 〜 51-4 は TV カメラ、52-1 〜 52-8 は列車の車両を示す。乗降客等、他のホームや列車上にあるべき他の物体等の図示は、煩雑さを避けるために省略している。ここで、モニタや記録装置は図7に示していないが、例えば、運転席、車掌席、駅事務所または監視センタに設置され、TV カメラ 1-1 〜 1-4 と無線または有線のいずれかあるいはそれらの組合せの周知の伝送手段(図示しない、例えば、無線 LAN( Local Area Network )、光通信等の通信回線によって結合されている。
また図20(b) は、図20(a) のカメラ 51-1 〜 51-4 が取得した映像を複数のモニタにそのまま表示した従来技術の表示例である。510′はモニタ画面の表示例、510′-1 は TV カメラ 51-1 が取得した映像をモニタの1つに表示した表示例、510′-2 は TV カメラ 51-2 が取得した映像をモニタの1つに表示した表示例、510′-3 は TV カメラ 1-3 が取得した映像をモニタの1つに表示した表示例、510′-4 は TV カメラ 51-4 が取得した映像をモニタの1つに表示した表示例である。
また図20(c) は、本発明の一実施例で、図20(a) の TV カメラ 51-1 〜 51-4 が取得した映像を複数のモニタに表示した例を示す図である。570 はモニタ画面の表示例、570-1 は TV カメラ 51-1 が取得した映像をモニタの1つに表示した表示例、570-2 は TV カメラ 51-2 が取得した映像をモニタの1つに表示した表示例、570-3 は TV カメラ 51-3 が取得した映像をモニタの1つに表示した表示例、70-4 はカメラ 1-4 が取得した映像をモニタの1つに表示した表示例である。
図20の実施例では、1つの監視領域を複数の TV カメラで撮像し、複数のモニタに表示する。このため、例えば、図20(b) に示す従来例のように、手前と奥の画像が交互に表示されるため、非常に視認が困難になる。
このような監視において、本発明では、複数のカメラで撮像した監視領域を、1つのカメラで正面から撮像したように擬似的に表示させる。これによって、視認性が向上する。
図21によって、本発明の別の実施例を説明する。図21は、本発明の一実施例のモニタ表示画面の一例を示す図である。図21は、本発明の一実施例の図7(c) が複数のモニタを有し、カメラ1台毎に1台のモニタを割当てて1台のカメラの取得した映像を割当てた1台のモニタに表示していることに対して、1台のモニタを複数の画面に分割して(図7では、4分割表示)表示し、モニタの数を減らしたものである。580 はモニタ画面の表示例、570-1 は TV カメラ 51-1 が取得した映像をモニタの1つに表示した表示例、570-2 は TV カメラ 51-2 が取得した映像をモニタの1つに表示した表示例、570-3 は TV カメラ 51-3 が取得した映像をモニタの1つに表示した表示例、570-4 は TV カメラ 51-4 が取得した映像をモニタの1つに表示した表示例である。
図22によって、本発明の別の実施例を説明する。図22は、本発明の一実施例のモニタ表示画面の一例を示す図である。図22は、本発明の一実施例の図21(c) の表示例 570-1 において、車両の外壁部分の撮像画像を表示せず、例えば白抜きとして、車両の乗降口から見える車内とホーム上の乗降者の撮像画像を表示するようにした表示例である。
上記図22の実施例では、例えば、車両の両側に1つずつ設けられている乗降扉の開閉を知らせるランプ(例えば、車側灯)を認識し、画像処理によって、撮像画像中のランプが点灯したことを検知して、ランプの位置を元に乗降扉の位置を算出することによって実行することができる。
また、例えば、図17によって説明した形状検出画像 544 によって選択しても良い。
また更に、図18によって説明したステップ 554 での処理によって、形状検出画像 544 を求めても良い。
尚、撮像された画像のどの部分を表示するかまたは表示しないかは、用途や目的に応じて設定することは自明である。
また、記録装置に記憶する画像は、表示画像と同じであっても元の画像であってもどちらでも良いし、それら両方であっても良い。
以上のように、本発明によれば、奥行きのある被写体を複数のカメラで監視する監視カメラシステムにおいて、メガピクセルカメラ等の有効画素数が、モニタ等の表示装置の画面表示解像度より大きいカメラを使って被写体全体を撮像し、撮像した映像を監視したい複数のエリアに分割することで、モニタ画像を自由に変更することが可能であり、従来のように画角を変更する都度カメラ位置を変える必要が無い。
またカメラが取得した画像をデータ化して IP ネットワークなどへ伝送する場合に、映像全体をデータ化しないので、必要な部分画像、即ち、分割されたエリアのみを伝送するためデータ量を低減することができる。
また、本発明を画像処理装置と組み合わせることで検知された侵入者などの被写体周辺のエリアを自動選択することが可能できる。
また更に、本発明を野球、サッカーなどのスポーツ中継のインターネット配信に応用することで、球場全体をカメラで撮像した画像の中から、視聴者が観たいエリアを選択することが可能である。
また、本発明を市街地の交差点などを監視する交通流監視システムに応用ですことで交差点全体360度を有効画素数が多いカメラで撮像した画像について、監視ポイント毎にエリア分割し、エリア画像と場所情報、警報情報をデータマップ化することで、監視者は交差点全体の状況を把握すると同時に交差点の詳細画像及び警報発生ポイントの画像をモニタすることが可能である。
奥行きのある被写体を複数のカメラで監視するカメラシステムのカメラ配置と撮像画像のイメージ図。 本発明によるエリア分割画像の一実施例を示す図。 本発明のシステムの一実施例の構成を示すブロック図。 本発明の一実施例の映像制御器の機能を説明するためのブロック図。 本発明のシステムの一実施例の構成を示すブロック図。 本発明の映像制御器の一実施例を説明するための図。 本発明の画像配信装置の一実施例を説明するためのブロック図。 本発明の一実施例のエリア画像選択方法を説明するための図。 本発明の一実施例のエリア画像選択方法を説明するための図。 本発明の一実施例を説明するための図。 本発明のシステムの一実施例の構成を示すブロック図。 TV カメラを3台使用した360度のパノラマ画面例を示す図。 360度のパノラマ画面を用いて交通流監視カメラシステムに応用した本発明のシステムの構成の一実施例を示すブロック系統図。 本発明のクライアント PC の操作画面の一実施例イメージ図。 本発明の一実施例の監視システムを示すブロック図。 本発明の画像処理装置の機能ブロックの一実施例を示す図。 本発明の一実施例の画像処理装置内の各構成部での画像の様子を模式的に示す図。 本発明の一実施例の画像処理方法の処理動作例を説明するためのフローチャート。 本発明の一実施例の拡大率の算出の手順を説明するための図。 鉄道におけるホーム画像監視システムの本発明の一実施例を説明するための図。 本発明の一実施例のモニタ表示画面の一例を示す図。 本発明の一実施例のモニタ表示画面の一例を示す図。 従来のカメラシステムの略構成とモニタ画面の表示例を示す図。
符号の説明
1-1〜1-3:TVカメラ、 1-11,1-12,1-13:支柱、 4:電車、 4-1:先頭車両、 4-2:2車両目、 4-3:3車両目、 20-1,20-2,20-3:破線、 31:TVカメラ、 32:映像制御器、 33:操作PC、 34:モニタ、 35:モニタ、 41:映像分配器、 42:A/D変換部、 43:画像メモリ部、 44:エリア抽出部、 45:画像補正部、 46:D/A変換部、 47:コントロール部、 48:画質変換部、 51:TVカメラ、 52,52′:画像配信装置、 53:IPネットワーク、 54:クライアントPC、 55:映像制御器、 56:映像信号、 57:制御信号、 58:操作PC、 71〜74:WEBエンコーダ、 75:コントロール部、 76:スイッチングハブ、 81:全体画像、 82:エリア画像、 83:画像、 91:全体画像、 92,93,94:エリアを示す枠、 95:拡大画像、 101:全体画像、 102〜106:エリア、 107:画像、 521:TVカメラ、 522:画像処理装置、 522-1:画像フレームメモリ、 523:記録装置、 524:モニタ、 525,526,527:映像信号、 531:画像フレームメモリ、 532:エッジ検出部、 533:輝度差検出部、 534:被写体形状検出部、 535:拡大処理部、 541:画像、 542:エッジ検出画像、543:輝度差検出画像、 544:形状検出画像、 545:拡大画像。

Claims (5)

  1. 1台あるいは複数台のカメラによって1つのエリアを撮像し、該撮像された1つのエリアの映像から、所定の分割エリアを選択して該選択された分割エリア毎にモニタに表示するカメラシステムの表示方法において、
    上記1台あるいは複数台のカメラが撮像する上記1つのエリアの映像のサイズが、上記モニタの画面表示解像度より大きいことを特徴とするカメラシステムの表示方法。
  2. 請求項1記載のカメラシステムの表示方法において、
    上記所定の分割エリアの映像の奥行きを補正してモニタ表示することを特徴とするカメラシステムの表示方法。
  3. 請求項1記載のカメラシステムの表示方法において、
    上記カメラが360度カメラであることを特徴とするカメラシステムの表示方法。
  4. 請求項1乃至請求項3のいずれか1つに記載のカメラシステムの表示方法において、センサと上記分割エリアをあらかじめ関連付けしておき、上記センサがアラームを発生した場合には、該アラームを発生したセンサに関連付けられた上記分割エリアの映像を上記モニタに表示することを特徴とするカメラシステムの表示方法。
  5. 1つのエリアを撮像する1台または複数台のカメラと、該撮像された1つのエリアの映像から、所定の分割エリアを選択して該選択された分割エリア毎にモニタに表示するために出力する制御装置とを備え、
    上記1台あるいは複数台のカメラが撮像する上記1つのエリアの映像のサイズが、上記モニタの画面表示解像度より大きいことを特徴とするカメラシステム。
JP2005263995A 2005-09-12 2005-09-12 カメラシステムの表示方法及びカメラシステム Active JP4685561B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005263995A JP4685561B2 (ja) 2005-09-12 2005-09-12 カメラシステムの表示方法及びカメラシステム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005263995A JP4685561B2 (ja) 2005-09-12 2005-09-12 カメラシステムの表示方法及びカメラシステム

Publications (2)

Publication Number Publication Date
JP2007081553A true JP2007081553A (ja) 2007-03-29
JP4685561B2 JP4685561B2 (ja) 2011-05-18

Family

ID=37941430

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005263995A Active JP4685561B2 (ja) 2005-09-12 2005-09-12 カメラシステムの表示方法及びカメラシステム

Country Status (1)

Country Link
JP (1) JP4685561B2 (ja)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010087676A (ja) * 2008-09-30 2010-04-15 Fujinon Corp 特徴判定機能を備えたビデオカメラシステム
JP2011114764A (ja) * 2009-11-30 2011-06-09 Mega Chips Corp 映像配信システム
JP2011250363A (ja) * 2010-05-31 2011-12-08 Mitsubishi Electric Corp 映像監視装置
CN101790083B (zh) * 2010-02-04 2012-01-11 西安理工大学 一种基于视频的车道空间占有率的监控方法
JP2012054664A (ja) * 2010-08-31 2012-03-15 Fujitsu Ten Ltd 画像処理装置、画像表示システム及び画像表示方法
JP2013142037A (ja) * 2012-01-12 2013-07-22 Tadano Ltd 作業車用の吊荷監視カメラ装置
JP2014192844A (ja) * 2013-03-28 2014-10-06 Hitachi Kokusai Electric Inc 映像配信システム、映像配信方法、映像配信装置、および映像表示装置
JP2014225825A (ja) * 2013-05-17 2014-12-04 オムロン株式会社 画像処理装置、画像処理方法、および画像処理プログラム
WO2019087577A1 (ja) * 2017-10-31 2019-05-09 ソニー株式会社 情報処理装置、情報処理方法および情報処理プログラム
WO2020039898A1 (ja) * 2018-08-20 2020-02-27 株式会社音楽館 駅監視装置、駅監視方法及びプログラム
WO2020039897A1 (ja) * 2018-08-20 2020-02-27 株式会社音楽館 駅監視システム及び駅監視方法
US10763285B2 (en) 2016-09-29 2020-09-01 Panasonic Intellectual Property Management Co., Ltd. Image generation devices and image processing systems for converting resolutions of image data captured by image sensors mounted on movable-body apparatuses
US10957028B2 (en) 2016-09-30 2021-03-23 Panasonic Intellectual Property Management Co., Ltd. Image generation device, image generation method and recording medium

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111564015B (zh) * 2020-05-20 2021-08-24 中铁二院工程集团有限责任公司 一种轨道交通周界入侵的监测方法及装置

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09261522A (ja) * 1996-03-27 1997-10-03 Nippon Telegr & Teleph Corp <Ntt> 可変領域を得うる映像配信方法、ならびにシステム
JPH1149100A (ja) * 1997-08-05 1999-02-23 Mitsubishi Electric Corp エプロン監視装置
JP2000083242A (ja) * 1993-02-08 2000-03-21 Interactive Pictures Corp 全視野静止カメラとサ―ベイランスシステム
JP2001128160A (ja) * 1999-10-22 2001-05-11 Canon Electronics Inc 撮像装置、撮像システム、撮像画像の表示方法及び記憶媒体
JP2001134751A (ja) * 1999-08-26 2001-05-18 Ricoh Co Ltd 画像処理方法及び装置、デジタルカメラ、画像処理システム、並びに、画像処理プログラムを記録した記録媒体
JP2001359089A (ja) * 2000-06-14 2001-12-26 Sony Corp 撮影処理装置およびディジタルカメラ
JP2002064812A (ja) * 2000-08-17 2002-02-28 Sharp Corp 移動物体追尾装置
JP2002152719A (ja) * 2000-08-29 2002-05-24 Usc Corp 曲面像を利用したモニタ方法及びモニタ装置
JP2002374453A (ja) * 2001-06-13 2002-12-26 Hitachi Kokusai Electric Inc 映像信号処理システム
JP2004015517A (ja) * 2002-06-07 2004-01-15 Chuo Electronics Co Ltd 映像集約表示装置
JP2004120341A (ja) * 2002-09-26 2004-04-15 Riosu Corp:Kk 映像監視システム
JP2004194309A (ja) * 2002-11-27 2004-07-08 Chuo Electronics Co Ltd 表示方法および表示装置
JP2005109725A (ja) * 2003-09-29 2005-04-21 Victor Co Of Japan Ltd 映像監視システム
JP2005123707A (ja) * 2003-10-14 2005-05-12 Casio Comput Co Ltd 撮像投影装置及び撮像投影システムと、表示画像生成装置、表示画像生成方法
JP2005167604A (ja) * 2003-12-02 2005-06-23 Chuo Electronics Co Ltd 映像監視システム

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000083242A (ja) * 1993-02-08 2000-03-21 Interactive Pictures Corp 全視野静止カメラとサ―ベイランスシステム
JPH09261522A (ja) * 1996-03-27 1997-10-03 Nippon Telegr & Teleph Corp <Ntt> 可変領域を得うる映像配信方法、ならびにシステム
JPH1149100A (ja) * 1997-08-05 1999-02-23 Mitsubishi Electric Corp エプロン監視装置
JP2001134751A (ja) * 1999-08-26 2001-05-18 Ricoh Co Ltd 画像処理方法及び装置、デジタルカメラ、画像処理システム、並びに、画像処理プログラムを記録した記録媒体
JP2001128160A (ja) * 1999-10-22 2001-05-11 Canon Electronics Inc 撮像装置、撮像システム、撮像画像の表示方法及び記憶媒体
JP2001359089A (ja) * 2000-06-14 2001-12-26 Sony Corp 撮影処理装置およびディジタルカメラ
JP2002064812A (ja) * 2000-08-17 2002-02-28 Sharp Corp 移動物体追尾装置
JP2002152719A (ja) * 2000-08-29 2002-05-24 Usc Corp 曲面像を利用したモニタ方法及びモニタ装置
JP2002374453A (ja) * 2001-06-13 2002-12-26 Hitachi Kokusai Electric Inc 映像信号処理システム
JP2004015517A (ja) * 2002-06-07 2004-01-15 Chuo Electronics Co Ltd 映像集約表示装置
JP2004120341A (ja) * 2002-09-26 2004-04-15 Riosu Corp:Kk 映像監視システム
JP2004194309A (ja) * 2002-11-27 2004-07-08 Chuo Electronics Co Ltd 表示方法および表示装置
JP2005109725A (ja) * 2003-09-29 2005-04-21 Victor Co Of Japan Ltd 映像監視システム
JP2005123707A (ja) * 2003-10-14 2005-05-12 Casio Comput Co Ltd 撮像投影装置及び撮像投影システムと、表示画像生成装置、表示画像生成方法
JP2005167604A (ja) * 2003-12-02 2005-06-23 Chuo Electronics Co Ltd 映像監視システム

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010087676A (ja) * 2008-09-30 2010-04-15 Fujinon Corp 特徴判定機能を備えたビデオカメラシステム
JP2011114764A (ja) * 2009-11-30 2011-06-09 Mega Chips Corp 映像配信システム
CN101790083B (zh) * 2010-02-04 2012-01-11 西安理工大学 一种基于视频的车道空间占有率的监控方法
JP2011250363A (ja) * 2010-05-31 2011-12-08 Mitsubishi Electric Corp 映像監視装置
JP2012054664A (ja) * 2010-08-31 2012-03-15 Fujitsu Ten Ltd 画像処理装置、画像表示システム及び画像表示方法
JP2013142037A (ja) * 2012-01-12 2013-07-22 Tadano Ltd 作業車用の吊荷監視カメラ装置
JP2014192844A (ja) * 2013-03-28 2014-10-06 Hitachi Kokusai Electric Inc 映像配信システム、映像配信方法、映像配信装置、および映像表示装置
JP2014225825A (ja) * 2013-05-17 2014-12-04 オムロン株式会社 画像処理装置、画像処理方法、および画像処理プログラム
US10763285B2 (en) 2016-09-29 2020-09-01 Panasonic Intellectual Property Management Co., Ltd. Image generation devices and image processing systems for converting resolutions of image data captured by image sensors mounted on movable-body apparatuses
US10957028B2 (en) 2016-09-30 2021-03-23 Panasonic Intellectual Property Management Co., Ltd. Image generation device, image generation method and recording medium
CN111345035A (zh) * 2017-10-31 2020-06-26 索尼公司 信息处理装置、信息处理方法以及信息处理程序
EP3706413A4 (en) * 2017-10-31 2020-09-09 Sony Corporation INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD AND INFORMATION PROCESSING PROGRAM
JPWO2019087577A1 (ja) * 2017-10-31 2020-12-17 ソニー株式会社 情報処理装置、情報処理方法および情報処理プログラム
WO2019087577A1 (ja) * 2017-10-31 2019-05-09 ソニー株式会社 情報処理装置、情報処理方法および情報処理プログラム
US11403057B2 (en) 2017-10-31 2022-08-02 Sony Corporation Information processing device, information processing method, and information processing program
JP7302477B2 (ja) 2017-10-31 2023-07-04 ソニーグループ株式会社 情報処理装置、情報処理方法および情報処理プログラム
WO2020039897A1 (ja) * 2018-08-20 2020-02-27 株式会社音楽館 駅監視システム及び駅監視方法
WO2020039898A1 (ja) * 2018-08-20 2020-02-27 株式会社音楽館 駅監視装置、駅監視方法及びプログラム
CN112640444A (zh) * 2018-08-20 2021-04-09 株式会社音乐馆 车站监控装置、车站监控方法及程序
JPWO2020039897A1 (ja) * 2018-08-20 2021-05-13 株式会社音楽館 駅監視システム及び駅監視方法
JPWO2020039898A1 (ja) * 2018-08-20 2021-05-13 株式会社音楽館 駅監視装置、駅監視方法及びプログラム

Also Published As

Publication number Publication date
JP4685561B2 (ja) 2011-05-18

Similar Documents

Publication Publication Date Title
JP4685561B2 (ja) カメラシステムの表示方法及びカメラシステム
JP4195991B2 (ja) 監視映像モニタリングシステム、監視映像生成方法、および監視映像モニタリングサーバ
US8427538B2 (en) Multiple view and multiple object processing in wide-angle video camera
US9602700B2 (en) Method and system of simultaneously displaying multiple views for video surveillance
US9049384B2 (en) Video processing apparatus, camera apparatus, video processing method, and program
KR101113844B1 (ko) 감시카메라 및 감시카메라의 프라이버시 보호방법
US10939140B2 (en) Selective capture and presentation of native image portions
US20110157358A1 (en) Confined motion detection for pan-tilt cameras employing motion detection and autonomous motion tracking
JP2006033793A (ja) 追尾映像再生装置
US8035691B2 (en) Method and apparatus for compensating for movement of a video surveillance camera
KR101778744B1 (ko) 다중 카메라 입력의 합성을 통한 실시간 모니터링 시스템
CN113132653B (zh) 一种可分割为任意播放数量屏幕的自动分屏实现方法
CN102801963A (zh) 基于高清数字摄像头监控的电子ptz方法及装置
KR20160094655A (ko) 복수의 고해상도 카메라들을 이용한 파노라마 영상 감시 시스템 및 그 방법
JP2016163311A (ja) ビデオ処理装置、ビデオ処理システムおよびビデオ処理方法
CN113905211B (zh) 一种视频巡逻方法、装置、电子设备及存储介质
KR101874588B1 (ko) 고해상도 카메라를 이용한 다채널 관심영역 표출방법
JP5072103B2 (ja) 画角制御装置及び画角制御方法
JP2004015517A (ja) 映像集約表示装置
JPWO2013094405A1 (ja) 監視システム
KR101061868B1 (ko) 듀얼 감시 카메라를 이용한 모니터링 시스템
KR101462269B1 (ko) 고화질 카메라의 부분 저장장치 및 방법
KR20200086561A (ko) 지하철 역사의 3d 관제 시스템과 카메라 영상 연동 시스템 및 방법
JP2006033418A (ja) 撮像システム
EP4270940B1 (en) Ptz masking control

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080331

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100906

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101019

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101203

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110208

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110210

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140218

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4685561

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250