JP7234545B2 - Captured image display device, captured image display method, and captured image display program - Google Patents

Captured image display device, captured image display method, and captured image display program Download PDF

Info

Publication number
JP7234545B2
JP7234545B2 JP2018167795A JP2018167795A JP7234545B2 JP 7234545 B2 JP7234545 B2 JP 7234545B2 JP 2018167795 A JP2018167795 A JP 2018167795A JP 2018167795 A JP2018167795 A JP 2018167795A JP 7234545 B2 JP7234545 B2 JP 7234545B2
Authority
JP
Japan
Prior art keywords
camera
image display
display area
streaming
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018167795A
Other languages
Japanese (ja)
Other versions
JP2019062530A (en
Inventor
英樹 竹原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
JVCKenwood Corp
Original Assignee
JVCKenwood Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by JVCKenwood Corp filed Critical JVCKenwood Corp
Priority to US16/142,286 priority Critical patent/US10917604B2/en
Publication of JP2019062530A publication Critical patent/JP2019062530A/en
Application granted granted Critical
Publication of JP7234545B2 publication Critical patent/JP7234545B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Instructional Devices (AREA)
  • Closed-Circuit Television Systems (AREA)

Description

本発明は、撮影画像の表示技術に関する。 The present invention relates to a technology for displaying captured images.

近年、業務用撮影カメラのIP化が進展しており、撮影した映像データをストリーミングで配信するサービスが盛んになっている。このような中で、多数の業務用撮影カメラのストリーミングをクラウドで一元管理し、カメラやストリーミングの状況を監視することができるシステムが必要とされている。 2. Description of the Related Art In recent years, the use of IP for business cameras has been progressing, and services for distributing captured video data by streaming have become popular. Under these circumstances, there is a need for a system that can centrally manage the streaming of a large number of professional photography cameras in the cloud and monitor the status of the cameras and streaming.

例えば、特許文献1には、複数の監視地点のカメラから撮影した映像を地図データと並べて表示する監視システムが開示されている。特許文献2には、複数のカメラ装置から所定のカメラ装置を選択する場合、データベースから該当する地図表示エリアを表示するとともに、地図表示エリアに所定数のカメラが含まれる所定形状の選択範囲を表示し、選択範囲内に位置するカメラ装置から所定のカメラ装置を選択するシステムが開示されている。 For example, Patent Literature 1 discloses a monitoring system that displays images shot by cameras at a plurality of monitoring points side by side with map data. In Patent Document 2, when a predetermined camera device is selected from a plurality of camera devices, a corresponding map display area is displayed from a database, and a selection range of a predetermined shape including a predetermined number of cameras is displayed in the map display area. A system is disclosed for selecting a predetermined camera device from camera devices positioned within a selection range.

特開平11-102495号公報JP-A-11-102495 特開2008-199531号公報JP 2008-199531 A

特許文献1や特許文献2に開示されているいずれのシステムでも複数台のカメラを監視する状況下において、カメラの撮影位置に対応づけて撮影画像を目線をそらすことなく同時に確認することは難しい。 In any of the systems disclosed in Patent Literature 1 and Patent Literature 2, it is difficult to simultaneously check the captured images in association with the shooting positions of the cameras without averting one's eyes when multiple cameras are monitored.

本発明はこうした状況に鑑みてなされたものであり、その目的は、カメラの撮影位置に対応づけて撮影画像を容易に確認することのできる撮影画像表示技術を提供することにある。 SUMMARY OF THE INVENTION The present invention has been made in view of such circumstances, and an object of the present invention is to provide a photographed image display technique that allows the photographed image to be easily confirmed in association with the photographing position of the camera.

上記課題を解決するために、本発明のある態様の撮影画像表示装置は、撮像装置により撮像された映像のサムネイル画像を地図上に表示させる映像信号を生成する撮影画像表示装置であって、地図上の撮像装置の撮影位置に対応して設けられる画像表示領域内に撮像装置の映像のサムネイル画像を合成して表示させる映像信号を生成する合成部(190)を備える。前記合成部(190)は、前記画像表示領域内に複数の撮像装置の撮影位置がある場合、前記複数の撮像装置の映像のサムネイル画像を前記画像表示領域内に所定の順序で切り替えて表示させる映像信号を生成し、または前記画像表示領域を分割して前記複数の撮像装置の映像のサムネイル画像を分割された領域内に表示させる映像信号を生成する。 In order to solve the above problems, a captured image display device according to one aspect of the present invention is a captured image display device that generates a video signal for displaying a thumbnail image of a video captured by an imaging device on a map. A synthesizing unit (190) is provided for generating a video signal for synthesizing and displaying a thumbnail image of the image of the imaging device in the image display area provided corresponding to the shooting position of the imaging device. When the photographing positions of a plurality of imaging devices are present in the image display area, the synthesizing unit (190) switches and displays thumbnail images of videos of the plurality of imaging devices in the image display area in a predetermined order. A video signal is generated, or a video signal is generated for dividing the image display area and displaying thumbnail images of the images of the plurality of imaging devices in the divided area.

本発明の別の態様は、撮影画像表示方法である。この方法は、撮像装置により撮像された映像のサムネイル画像を地図上に表示させる映像信号を生成する撮影画像表示方法であって、地図上の撮像装置の撮影位置に対応して設けられる画像表示領域内に撮像装置の映像のサムネイル画像を合成して表示させる映像信号を生成する合成ステップを備える。前記合成ステップは、前記画像表示領域内に複数の撮像装置の撮影位置がある場合、前記複数の撮像装置の映像のサムネイル画像を前記画像表示領域内に所定の順序で切り替えて表示させる映像信号を生成し、または前記画像表示領域を分割して前記複数の撮像装置の映像のサムネイル画像を分割された領域内に表示させる映像信号を生成する。 Another aspect of the present invention is a captured image display method. This method is a photographed image display method for generating a video signal for displaying a thumbnail image of a video imaged by an imaging device on a map. A synthesizing step for generating a video signal to be displayed by synthesizing thumbnail images of video images of the imaging device is included therein. In the synthesizing step, when there are photographing positions of a plurality of imaging devices within the image display area, a video signal is generated to switch and display thumbnail images of videos of the plurality of imaging devices in a predetermined order within the image display area. Alternatively, the image display area is divided to generate a video signal for displaying thumbnail images of the images of the plurality of imaging devices in the divided areas.

なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。 Any combination of the above constituent elements, and any conversion of expressions of the present invention into methods, devices, systems, recording media, computer programs, etc. are also effective as embodiments of the present invention.

本発明によれば、カメラの撮影位置に対応づけて撮影画像を容易に確認することができる。 According to the present invention, it is possible to easily check the photographed image in association with the photographing position of the camera.

実施の形態に係る映像データストリーミング監視システムの構成を説明する図である。1 is a diagram illustrating the configuration of a video data streaming monitoring system according to an embodiment; FIG. 図1のストリーミング監視装置の構成を説明する図である。2 is a diagram for explaining the configuration of the streaming monitoring device in FIG. 1; FIG. 図1のストリーミングデータ配信サーバの構成を説明する図である。FIG. 2 is a diagram illustrating the configuration of a streaming data distribution server in FIG. 1; FIG. 図2のストリーミング監視装置によるストリーミングデータの管理手順を説明するフローチャートである。FIG. 3 is a flowchart for explaining a procedure for managing streaming data by the streaming monitoring device of FIG. 2; FIG. 図2の画面合成部による画像合成手順を説明するフローチャートである。3 is a flowchart for explaining an image synthesizing procedure by a screen synthesizing unit in FIG. 2; 図2の画面合成部による合成表示の例を説明する図である。FIG. 3 is a diagram for explaining an example of composite display by a screen combining unit in FIG. 2; 図7(a)および図7(b)は、図6の第1カメラのカメラ画像表示領域を説明する図である。FIGS. 7A and 7B are diagrams for explaining the camera image display area of the first camera in FIG. 6. FIG. 図8(a)および図8(b)は、図6の第3カメラのカメラ画像表示領域を説明する図である。FIGS. 8A and 8B are diagrams for explaining the camera image display area of the third camera in FIG. 6. FIG. 図9は、変形例における画面合成部による合成表示の例を説明する図である。FIG. 9 is a diagram for explaining an example of synthesized display by the screen synthesizing unit in the modified example. 図10(a)、図10(b)、図10(c)および図10(d)は、変形例における重畳する表示に関して一例を説明する図である。FIGS. 10(a), 10(b), 10(c), and 10(d) are diagrams illustrating an example of superimposed display in the modification.

図1は、実施の形態に係る映像データストリーミング監視システムの構成を説明する図である。映像データストリーミング監視システムは、カメラ(撮像装置)1000、1001、GPS機能搭載ルータ2000、配信サーバ3000、カメラ位置管理サーバ4000、地図データ配信サーバ5000、ストリーミング監視装置6000、配信拠点7000、7001を含む。 FIG. 1 is a diagram illustrating the configuration of a video data streaming monitoring system according to an embodiment. The video data streaming monitoring system includes cameras (imaging devices) 1000 and 1001, a GPS function-equipped router 2000, a distribution server 3000, a camera position management server 4000, a map data distribution server 5000, a streaming monitoring device 6000, and distribution bases 7000 and 7001. .

カメラ1000、1001は、Wi-Fiなどの無線LANによりGPS機能搭載ルータ2000に接続される。ここでは、カメラ1000、1001がGPS機能搭載ルータ2000と無線LANで接続される形態を説明するが、カメラ1000、1001はUSB等でGPS機能搭載ルータ2000と接続されてもよく、カメラ1000、1001がGPS機能を内蔵してもよい。 Cameras 1000 and 1001 are connected to a GPS function-equipped router 2000 via a wireless LAN such as Wi-Fi. Here, a form in which the cameras 1000 and 1001 are connected to the GPS function-equipped router 2000 via a wireless LAN will be described. may incorporate GPS functionality.

GPS機能搭載ルータ2000は、配信サーバ3000、カメラ位置管理サーバ4000、およびストリーミング監視装置6000にネットワークで接続される。配信サーバ3000は、ストリーミング監視装置6000および配信拠点7000、7001にネットワークで接続される。カメラ位置管理サーバ4000は、ストリーミング監視装置6000にネットワークで接続される。地図データ配信サーバ5000は、ストリーミング監視装置6000にネットワークで接続される。ストリーミング監視装置6000は、配信サーバ3000にネットワークで接続される。 GPS function-equipped router 2000 is connected to distribution server 3000, camera position management server 4000, and streaming monitoring device 6000 via a network. Distribution server 3000 is connected to streaming monitoring device 6000 and distribution points 7000 and 7001 via a network. The camera position management server 4000 is connected to the streaming monitoring device 6000 via a network. The map data distribution server 5000 is connected to the streaming monitoring device 6000 via a network. Streaming monitoring device 6000 is connected to distribution server 3000 via a network.

カメラ1000、1001は、それぞれの撮影場所で撮影された映像を符号化してストリーミングデータをGPS機能搭載ルータ2000を経由して配信サーバ3000に送信する。ここでは、ストリーミングデータは画像サイズが1920画素ラ1080画素のフルHD(High Definition)映像でフレームレートは30fpsである。 Cameras 1000 and 1001 encode images taken at respective shooting locations and transmit streaming data to distribution server 3000 via router 2000 equipped with a GPS function. Here, the streaming data is full HD (High Definition) video with an image size of 1920 pixels by 1080 pixels and a frame rate of 30 fps.

配信サーバ3000は、GPS機能搭載ルータ2000から送信されたストリーミングデータをトランスコードして1以上の配信拠点7000、7001に送信する。配信サーバ3000は、配信拠点7000、7001毎に解像度やフレームレートの異なるストリーミングデータを配信してもよい。複数の配信拠点7000、7001は、複数の異なる放送局の受信装置であってもよく、一つの放送局における複数の受信装置であってもよい。 The distribution server 3000 transcodes the streaming data transmitted from the GPS function-equipped router 2000 and transmits the transcoded data to one or more distribution bases 7000 and 7001 . The distribution server 3000 may distribute streaming data with different resolutions and frame rates for each of the distribution bases 7000 and 7001 . The plurality of distribution bases 7000 and 7001 may be receivers of different broadcast stations, or may be receivers of one broadcast station.

また、配信サーバ3000はGPS機能搭載ルータ2000から送信されたストリーミングデータをストリーミング監視装置6000に配信することができる。 Also, the distribution server 3000 can distribute the streaming data transmitted from the GPS-equipped router 2000 to the streaming monitoring device 6000 .

カメラ1000、1001は、撮影中の映像のサムネイル画像(「カメラサムネイル画像」と呼ぶ)をGPS機能搭載ルータ2000を経由してストリーミング監視装置6000に送信する。ここで、カメラサムネイル画像は、たとえばQVGAサイズの静止画である。また、カメラサムネイル画像は、JPEGや、MPEGなどの画像圧縮方式で画面内符号化(イントラフレーム)として圧縮されて送信されるものである。また、ストリーミング監視装置6000は、WEB APIを用いて、カメラ1000、1001からカメラサムネイル画像を取得してもよい。なお、WEB APIとは、HTTP(HyperText Transfer Protocol)プロトコルを用いて所定のプログラムから呼び出されるアプリケーションプログラムインターフェイスを意味する。 Cameras 1000 and 1001 transmit thumbnail images of video being captured (referred to as “camera thumbnail images”) to streaming monitoring device 6000 via GPS function-equipped router 2000 . Here, the camera thumbnail image is, for example, a still image of QVGA size. Also, the camera thumbnail image is transmitted after being compressed as intra-frame coding (intra frame) by an image compression method such as JPEG or MPEG. Also, the streaming monitoring device 6000 may acquire camera thumbnail images from the cameras 1000 and 1001 using WEB API. WEB API means an application program interface that is called from a predetermined program using the HTTP (HyperText Transfer Protocol) protocol.

配信サーバ3000は、GPS機能搭載ルータ2000から送信されたトランスコード前のストリーミングデータのサムネイル画像(「ストリーミングサムネイル画像」と呼ぶ)またはトランスコード後のストリーミングデータのサムネイル画像(「配信サムネイル画像」と呼ぶ)をストリーミング監視装置6000に送信する。 The distribution server 3000 transmits a thumbnail image of streaming data before transcoding (referred to as a "streaming thumbnail image") or a thumbnail image of streaming data after transcoding (referred to as a "distribution thumbnail image") transmitted from the GPS function-equipped router 2000. ) to the streaming monitoring device 6000 .

GPS機能搭載ルータ2000は、カメラ1000、1001の撮影位置情報として少なくとも緯度と経度を含むGPS情報をカメラ位置管理サーバ4000に送信する。ここでは、GPS機能搭載ルータ2000とカメラ位置管理サーバ4000がネットワークで接続される形態を説明するが、GPS機能搭載ルータ2000とカメラ位置管理サーバ4000を一体化してGPS機能搭載ブリッジを構成してもよい。 The GPS function-equipped router 2000 transmits GPS information including at least latitude and longitude as shooting position information of the cameras 1000 and 1001 to the camera position management server 4000 . Here, a form in which the GPS function-equipped router 2000 and the camera position management server 4000 are connected via a network will be described. good.

カメラ位置管理サーバ4000は、GPS機能搭載ルータ2000から入力されるGPS情報を記憶し、GPS情報をカメラ位置情報としてストリーミング監視装置6000に送信する。なお、GPS情報は、GPS機能搭載ルータ2000からカメラ位置管理サーバ4000へ入力されるとは限らない。ユーザがブラウザに表示されるWEB画面を介してカメラ位置管理サーバ4000にGPS情報を入力することで、カメラ位置管理サーバ4000はGPS情報を記録してもよい。または、予めGPS情報が記録された記録媒体を用いてカメラ位置管理サーバ4000にGPS情報を入力することで、カメラ位置管理サーバ4000はGPS情報を記録してもよい。 The camera position management server 4000 stores GPS information input from the GPS function-equipped router 2000, and transmits the GPS information to the streaming monitoring device 6000 as camera position information. Note that the GPS information is not necessarily input from the GPS-equipped router 2000 to the camera position management server 4000 . The camera position management server 4000 may record the GPS information by the user inputting the GPS information to the camera position management server 4000 via a web screen displayed on the browser. Alternatively, the camera position management server 4000 may record the GPS information by inputting the GPS information to the camera position management server 4000 using a recording medium in which the GPS information is recorded in advance.

地図データ配信サーバ5000は地図データをストリーミング監視装置6000に送信する。 The map data distribution server 5000 transmits the map data to the streaming monitoring device 6000. FIG.

ストリーミング監視装置6000は、配信制御データを配信サーバ3000に送信する。配信サーバ3000は、配信制御データにもとづいてカメラ1000、1001から送信されるストリーミングデータを適宜トランスコードして配信拠点7000、7001に配信する。 Streaming monitoring device 6000 transmits distribution control data to distribution server 3000 . The distribution server 3000 appropriately transcodes the streaming data transmitted from the cameras 1000 and 1001 based on the distribution control data, and distributes the transcoded data to distribution bases 7000 and 7001 .

配信拠点7000、7001は、配信サーバ3000から配信されるストリーミングデータを受信し、ストリーミングデータを復号して利用する。ここで、配信拠点7000、7001は、各カメラ1000、1001から送信されたストリーミングデータを分離して利用することができる。 The distribution bases 7000 and 7001 receive the streaming data distributed from the distribution server 3000 and decode and use the streaming data. Here, the distribution bases 7000 and 7001 can separate and use the streaming data transmitted from the respective cameras 1000 and 1001 .

図2は、ストリーミング監視装置6000の構成を説明する図である。 FIG. 2 is a diagram for explaining the configuration of the streaming monitoring device 6000. As shown in FIG.

ストリーミング監視装置6000は、配信サーバサムネイル画像取得部100、カメラサムネイル画像取得部110、配信サーバ情報取得部120、カメラ情報取得部130、カメラ位置情報取得部140、サムネイル画像選択部150、通知情報生成部160、地図データ取得部180、画面合成部190、配信拠点制御部200、及びモニタ210を含む。なお、配信サーバサムネイル画像取得部100、カメラサムネイル画像取得部110、配信サーバ情報取得部120、カメラ情報取得部130、カメラ位置情報取得部140、サムネイル画像選択部150、通知情報生成部160、地図データ取得部180、画面合成部190、配信拠点制御部200は、CPU、RAM又はROMによって構成され、またはこれらを組み合わせものによって構成される。 The streaming monitoring device 6000 includes a distribution server thumbnail image acquisition unit 100, a camera thumbnail image acquisition unit 110, a distribution server information acquisition unit 120, a camera information acquisition unit 130, a camera position information acquisition unit 140, a thumbnail image selection unit 150, and notification information generation. It includes a unit 160 , a map data acquisition unit 180 , a screen synthesis unit 190 , a distribution base control unit 200 and a monitor 210 . The distribution server thumbnail image acquisition unit 100, camera thumbnail image acquisition unit 110, distribution server information acquisition unit 120, camera information acquisition unit 130, camera position information acquisition unit 140, thumbnail image selection unit 150, notification information generation unit 160, map The data acquisition unit 180, the screen synthesis unit 190, and the distribution base control unit 200 are configured by a CPU, RAM, or ROM, or a combination of these.

ここでは、配信サーバサムネイル画像取得部100と配信サーバ情報取得部120を別個の構成としたが、配信サーバサムネイル画像取得部100と配信サーバ情報取得部120を一体に構成してもよい。同様に、カメラサムネイル画像取得部110とカメラ情報取得部130を一体に構成してもよい。 Although the distribution server thumbnail image acquisition unit 100 and the distribution server information acquisition unit 120 are configured separately here, the distribution server thumbnail image acquisition unit 100 and the distribution server information acquisition unit 120 may be integrated. Similarly, the camera thumbnail image acquisition section 110 and the camera information acquisition section 130 may be integrated.

ストリーミング監視装置6000をサーバ-クライアントシステムとして構成してもよい。その場合、画面合成部190とモニタ210はクライアント側に設けられ、クライアントの画面合成部190がブラウザとして機能し、ネットワーク経由でサーバから地図データ、画像データ、通知情報を受信し、地図上に画像と通知情報を合成してモニタ210に表示する。また、ここでは、ストリーミング監視装置6000が地図データ取得部180を含む構成を説明するが、外部サーバから地図データを受信する場合は、ストリーミング監視装置6000が地図データ取得部180の構成を含まず、クライアントの画面合成部190がブラウザとして機能し、外部サーバから地図データを取得し、地図を画面に表示し、地図上に画像と通知情報を合成してもよい。さらに、配信サーバに処理負担を分散させる場合は、配信サーバサムネイル画像取得部100、配信サーバ情報取得部120、サムネイル画像選択部150はクライアント側に設けてもよい。 Streaming monitor 6000 may be configured as a server-client system. In that case, the screen synthesizing unit 190 and the monitor 210 are provided on the client side, and the screen synthesizing unit 190 of the client functions as a browser, receives map data, image data, and notification information from the server via the network, and displays an image on the map. and the notification information are synthesized and displayed on the monitor 210 . Also, here, a configuration in which the streaming monitoring device 6000 includes the map data acquisition unit 180 will be described. The screen synthesizing unit 190 of the client may function as a browser, acquire map data from an external server, display the map on the screen, and synthesize the image and notification information on the map. Furthermore, when the processing load is distributed to the distribution server, the distribution server thumbnail image acquisition unit 100, the distribution server information acquisition unit 120, and the thumbnail image selection unit 150 may be provided on the client side.

端子10は配信サーバ3000に、端子20はGPS機能搭載ルータ2000に、端子30はカメラ位置管理サーバ4000に、端子40は地図データ配信サーバ5000に、端子50は配信サーバ3000にそれぞれ接続される。 The terminal 10 is connected to the distribution server 3000, the terminal 20 to the GPS function equipped router 2000, the terminal 30 to the camera position management server 4000, the terminal 40 to the map data distribution server 5000, and the terminal 50 to the distribution server 3000, respectively.

配信サーバサムネイル画像取得部100は、配信サーバ3000に接続された端子10から「ストリーミングサムネイル画像」または「配信サムネイル画像」を取得し、サムネイル画像選択部150に出力する。 Distribution server thumbnail image acquisition section 100 acquires a “streaming thumbnail image” or a “distribution thumbnail image” from terminal 10 connected to distribution server 3000 and outputs it to thumbnail image selection section 150 .

配信サーバ情報取得部120は、配信サーバ3000に接続された端子10から配信サーバ情報を取得し、配信サーバ情報をサムネイル画像選択部150と通知情報生成部160に出力する。 Distribution server information acquisition section 120 acquires distribution server information from terminal 10 connected to distribution server 3000 and outputs the distribution server information to thumbnail image selection section 150 and notification information generation section 160 .

配信サーバ情報には、配信サーバ3000がカメラ1000、1001のストリーミングデータを配信中であるか否かを示す「配信実行情報」、カメラ1000、1001のストリーミングデータのビットレート、遅延時間、パケットの損失と回復などであるストリーミングデータの伝送品質を示す「ストリーミング情報」が含まれる。パケット損失情報、パケット回復情報には、それぞれストリーミング開始時点から現時点までのパケット数の総和、直近の所定期間パケット数の総和が含まれる。なお、パケットの損失(以降は「パケット損失」)は、例えば、送信機側から送信されたパケットの数から受信機で受信されたパケットの数を減算することで求められる値である。 The distribution server information includes "distribution execution information" indicating whether the distribution server 3000 is currently distributing the streaming data of the cameras 1000 and 1001, the bit rate, delay time, and packet loss of the streaming data of the cameras 1000 and 1001. and "streaming information" that indicates the transmission quality of the streaming data, such as recovery. The packet loss information and the packet recovery information include the total number of packets from the start of streaming to the current time and the total number of packets in the most recent predetermined period, respectively. Note that packet loss (hereinafter referred to as “packet loss”) is a value obtained by, for example, subtracting the number of packets received by the receiver from the number of packets transmitted from the transmitter side.

カメラサムネイル画像取得部110は、GPS機能搭載ルータ2000に接続された端子20から「カメラサムネイル画像」を取得し、サムネイル画像選択部150に出力する。 The camera thumbnail image acquisition unit 110 acquires a “camera thumbnail image” from the terminal 20 connected to the GPS function equipped router 2000 and outputs it to the thumbnail image selection unit 150 .

カメラ情報取得部130は、GPS機能搭載ルータ2000に接続された端子20からカメラ情報を取得し、カメラ情報をサムネイル画像選択部150と通知情報生成部160に出力する。なお、カメラ情報取得部130は、WEB APIを用いて、カメラ1000、1001からカメラ情報を取得してもよい。 The camera information acquisition unit 130 acquires camera information from the terminal 20 connected to the GPS function equipped router 2000 and outputs the camera information to the thumbnail image selection unit 150 and the notification information generation unit 160 . Note that the camera information acquisition unit 130 may acquire camera information from the cameras 1000 and 1001 using WEB API.

カメラ情報には、カメラ1000、1001を識別するための「カメラ識別情報」、カメラ1000、1001がストリーミング中であるか否かを示す「ストリーミング実行情報」、カメラ1000、1001がストリーミング中である場合には、そのストリーミング先を示すURLである「ストリーミング対象情報」、及びカメラ1000、1001に記憶容量不足やバッテリ残量不足などを示す「カメラエラー情報」が含まれる。カメラ識別情報には、カメラ固有の番号であるシリアル番号や、ユーザが設定可能なカメラ名等が含まれる。ここでは、「ストリーミング対象情報」にはカメラ1000、1001を示すULRが記述されており、また配信サーバ3000を示すURLが記述されているとする。 The camera information includes "camera identification information" for identifying the cameras 1000 and 1001, "streaming execution information" indicating whether the cameras 1000 and 1001 are streaming, and if the cameras 1000 and 1001 are streaming. contains "streaming target information", which is a URL indicating the streaming destination, and "camera error information" indicating insufficient storage capacity or insufficient remaining battery power of the cameras 1000 and 1001, and the like. The camera identification information includes a serial number that is unique to the camera, a camera name that can be set by the user, and the like. Here, it is assumed that the "streaming target information" describes the URLs indicating the cameras 1000 and 1001 and the URL indicating the distribution server 3000. FIG.

サムネイル画像選択部150は、カメラ情報取得部130から入力された「ストリーミング実行情報」を参照して、カメラ1000、1001がストリーミング中であるか否かを判定する。サムネイル画像選択部150は、カメラ1000、1001がストリーミング中である場合、配信サーバ情報取得部120から入力された「配信実行情報」を参照して、配信サーバ3000がカメラ1000、1001のストリーミングデータを配信中であるか否かを判定する。 The thumbnail image selection unit 150 refers to the “streaming execution information” input from the camera information acquisition unit 130 and determines whether or not the cameras 1000 and 1001 are streaming. When the cameras 1000 and 1001 are streaming, the thumbnail image selection unit 150 refers to the “distribution execution information” input from the distribution server information acquisition unit 120, and the distribution server 3000 selects the streaming data of the cameras 1000 and 1001. Determine whether or not distribution is in progress.

配信サーバ3000がカメラ1000、1001のストリーミングデータを配信中である場合、サムネイル画像選択部150は、配信サーバサムネイル画像取得部100から入力された「配信サムネイル画像」を画面に合成すべきサムネイル画像(「選択サムネイル画像」と呼ぶ)として選択し、選択サムネイル画像を画面合成部190に出力する。 When distribution server 3000 is distributing streaming data of cameras 1000 and 1001, thumbnail image selection unit 150 selects a thumbnail image ( (referred to as a “selected thumbnail image”), and outputs the selected thumbnail image to the screen synthesizing unit 190 .

配信サーバ3000がカメラ1000、1001のストリーミングデータを配信中でない場合、サムネイル画像選択部150は、配信サーバサムネイル画像取得部100から入力された「ストリーミングサムネイル画像」を画面に合成すべきサムネイル画像として選択し、選択サムネイル画像を画面合成部190に出力する。 When the distribution server 3000 is not distributing the streaming data of the cameras 1000 and 1001, the thumbnail image selection unit 150 selects the "streaming thumbnail image" input from the distribution server thumbnail image acquisition unit 100 as a thumbnail image to be synthesized on the screen. and outputs the selected thumbnail image to the screen synthesizing unit 190 .

カメラ1000、1001がストリーミング中でない場合、サムネイル画像選択部150は、カメラサムネイル画像取得部110から入力された「カメラサムネイル画像」を画面に合成すべきサムネイル画像として選択し、選択サムネイル画像を画面合成部190に出力する。 When the cameras 1000 and 1001 are not streaming, the thumbnail image selection unit 150 selects the “camera thumbnail image” input from the camera thumbnail image acquisition unit 110 as a thumbnail image to be synthesized on the screen, and synthesizes the selected thumbnail image on the screen. Output to unit 190 .

カメラ位置情報取得部140は、カメラ位置管理サーバ4000に接続された端子30からカメラ位置情報を取得し、カメラ位置情報を通知情報生成部160と画面合成部190に出力する。 Camera position information acquisition section 140 acquires camera position information from terminal 30 connected to camera position management server 4000 and outputs the camera position information to notification information generation section 160 and screen synthesis section 190 .

地図データ取得部180は、地図データ配信サーバ5000に接続された端子40から地図データを取得し、地図データを画面合成部190に出力する。 Map data acquisition unit 180 acquires map data from terminal 40 connected to map data distribution server 5000 and outputs the map data to screen synthesis unit 190 .

通知情報生成部160は、配信サーバ情報取得部120から入力されるストリーミング情報、カメラ情報取得部130から入力されるカメラ情報、及びカメラ位置情報取得部140から入力されるカメラ位置情報を用いて、通知情報を生成し、通知情報をストリーミング情報、カメラ情報、カメラ位置情報とともに画面合成部190および配信拠点制御部200に出力する。 The notification information generation unit 160 uses the streaming information input from the distribution server information acquisition unit 120, the camera information input from the camera information acquisition unit 130, and the camera position information input from the camera position information acquisition unit 140, Notification information is generated, and the notification information is output to the screen synthesizing unit 190 and the distribution base control unit 200 together with the streaming information, the camera information, and the camera position information.

画面合成部190は、地図データ取得部180から入力された地図データ上に、サムネイル画像選択部150から入力された選択サムネイル画像と、通知情報生成部160から入力された通知情報とを合成し、モニタ210に表示する。 The screen synthesis unit 190 synthesizes the selected thumbnail image input from the thumbnail image selection unit 150 and the notification information input from the notification information generation unit 160 on the map data input from the map data acquisition unit 180, Displayed on monitor 210 .

配信拠点制御部200は、通知情報生成部160から入力されたストリーミング情報を配信サーバ3000に接続された端子50に出力する。配信サーバ3000はストリーミング情報を参照して、通信状況に応じて配信拠点7000、7001を選択する。 Distribution base control section 200 outputs the streaming information input from notification information generation section 160 to terminal 50 connected to distribution server 3000 . The distribution server 3000 refers to the streaming information and selects distribution bases 7000 and 7001 according to the communication status.

図3は、配信サーバ3000の構成を説明する図である。 FIG. 3 is a diagram for explaining the configuration of the distribution server 3000. As shown in FIG.

配信サーバ3000は、受信部300、トランスコード部400、配信部500、501、ストリーミングサムネイル画像送信部600、ストリーミング情報送信部700、及び配信サムネイル画像送信部800を含む。 Distribution server 3000 includes receiving section 300 , transcoding section 400 , distribution sections 500 and 501 , streaming thumbnail image transmission section 600 , streaming information transmission section 700 and distribution thumbnail image transmission section 800 .

端子61はGPS機能搭載ルータ2000に、端子62、端子63、及び端子64はストリーミング監視装置6000に、端子65は配信拠点7000に、端子66は配信拠点7001にそれぞれ接続されている。 The terminal 61 is connected to the GPS function-equipped router 2000, the terminals 62, 63, and 64 are connected to the streaming monitoring device 6000, the terminal 65 is connected to the distribution base 7000, and the terminal 66 is connected to the distribution base 7001, respectively.

受信部300は、GPS機能搭載ルータ2000に接続された端子61から入力されるストリーミングデータをトランスコード部400と配信部501に出力する。また、受信部300は、必要に応じて受信したストリーミングデータから1フレーム分の静止画を抽出することでストリーミングサムネイル画像を生成し、ストリーミングサムネイル画像をストリーミングサムネイル画像送信部600に出力する。ストリーミングサムネイル画像は、たとえばQVGAサイズの静止画である。なお、ストリーミングサムネイル画像は所定の期間ごとに生成されればよく、例えば3秒間隔で生成される。また、受信部300は、ストリーミングデータのビットレート、遅延時間、パケット損失などである伝送品質を示すストリーミング情報をストリーミング情報送信部700に出力する。 The receiving unit 300 outputs the streaming data input from the terminal 61 connected to the GPS function equipped router 2000 to the transcoding unit 400 and the distribution unit 501 . Further, the receiving unit 300 generates a streaming thumbnail image by extracting a still image of one frame from the received streaming data as necessary, and outputs the streaming thumbnail image to the streaming thumbnail image transmitting unit 600 . A streaming thumbnail image is, for example, a still image of QVGA size. Note that the streaming thumbnail image may be generated every predetermined period, for example, every 3 seconds. The receiving unit 300 also outputs streaming information indicating transmission quality such as the bit rate, delay time, packet loss, etc. of the streaming data to the streaming information transmitting unit 700 .

トランスコード部400は、受信部300から入力されるビットレートAのストリーミングデータをビットレートBの符号化ストリームにトランスコードし、符号化ストリームを配信部500に出力する。 The transcoding unit 400 transcodes the streaming data of bit rate A input from the receiving unit 300 into an encoded stream of bit rate B, and outputs the encoded stream to the distribution unit 500 .

配信部500は、トランスコード部400から入力される符号化ストリームを配信拠点7000に接続された端子65に出力する。また、配信部500は、必要に応じて符号化ストリームから1フレーム分の静止画を抽出することで配信サムネイル画像を生成し、配信サムネイル画像を配信サムネイル画像送信部800に出力する。配信サムネイル画像は、たとえばQVGAサイズの静止画である。なお、配信サムネイル画像は所定の期間ごとに生成されればよく、例えば3秒間隔で生成される。 The distribution unit 500 outputs the encoded stream input from the transcoding unit 400 to the terminal 65 connected to the distribution base 7000 . Further, the distribution unit 500 generates a distribution thumbnail image by extracting a still image of one frame from the encoded stream as necessary, and outputs the distribution thumbnail image to the distribution thumbnail image transmission unit 800 . The distributed thumbnail image is, for example, a still image of QVGA size. Note that the distribution thumbnail image may be generated every predetermined period, for example, every 3 seconds.

配信部501は、受信部300から入力されるストリーミングデータを必要に応じて配信拠点7001に接続された端子66に出力する。 The distribution unit 501 outputs the streaming data input from the reception unit 300 to the terminal 66 connected to the distribution base 7001 as necessary.

ストリーミングサムネイル画像送信部600は、受信部300から入力されるストリーミングサムネイル画像をストリーミング監視装置6000に接続された端子62に出力する。 Streaming thumbnail image transmitting section 600 outputs the streaming thumbnail image input from receiving section 300 to terminal 62 connected to streaming monitoring device 6000 .

配信サムネイル画像送信部800は、配信部500から入力される配信サムネイル画像をストリーミング監視装置6000に接続された端子64に出力する。 Distribution thumbnail image transmission section 800 outputs the distribution thumbnail image input from distribution section 500 to terminal 64 connected to streaming monitoring device 6000 .

配信サーバ3000がストリーミングデータを配信中であれば、配信サムネイル画像送信部800がトランスコード後の符号化ストリームの配信サムネイル画像をストリーミング監視装置6000に提供する。配信サーバ3000がストリーミングデータを配信していない場合は、ストリーミングサムネイル画像送信部600がトランスコード前のストリーミングデータのストリーミングサムネイル画像をストリーミング監視装置6000に提供する。 If the distribution server 3000 is distributing the streaming data, the distribution thumbnail image transmission unit 800 provides the distribution thumbnail image of the encoded stream after transcoding to the streaming monitoring device 6000 . When the distribution server 3000 does not distribute the streaming data, the streaming thumbnail image transmission unit 600 provides the streaming monitoring device 6000 with the streaming thumbnail image of the streaming data before transcoding.

ストリーミング情報送信部700は、ストリーミング情報をストリーミング監視装置6000に接続された端子63に出力する。 Streaming information transmitting section 700 outputs streaming information to terminal 63 connected to streaming monitoring device 6000 .

図4は、ストリーミング監視装置6000によるストリーミングデータの管理手順を説明するフローチャートである。この管理手順は、各カメラ1000、1001について、それぞれたとえば3秒の更新間隔で実施される。以下、カメラ1000の場合について説明する。 FIG. 4 is a flowchart for explaining a procedure for managing streaming data by the streaming monitoring device 6000. As shown in FIG. This management procedure is performed for each camera 1000, 1001 at an update interval of, for example, 3 seconds. The case of the camera 1000 will be described below.

カメラ情報取得部130は、GPS機能搭載ルータ2000からカメラ1000のカメラ情報を取得し、カメラ情報をサムネイル画像選択部150と通知情報生成部160に出力する(S100)。カメラ情報には、カメラ1000の識別情報、カメラ1000がストリーミング中であるか否かを示すストリーミング実行情報、及びカメラ1000のエラー情報が含まれる。 The camera information acquisition unit 130 acquires the camera information of the camera 1000 from the GPS function-equipped router 2000, and outputs the camera information to the thumbnail image selection unit 150 and the notification information generation unit 160 (S100). The camera information includes identification information of the camera 1000 , streaming execution information indicating whether the camera 1000 is currently streaming, and error information of the camera 1000 .

配信サーバ情報取得部120は、配信サーバ3000から配信サーバ情報を取得し、配信サーバ情報をサムネイル画像選択部150と通知情報生成部160に出力する(S110)。配信サーバ情報には、配信サーバ3000がカメラ1000のストリーミングデータを配信中であるか否かを示す配信実行情報、ストリーミングデータの伝送品質を示すストリーミング情報が含まれる。 The distribution server information acquisition unit 120 acquires distribution server information from the distribution server 3000, and outputs the distribution server information to the thumbnail image selection unit 150 and the notification information generation unit 160 (S110). The distribution server information includes distribution execution information indicating whether the distribution server 3000 is currently distributing the streaming data of the camera 1000, and streaming information indicating the transmission quality of the streaming data.

サムネイル画像選択部150は、ストリーミング実行情報がカメラ1000はストリーミング中であるかことを示しているか否かを検査する(S120)。 The thumbnail image selection unit 150 checks whether the streaming execution information indicates that the camera 1000 is streaming (S120).

ストリーミング実行情報がカメラ1000はストリーミング中であることを示している場合(S120のYES)、配信サーバ情報取得部120は、配信サーバ3000からストリーミング情報を取得し、ストリーミング情報を通知情報生成部160に出力する(S125)。 If the streaming execution information indicates that the camera 1000 is streaming (YES in S120), the distribution server information acquisition unit 120 acquires the streaming information from the distribution server 3000 and sends the streaming information to the notification information generation unit 160. Output (S125).

次に、サムネイル画像選択部150は、配信実行情報が配信サーバ3000はカメラ1000のストリーミングデータを配信中であることを示しているか否かを検査する(S130)。 Next, the thumbnail image selection unit 150 checks whether or not the distribution execution information indicates that the distribution server 3000 is distributing the streaming data of the camera 1000 (S130).

配信実行情報が配信サーバ3000はカメラ1000のストリーミングデータを配信中であることを示している場合(S130のYES)、配信サーバサムネイル画像取得部100は配信サーバ3000から配信サムネイル画像を取得し、サムネイル画像選択部150は配信サムネイル画像を選択サムネイル画像として選択して画面合成部190に出力する(S150)。 If the distribution execution information indicates that the distribution server 3000 is distributing the streaming data of the camera 1000 (YES in S130), the distribution server thumbnail image obtaining unit 100 obtains the distribution thumbnail image from the distribution server 3000, The image selection unit 150 selects the distribution thumbnail image as the selected thumbnail image and outputs it to the screen synthesis unit 190 (S150).

配信実行情報が配信サーバ3000はカメラ1000のストリーミングデータを配信中であることを示していない場合(S130のNO)、配信サーバサムネイル画像取得部100は配信サーバ3000からストリーミングサムネイル画像を取得し、サムネイル画像選択部150はストリーミングサムネイル画像を選択サムネイル画像として選択して画面合成部190に出力する(S140)。 If the distribution execution information does not indicate that the distribution server 3000 is distributing the streaming data of the camera 1000 (NO in S130), the distribution server thumbnail image obtaining unit 100 obtains the streaming thumbnail image from the distribution server 3000, The image selection unit 150 selects the streaming thumbnail image as the selected thumbnail image and outputs it to the screen synthesis unit 190 (S140).

ストリーミング実行情報がカメラ1000はストリーミング中であることを示していない場合(S120のNO)、カメラサムネイル画像取得部110はカメラ1000からカメラサムネイル画像を取得し、サムネイル画像選択部150はカメラサムネイル画像を選択サムネイル画像として選択して画面合成部190に出力する(S160)。 If the streaming execution information does not indicate that the camera 1000 is streaming (NO in S120), the camera thumbnail image acquisition unit 110 acquires the camera thumbnail image from the camera 1000, and the thumbnail image selection unit 150 selects the camera thumbnail image. It is selected as a selected thumbnail image and output to the screen synthesizing unit 190 (S160).

ステップS140、S150、またはS160に続いて、カメラ位置情報取得部140は、カメラ位置管理サーバ4000からカメラ位置情報を取得し、カメラ位置情報を通知情報生成部160と画面合成部190に出力する(S170)。 Following step S140, S150, or S160, camera position information acquisition unit 140 acquires camera position information from camera position management server 4000, and outputs the camera position information to notification information generation unit 160 and screen synthesis unit 190 ( S170).

地図データ取得部180は、地図データ配信サーバ5000から地図データを取得し、地図データを画面合成部190に出力する(S180)。 The map data acquisition unit 180 acquires map data from the map data distribution server 5000, and outputs the map data to the screen synthesis unit 190 (S180).

通知情報生成部160は、配信サーバ情報取得部120から入力されるストリーミング情報、カメラ情報取得部130から入力されるカメラ情報、及びカメラ位置情報取得部140から入力されるカメラ位置情報を用いて、通知情報を生成し、通知情報をストリーミング情報、カメラ情報、カメラ位置情報とともに画面合成部190に出力する(S190)。 The notification information generation unit 160 uses the streaming information input from the distribution server information acquisition unit 120, the camera information input from the camera information acquisition unit 130, and the camera position information input from the camera position information acquisition unit 140, Notification information is generated, and the notification information is output to the screen composition unit 190 together with the streaming information, the camera information, and the camera position information (S190).

画面合成部190は、地図データを地図データ表示領域に表示して、カメラ位置情報に基づいて地図データ表示領域上に選択サムネイル画像と通知情報を合成して合成画面を生成し、合成画面をモニタ210に出力する(S200)。モニタ210は合成画面を表示する。モニタの画面サイズは、一例として2560画素ラ1600画素のWQXGA(Wide Quad eXtended Graphics Array)であり、地図データ表示領域は、一例として2000画素ラ1200画素である。 The screen synthesizing unit 190 displays the map data in the map data display area, synthesizes the selected thumbnail image and the notification information on the map data display area based on the camera position information, generates a synthesized screen, and monitors the synthesized screen. 210 (S200). A monitor 210 displays the composite screen. The screen size of the monitor is, for example, WQXGA (Wide Quad eXtended Graphics Array) of 2560 pixels by 1600 pixels, and the map data display area is, for example, 2000 pixels by 1200 pixels.

配信拠点制御部200は、ストリーミング情報に基づいて配信拠点を制御する(S210)。ここで、配信拠点の制御について説明する。配信拠点制御部200は、ストリーミング情報を配信サーバ3000に送信し、配信サーバ3000は、ストリーミング情報を参照して、通信状況に応じてストリーミングデータの配信先の配信拠点7000、7001を選択させる。たとえば、ストリーミング情報のパケット損失の総和値が所定値を超えた場合に、配信サーバ3000は、これまで配信拠点7000に配信されていたストリーミングデータを別の配信拠点7001に配信するように切り替える。 The distribution base control unit 200 controls distribution bases based on the streaming information (S210). Here, the control of the distribution base will be described. The distribution base control unit 200 transmits the streaming information to the distribution server 3000, and the distribution server 3000 refers to the streaming information and selects the distribution bases 7000 and 7001 to which the streaming data is to be distributed according to the communication status. For example, when the total packet loss value of streaming information exceeds a predetermined value, distribution server 3000 switches the streaming data that has been distributed to distribution base 7000 to another distribution base 7001 .

以上のように、カメラ1000、1001がストリーミング中であれば配信サーバ3000からサムネイル画像を取得し、カメラ1000、1001がストリーミング中でない、すなわちカメラ1000、1001がプレビューモードなどストリーミングのスタンバイ状態であればカメラ1000、1001からサムネイル画像を取得する。これにより、カメラ1000、1001がストリーミングデータのエンコードとサムネイル画像のエンコードを同時に処理する必要がないから、ストリーミング中のカメラ1000、1001の処理量を抑制しながら、ストリーミング監視装置6000は、カメラの撮影映像を絶えず監視することができる。 As described above, if the cameras 1000 and 1001 are streaming, the thumbnail image is obtained from the distribution server 3000. Thumbnail images are acquired from cameras 1000 and 1001 . This eliminates the need for the cameras 1000 and 1001 to simultaneously process encoding of streaming data and encoding of thumbnail images. Images can be monitored continuously.

ここでは、ストリーミング実行情報はカメラ情報に含まれるとしたが、ストリーミング実行情報を配信サーバ情報に含めてもよい。この場合、配信サーバ3000は、GPS機能搭載ルータ2000からのストリーミングの受信状況を監視することによってストリーミングが実行されているかどうか判断し、ストリーミング実行情報を含めた配信サーバ情報を生成する。配信サーバ情報取得部120は、端子10から配信サーバ情報を取得し、配信サーバ情報をサムネイル画像選択部150と通知情報生成部160に出力する。このような構成にすることで、カメラの処理負荷を低減させることができる。 Although the streaming execution information is included in the camera information here, the streaming execution information may be included in the distribution server information. In this case, distribution server 3000 determines whether streaming is being performed by monitoring the reception status of streaming from GPS-equipped router 2000, and generates distribution server information including streaming execution information. Distribution server information acquisition section 120 acquires distribution server information from terminal 10 and outputs the distribution server information to thumbnail image selection section 150 and notification information generation section 160 . With such a configuration, the processing load of the camera can be reduced.

ここでは、サムネイル画像の更新間隔は3秒としたが、所定の更新間隔でカメラ位置情報に基づいて地図データ表示領域上に選択サムネイル画像と通知情報を合成して表示できるのであれば、更新間隔はこれに限定されない。例えば、ストリーミングサムネイル画像と配信サムネイル画像を選択サムネイル画像とする場合は、カメラサムネイル画像を選択サムネイル画像とする場合よりも短い1秒の更新間隔とすることで、ストリーミング中のカメラの処理量を抑制しながらもより高精度に、カメラの撮影映像を監視することができる。 Here, the update interval of the thumbnail image is 3 seconds. is not limited to this. For example, if the streaming thumbnail image and the distribution thumbnail image are used as the selected thumbnail image, the update interval is set to 1 second, which is shorter than when the camera thumbnail image is used as the selected thumbnail image, thereby suppressing the amount of camera processing during streaming. However, it is possible to monitor the images captured by the camera with a higher degree of accuracy.

ここでは、サムネイル画像の画像サイズはQVGAとしたが、所定の更新間隔でカメラ位置情報に基づいて地図データ表示領域上に選択サムネイル画像と通知情報を合成して表示できるのであれば、サムネイル画像の画像サイズはこれに限定されない。例えば、配信サムネイル画像を選択サムネイル画像とする場合は、カメラサムネイル画像を選択サムネイル画像とする場合よりも大きな画像サイズであるVGAとすることで、ストリーミング中のカメラの処理量を抑制しながらもより高精度に、カメラの撮影映像を監視することができる。 Here, the image size of the thumbnail image is QVGA. The image size is not limited to this. For example, when the selected thumbnail image is used as the distribution thumbnail image, by using VGA, which is a larger image size than when the selected thumbnail image is used as the camera thumbnail image, the processing amount of the camera during streaming can be suppressed and the image size can be increased. It is possible to monitor the image captured by the camera with high accuracy.

ここでは、配信実行情報が配信サーバ3000はカメラ1000のストリーミングデータを配信中であることを示している場合(S130のYES)、配信サーバサムネイル画像取得部100は配信サーバ3000から配信サムネイル画像を取得するとした(S150)。また、配信実行情報が配信サーバ3000はカメラ1000のストリーミングデータを配信中であることを示していない場合(S130のNO)、配信サーバサムネイル画像取得部100は配信サーバ3000からストリーミングサムネイル画像を取得するとした(S140)。しかし、配信サーバサムネイル画像取得部100が、配信サーバ3000から配信サムネイル画像又はストリーミングサムネイル画像を取得できない場合も有り得る。例えば、通信状況が悪化したことにより、配信サーバ3000から配信サムネイル画像又はストリーミングサムネイル画像を取得できない場合や、配信サムネイル画像又はストリーミングサムネイル画像を取得することができない配信サーバが選択された場合などである。 Here, if the distribution execution information indicates that the distribution server 3000 is currently distributing the streaming data of the camera 1000 (YES in S130), the distribution server thumbnail image obtaining unit 100 obtains the distribution thumbnail image from the distribution server 3000. (S150). If the distribution execution information does not indicate that the distribution server 3000 is currently distributing the streaming data of the camera 1000 (NO in S130), the distribution server thumbnail image obtaining unit 100 obtains the streaming thumbnail image from the distribution server 3000. (S140). However, there may be a case where the distribution server thumbnail image acquisition unit 100 cannot acquire the distribution thumbnail image or the streaming thumbnail image from the distribution server 3000 . For example, there may be a case where a distribution thumbnail image or a streaming thumbnail image cannot be obtained from the distribution server 3000 due to a deterioration in communication conditions, or a case where a distribution server that cannot obtain a distribution thumbnail image or a streaming thumbnail image is selected. .

そこで、サムネイル画像選択部150は、記憶部(図示せず)を備える構成であってもよい。この記憶部は、予め定められた画像を記憶する。予め定められた画像とは、例えば、「サムネイル画像が取得できません」などのような警告を発する画面である。 Therefore, the thumbnail image selection section 150 may be configured to include a storage section (not shown). This storage unit stores a predetermined image. The predetermined image is, for example, a screen that issues a warning such as "thumbnail image cannot be obtained."

このような構成であって、配信サーバサムネイル画像取得部100は配信サーバ3000から配信サムネイル画像を取得する場合であって(S150)、配信サーバ3000から配信サムネイル画像を取得できなかったときには、配信サーバサムネイル画像取得部100は記憶部から予め定められた画像を読み出し、予め定められた画像を選択サムネイル画像として選択してもよい。 With such a configuration, when the distribution server thumbnail image obtaining unit 100 obtains a distribution thumbnail image from the distribution server 3000 (S150) and cannot obtain a distribution thumbnail image from the distribution server 3000, the distribution server The thumbnail image acquisition unit 100 may read a predetermined image from the storage unit and select the predetermined image as the selected thumbnail image.

配信サーバサムネイル画像取得部100は配信サーバ3000からストリーミングサムネイル画像を取得する場合であって(S140)、配信サーバ3000からストリーミングサムネイル画像できなかったときには、配信サーバサムネイル画像取得部100は記憶部から予め定められた画像を読み出し、予め定められた画像を選択サムネイル画像として選択してもよい。 When the distribution server thumbnail image obtaining unit 100 obtains a streaming thumbnail image from the distribution server 3000 (S140) and the streaming thumbnail image cannot be obtained from the distribution server 3000, the distribution server thumbnail image obtaining unit 100 obtains the streaming thumbnail image from the storage unit in advance. A predetermined image may be read and the predetermined image may be selected as the selected thumbnail image.

さらには、サムネイル画像選択部150が上述の記憶部を備える場合では、配信サーバ3000がストリーミングサムネイル画像送信部600、配信サムネイル画像送信部800を備えない配信サーバ3000にも本実施の形態は適用できる。つまり、配信サーバを示すURLが含まれるストリーミング対象情報から、配信サーバを特定し、上述の配信サーバ3000から配信サムネイル画像を取得できるか否かの判断は、特定されたサーバがストリーミングサムネイル画像送信部600、配信サムネイル画像送信部800を有するサーバであるか否かによって判断すればよい。ストリーミングサムネイル画像送信部600、配信サムネイル画像送信部800を有するサーバである場合には、ストリーミングサムネイル画像又は配信サムネイル画像を選択サムネイル画像として選択し、そうでない場合には予め定められた画像を選択サムネイル画像として選択すればよい。このような構成にすることにより、汎用性を高めることができる。 Furthermore, when thumbnail image selection unit 150 includes the above-described storage unit, the present embodiment can also be applied to distribution server 3000 that does not include streaming thumbnail image transmission unit 600 and distribution thumbnail image transmission unit 800. . In other words, the distribution server is specified from the streaming target information including the URL indicating the delivery server, and the determination as to whether or not the delivery thumbnail image can be obtained from the above-described delivery server 3000 is made by the specified server through the streaming thumbnail image transmission unit. 600 , whether or not the server has the distribution thumbnail image transmission unit 800 may be determined. If the server has the streaming thumbnail image transmission unit 600 and the distribution thumbnail image transmission unit 800, the streaming thumbnail image or the distribution thumbnail image is selected as the selected thumbnail image. Otherwise, a predetermined image is selected as the selected thumbnail image. Select as an image. With such a configuration, versatility can be enhanced.

また、ここでは、予め定められた画像を記憶する記憶部を備える構成としたが、備えなくもよい。この場合には、S140又はS150にて配信サーバ3000からストリーミングサムネイル画像又は配信サムネイル画像が取得できなかったときには、S200にて、地図データ表示領域上に選択サムネイル画像の代わりとして、ストリーミング対象情報がわかる文字列、例えば、ストリーミング対象情報やストリーミング対象情報を短縮した文字列を、通知情報と合成して合成画面を生成し、合成画面をモニタ210に出力してもよい。 Further, here, a configuration is provided in which a storage unit for storing a predetermined image is provided, but it may not be provided. In this case, if the streaming thumbnail image or distribution thumbnail image cannot be acquired from the distribution server 3000 in S140 or S150, in S200, instead of the selected thumbnail image, the streaming target information can be seen on the map data display area. A character string, for example, the streaming target information or a character string obtained by abbreviating the streaming target information may be synthesized with the notification information to generate a synthesized screen, and the synthesized screen may be output to the monitor 210 .

続いて、カメラ位置情報に基づいて地図データ上に選択サムネイル画像と通知情報を合成して表示する方法を詳細に説明する。 Next, a method for synthesizing and displaying the selected thumbnail image and the notification information on the map data based on the camera position information will be described in detail.

図5は、画面合成部190による画像合成手順を説明するフローチャートである。 FIG. 5 is a flowchart for explaining the image synthesizing procedure by the screen synthesizing unit 190. As shown in FIG.

表示するカメラの総数がN台であるとして説明する。なお、図5のフローチャートは地図データの縮尺が変化する毎に処理するものとする。 It is assumed that the total number of cameras to be displayed is N. It should be noted that the flowchart of FIG. 5 is processed each time the scale of the map data changes.

最初に、画像合成部190は、全てのカメラのカメラ位置マーカ表示フラグをONに設定する(S301)。 First, the image synthesizing unit 190 sets the camera position marker display flags of all cameras to ON (S301).

次に、画像合成部190は、カメラ画像表示領域の矩形の大きさを決定する(S302)。ここで、カメラ画像表示領域の矩形の大きさはピクセル単位で予め定められた値である。このカメラ画像表示領域の矩形の大きさは地図データ表示領域に応じて定められ、少なくとも地図データ表示領域に複数のカメラ画像表示領域が表示されるものとし、ここでは一例として160画素ラ120画素とする。 Next, the image synthesizing unit 190 determines the size of the rectangle of the camera image display area (S302). Here, the size of the rectangle of the camera image display area is a predetermined value in pixel units. The size of the rectangle of the camera image display area is determined according to the map data display area, and at least a plurality of camera image display areas are displayed in the map data display area. do.

続いて、画像合成部190は、カメラiについて、S303からS390までの処理を繰り返して行う。ここで、N台のカメラの処理順序は、予め定められた順序とし、ここではユーザが設定した重要度に基づいた順序とする。これ以外にもN台のカメラの処理順序は、カメラがストリーミング管理システムに登録された登録順などとすることもできる。 Subsequently, the image synthesizing unit 190 repeats the processing from S303 to S390 for camera i. Here, the processing order of the N cameras is a predetermined order, and here, the order is based on the degree of importance set by the user. Alternatively, the processing order of the N cameras may be the registration order in which the cameras are registered in the streaming management system.

まず、カメラiのカメラ位置マーカ表示フラグがONであるか検査する(S310)。 First, it is checked whether the camera position marker display flag of camera i is ON (S310).

カメラiのカメラ位置マーカ表示フラグがONである場合(S310のYES)、地図データの縮尺に基づいて、カメラiのカメラ画像表示領域の左下と右上の頂点の緯度・経度を算出する(S320)。なお、カメラ画像表示領域の4つの頂点の中で対角の位置にある2つの頂点を選択して緯度・経度を算出すればよく、カメラ画像表示領域の右下と左上の頂点の緯度・経度を算出してもよい。 If the camera position marker display flag of camera i is ON (YES in S310), the latitude and longitude of the lower left and upper right vertices of the camera image display area of camera i are calculated based on the scale of the map data (S320). . Note that the latitude and longitude can be calculated by selecting two vertices at diagonal positions among the four vertices of the camera image display area. may be calculated.

ステップS320に引き続いて、カメラiのカメラ画像表示領域の左下と右上の頂点の緯度・経度と、カメラi以外のカメラのカメラ位置情報に基づいて、カメラiのカメラ画像表示領域内にカメラi以外のカメラが存在するか検査する(S330)。 Following step S320, based on the latitude and longitude of the lower left and upper right vertices of the camera image display area of camera i and the camera position information of cameras other than camera i, cameras other than camera i are displayed in the camera image display area of camera i. camera exists (S330).

カメラiのカメラ画像表示領域内にカメラi以外のカメラが存在する場合(S330のYES)、カメラiのカメラ画像表示領域内に含まれるカメラi以外のカメラのカメラ位置マーカ表示フラグをOFFに設定する(S340)。この時、カメラiは代表カメラとなり、カメラiのカメラ位置情報は、カメラiのカメラ画像表示領域内に存在するカメラの代表位置となる。なお、カメラiのカメラ画像表示領域内にカメラjが存在するか否かは、カメラiのカメラ画像表示領域の左下と右上の頂点の緯度・経度と、カメラjのカメラ位置情報を比較することで判定することができる。 If a camera other than camera i exists within the camera image display area of camera i (YES in S330), the camera position marker display flags of the cameras other than camera i included in the camera image display area of camera i are set to OFF. (S340). At this time, the camera i becomes the representative camera, and the camera position information of the camera i becomes the representative position of the cameras existing within the camera image display area of the camera i. Whether or not camera j exists within the camera image display area of camera i is determined by comparing the latitude and longitude of the lower left and upper right corners of the camera image display area of camera i with the camera position information of camera j. can be determined by

なお、カメラi又はカメラjのカメラ位置情報が取得できなかった場合やカメラi又はカメラjのカメラ位置情報が不正値であった場合、カメラ位置情報として、そのカメラのカメラ位置情報が取得できた最後の位置を利用する。また、カメラi又はカメラjのカメラ位置情報が取得できなかった場合やカメラi又はカメラjのカメラ位置情報が不正値であった場合、カメラ位置情報として、予め設定していた所定のカメラ位置を利用してもよい。 If the camera position information of camera i or camera j could not be obtained, or if the camera position information of camera i or camera j was an invalid value, the camera position information of that camera could be obtained as the camera position information. Use last position. In addition, when the camera position information of camera i or camera j cannot be obtained, or when the camera position information of camera i or camera j is an invalid value, a predetermined camera position set in advance is used as the camera position information. may be used.

ステップS340に引き続いてカメラiとカメラiのカメラ画像表示領域内に含まれるカメラi以外のカメラのカメラサムネイル画像、通知情報、及びカメラ情報をカメラiのカメラ画像表示領域内に合成した映像信号を生成する(S350)。 Subsequent to step S340, a video signal obtained by synthesizing camera thumbnail images, notification information, and camera information of camera i and cameras other than camera i included in the camera image display area of camera i within the camera image display area of camera i is generated. Generate (S350).

カメラiのカメラ画像表示領域内にカメラi以外のカメラが存在しない場合(S330のNO)、カメラiのカメラサムネイル画像、通知情報、及びカメラ情報をカメラiのカメラ画像表示領域内に合成した映像信号を生成する(S360)。 When there is no camera other than camera i within the camera image display area of camera i (NO in S330), a video obtained by synthesizing the camera thumbnail image, notification information, and camera information of camera i within the camera image display area of camera i. A signal is generated (S360).

カメラiのカメラ位置マーカ表示フラグがOFFである場合(S310のNO)、ステップS390に移動する。ここで、カメラ位置マーカ表示フラグがOFFであると判断される対象のカメラは、代表カメラのカメラ画像表示領域内に存在するカメラである。 If the camera position marker display flag of camera i is OFF (NO in S310), the process moves to step S390. Here, the camera for which the camera position marker display flag is determined to be OFF is the camera existing within the camera image display area of the representative camera.

N台のカメラについてステップS303からステップS390までの処理が繰り返された後、終了する。 After the processing from step S303 to step S390 is repeated for N cameras, the process ends.

図6は、画面合成部190による合成表示の例を説明する図である。ここでは、地図データ表示領域900上に6台のカメラA~Fが存在する。 FIG. 6 is a diagram illustrating an example of composite display by the screen composite unit 190. In FIG. Here, six cameras A to F are present on the map data display area 900 .

地図データ表示領域900上に第1、第2、第3カメラA、B、Cのそれぞれのカメラ位置情報LA、LB、LCに基づいてカメラ位置を示すカメラ位置マーカ910a、910b、910cがそれぞれ黒丸で表示される。第1、第2、第3カメラA、B、Cのカメラ位置マーカ910a、910b、910cに隣接してそれぞれカメラ画像表示領域950a、950b、950cが画面上に表示される。ここでは、カメラ位置マーカはカメラ画像表示領域の左下の位置にあるが、左上の位置や右上の位置などにあってもよい。 On the map data display area 900, camera position markers 910a, 910b, and 910c indicating the camera positions based on the camera position information LA, LB, and LC of the first, second, and third cameras A, B, and C, respectively, are black circles. is displayed. Camera image display areas 950a, 950b and 950c are displayed on the screen adjacent to the camera position markers 910a, 910b and 910c of the first, second and third cameras A, B and C, respectively. Here, the camera position marker is located at the lower left position of the camera image display area, but it may be located at the upper left position or the upper right position.

この時、第3カメラCのカメラ画像表示領域950c内に存在する第4、第5、第6カメラD、E、Fのカメラ位置マーカ910d、910e、910fは画面上には表示されないが、ここでは、説明のために第4、第5、第6カメラD、E、Fの位置をそれぞれ白丸で図示している。 At this time, the camera position markers 910d, 910e, and 910f of the fourth, fifth, and sixth cameras D, E, and F existing within the camera image display area 950c of the third camera C are not displayed on the screen. For the sake of explanation, the positions of the fourth, fifth and sixth cameras D, E and F are indicated by white circles.

図7(a)および図7(b)は、図6の第1カメラAのカメラ画像表示領域950aを説明する図である。 FIGS. 7A and 7B are diagrams for explaining the camera image display area 950a of the first camera A in FIG.

図7(a)に示すように、カメラ画像表示領域950aは、カメラサムネイル画像表示領域920、通知情報表示領域930、およびカメラ情報表示領域940を含む。 As shown in FIG. 7A, the camera image display area 950a includes a camera thumbnail image display area 920, a notification information display area 930, and a camera information display area 940. FIG.

カメラサムネイル画像表示領域920には第1カメラAの選択サムネイル画像がカメラサムネイル画像表示領域の大きさに合うようにスケーリングされて表示される。 In the camera thumbnail image display area 920, the selected thumbnail image of the first camera A is displayed after being scaled to match the size of the camera thumbnail image display area.

カメラサムネイル画像表示領域920の外枠の周辺領域である通知情報表示領域930には第1カメラAの通知情報が表示される。 Notification information of the first camera A is displayed in a notification information display area 930 that is a peripheral area of the outer frame of the camera thumbnail image display area 920 .

ここで、通知情報について詳細に説明する。通知情報生成部160は、下記のような条件で通知情報を生成する。通知情報には、パケット損失エラー通知、パケット損失警告通知、パケット回復警告通知、カメラエラー通知、及びカメラ位置消失通知が含まれ、それぞれの通知は通知タイプで管理され、通知タイプにより判別可能である。 Here, the notification information will be described in detail. The notification information generator 160 generates notification information under the following conditions. Notification information includes packet loss error notification, packet loss warning notification, packet recovery warning notification, camera error notification, and camera position loss notification. Each notification is managed by a notification type and can be distinguished by the notification type. .

通知情報生成部160が、ストリーミング情報のパケット損失の直近の所定期間の総和値が所定閾値T1を超えたと判断した場合、パケット損失エラー通知を生成する。 When the notification information generation unit 160 determines that the total value of the packet loss of the streaming information in the most recent predetermined period exceeds the predetermined threshold value T1, it generates a packet loss error notification.

通知情報生成部160が、ストリーミング情報のパケット損失の直近の所定期間の総和値が所定閾値T2(T2T1)を超えたと判断した場合、パケット損失警告通知を生成する。 When the notification information generation unit 160 determines that the total value of the packet loss of the streaming information in the most recent predetermined period exceeds the predetermined threshold value T2 (T2T1), it generates a packet loss warning notification.

通知情報生成部160が、パケットを損失したときに再送されるパケットの数やFEC(Forward Error Correction)により誤り訂正されたパケットの数の直近の所定期間の総和値が所定閾値T3(T3T1)を超えたと判断した場合、パケット回復警告通知を生成する。なお、パケットを損失したときとは、例えば、サーバやネットワークの負荷の増大によりストリーミング情報のパケットが消失してしまうことであるが、ルータや中継装置などの故障等によっても生じる可能性がある。 The notification information generation unit 160 determines that the total value of the number of packets retransmitted when a packet is lost and the number of packets error-corrected by FEC (Forward Error Correction) in the most recent predetermined period exceeds a predetermined threshold value T3 (T3T1). If determined to be exceeded, generate a packet recovery warning notification. It should be noted that when a packet is lost is, for example, the loss of a packet of streaming information due to an increase in the load on the server or network, but it may also occur due to a failure of a router, relay device, or the like.

一般的には、サーバやネットワークの負荷の増大が原因であれば、サーバやネットワークの負荷が増大すると、まず、パケット回復警告通知が生成され、さらにサーバやネットワークの負荷が増大した場合に、パケット損失警告通知が生成され、さらにサーバやネットワークの負荷が増大した場合に、パケット損失エラー通知が生成されることになる。つまり、パケット回復警告通知が通知された段階でサーバやネットワークの負荷を低減したり、サーバやネットワークのリソースを増加させることで、パケットの損失を抑制することができる。一方、ルータや中継装置などの故障等が原因であれば、パケット回復警告通知はなく、まず、パケット損失警告通知が生成され、続いてパケット損失エラー通知が生成される。このように、パケット回復警告通知、パケット損失警告通知、及びパケット損失エラー通知の生成順序によって、サーバやネットワークの負荷の増大やルータや中継装置などの故障等の対策ができる。 In general, if the cause is an increase in server or network load, an increase in server or network load will first generate a packet recovery warning notification, and an increase in server or network load will generate a packet recovery warning notification. A packet loss error notification will be generated if a loss warning notification is generated and the server or network load increases. In other words, packet loss can be suppressed by reducing the load on the server or network or increasing the resources of the server or network at the stage when the packet recovery warning notification is notified. On the other hand, if the cause is a failure of a router, relay device, or the like, there is no packet recovery warning notification, and first a packet loss warning notification is generated, followed by a packet loss error notification. Thus, depending on the order in which the packet recovery warning notification, packet loss warning notification, and packet loss error notification are generated, it is possible to take countermeasures against an increase in load on servers and networks and failures of routers and relay devices.

通知情報生成部160が、カメラエラー情報がエラーであることを示していると判断した場合、カメラエラー通知を生成する。カメラエラー情報には、バッテリの残量低下、メモリカードの残量低下、ストリーミングの失敗などが含まれる。 When the notification information generation unit 160 determines that the camera error information indicates an error, it generates a camera error notification. Camera error information includes low battery, low memory card, streaming failure, and so on.

通知情報生成部160が、カメラ位置情報が取得できなかった場合やカメラ位置情報が不正値であったと判断した場合、カメラ位置消失通知を生成する。 When the notification information generation unit 160 cannot acquire the camera position information or determines that the camera position information is an incorrect value, it generates a camera position disappearance notification.

図7(a)の通知情報表示領域930には、一例として、パケット損失エラー通知、パケット損失警告通知又はパケット回復警告通知などの通知タイプが文字列で表示され、背景色が付けられる。なお、通知情報がない場合には、通知情報表示領域930には何も表示されない。また、通知情報表示領域930に表示される文字列と背景色は通知タイプに応じて色が変化し、所定期間で明滅する。明滅する所定間隔を通知タイプに応じて変化させてもよい。背景色は、たとえばパケット損失警告通知の場合は赤色、パケット損失エラー通知の場合は黄色にすることができる。これにより、地図上でどの場所のカメラにおいて問題が発生しているかを一目で把握することができる。 In the notification information display area 930 of FIG. 7A, as an example, the notification type such as packet loss error notification, packet loss warning notification, or packet recovery warning notification is displayed with a character string and a background color is added. Note that when there is no notification information, nothing is displayed in the notification information display area 930 . In addition, the character string and background color displayed in the notification information display area 930 change in color according to the notification type, and blink in a predetermined period. The blinking interval may vary depending on the notification type. The background color may be, for example, red for packet loss warning notifications and yellow for packet loss error notifications. This makes it possible to grasp at a glance which camera on the map has a problem.

カメラサムネイル画像表示領域920の下側のカメラ情報表示領域940にはカメラ識別情報に含まれるカメラ名などが表示される。 A camera name or the like included in the camera identification information is displayed in a camera information display area 940 below the camera thumbnail image display area 920 .

図7(a)では、カメラ画像表示領域950aにカメラサムネイル画像表示領域920、通知情報表示領域930、およびカメラ情報表示領域940が表示されているが、カメラ画像表示領域950aは少なくとも、カメラサムネイル画像表示領域920と通知情報表示領域930が含まれていればよく、図7(a)に限定されない。図7(b)は、カメラサムネイル画像表示領域920と通知情報表示領域930を含み、カメラ情報表示領域940が含まれていないカメラ画像表示領域950aの表示例を示す。 In FIG. 7A, the camera thumbnail image display area 920, the notification information display area 930, and the camera information display area 940 are displayed in the camera image display area 950a. As long as the display area 920 and the notification information display area 930 are included, it is not limited to FIG. 7(a). FIG. 7B shows a display example of a camera image display area 950a that includes the camera thumbnail image display area 920 and the notification information display area 930 but does not include the camera information display area 940. FIG.

図8(a)および図8(b)は、図6の第3カメラCのカメラ画像表示領域950cを説明する図である。図8では説明を容易にするために、カメラサムネイル画像表示領域と通知情報表示領域が表示される例に基づいて説明する。図8で図示しているC、D、E、Fの記号は説明のために図示しており、実際の画面には表示されない。 FIGS. 8A and 8B are diagrams illustrating the camera image display area 950c of the third camera C in FIG. 6. FIG. For ease of explanation, FIG. 8 will be described based on an example in which a camera thumbnail image display area and a notification information display area are displayed. Symbols C, D, E, and F shown in FIG. 8 are shown for explanation and are not displayed on the actual screen.

まず、図8(a)の表示例について説明する。カメラサムネイル画像表示領域の大きさを均等に4分割した各領域の大きさに合うように4台のカメラC、D、E及びFのそれぞれの選択サムネイル画像がスケーリングされて表示される。4台のカメラC、D、E及びFのそれぞれの選択サムネイル画像は、それぞれのカメラのカメラ位置情報に基づいて、カメラサムネイル画像表示領域内に表示される。ここでは図8(a)に示すようにカメラサムネイル画像表示領域は4つの領域920c、920d、920e、920fに分割され、領域920cにカメラCの選択サムネイル画像、領域920dにカメラDの選択サムネイル画像、領域920eにカメラEの選択サムネイル画像、領域920fにカメラFの選択サムネイル画像が表示される。 First, the display example of FIG. 8A will be described. Selected thumbnail images of the four cameras C, D, E, and F are scaled and displayed so as to match the size of each area obtained by equally dividing the size of the camera thumbnail image display area into four. Selected thumbnail images of the four cameras C, D, E, and F are displayed in the camera thumbnail image display area based on the camera position information of each camera. Here, as shown in FIG. 8A, the camera thumbnail image display area is divided into four areas 920c, 920d, 920e, and 920f. Area 920c is the selected thumbnail image of camera C, and area 920d is the selected thumbnail image of camera D. , the selected thumbnail image of camera E is displayed in area 920e, and the selected thumbnail image of camera F is displayed in area 920f.

通知情報表示領域930は4台のカメラC、D、E、Fの少なくとも1つに通知情報がある場合だけ表示され、4台のカメラC、D、E、Fのいずれにも通知情報がない場合には通知情報表示領域930は表示されない。ここで、複数のカメラに通知情報がある場合について説明する。例えば、3台のカメラC、D、Eに通知情報がある場合、通知情報表示領域930には、カメラCの通知情報が所定間隔明滅し、続いてカメラDの通知情報が所定間隔明滅し、続いてカメラEの通知情報が所定間隔で明滅する。これが繰り返される。図8(a)は、カメラDの通知情報が通知情報表示領域930に表示されている状態を図示している。カメラDの選択サムネイル画像の周辺に枠が表示されることでカメラDの選択サムネイル画像が強調され、カメラDの通知情報が通知情報表示領域930に表示されていることが把握できるようにしている。同様に、カメラC、Eの通知情報が通知情報表示領域930に表示されるときは、それぞれカメラC、Eの選択サムネイル画像が強調表示される。 The notification information display area 930 is displayed only when at least one of the four cameras C, D, E, and F has notification information, and none of the four cameras C, D, E, and F has notification information. In this case, notification information display area 930 is not displayed. Here, a case where a plurality of cameras have notification information will be described. For example, when there is notification information for three cameras C, D, and E, in the notification information display area 930, the notification information for camera C blinks at predetermined intervals, and then the notification information for camera D blinks at predetermined intervals. Subsequently, notification information of camera E blinks at predetermined intervals. This is repeated. FIG. 8A illustrates a state in which the notification information of camera D is displayed in the notification information display area 930. FIG. By displaying a frame around the selected thumbnail image of camera D, the selected thumbnail image of camera D is emphasized so that the user can understand that the notification information of camera D is displayed in the notification information display area 930. . Similarly, when the notification information of cameras C and E is displayed in the notification information display area 930, the selected thumbnail images of cameras C and E are highlighted.

図8(a)の4台のカメラC、D、E、Fに対するカメラ位置マーカは代表カメラCのカメラ位置マーカによって代表されており、カメラ画像表示領域950c内にカメラC以外のカメラがない場合の1台のカメラCに対するカメラ位置マーカと区別する必要がある。そのために一例として、複数台のカメラに対するカメラ位置マーカの色または形状を1台のカメラに対するカメラ位置マーカと異なる色または形状に設定する。また、カメラ位置マーカの色をカメラサムネイル、ストリーミングサムネイル、配信サムネイルのいずれかに応じて異なる色や形状に設定することもできる。 The camera position markers for the four cameras C, D, E, and F in FIG. 8A are represented by the camera position marker of the representative camera C, and when there is no camera other than camera C within the camera image display area 950c should be distinguished from the camera position markers for one camera C of . For this purpose, as an example, the color or shape of camera position markers for a plurality of cameras is set to a different color or shape from the camera position marker for a single camera. Also, the color of the camera position marker can be set to different colors and shapes depending on whether it is a camera thumbnail, a streaming thumbnail, or a distribution thumbnail.

次に図8(b)の表示例について説明する。サムネイル画像の表示周期をサムネイル画像の更新間隔と同じにして、選択サムネイル画像の表示周期毎に4台のカメラC、D、E及びFのそれぞれの選択サムネイル画像がサムネイル画像表示領域に表示される。すなわち、カメラサムネイル画像表示領域920には、カメラCの選択サムネイル画像が3秒間表示され、カメラDの選択サムネイル画像が3秒間表示され、カメラEの選択サムネイル画像が3秒間表示され、カメラFの選択サムネイル画像が3秒間表示される。これが繰り返される。ここでは、選択サムネイル画像の表示周期をサムネイル画像の更新間隔と同じにしたが、サムネイル画像の更新間隔内に4台のカメラC、D、E及びFのそれぞれの選択サムネイル画像が表示されるように、選択サムネイル画像の表示周期をサムネイル画像の更新間隔をカメラ台数で除算した値に設定することもできる。 Next, a display example of FIG. 8B will be described. The display cycle of the thumbnail images is the same as the update interval of the thumbnail images, and the selected thumbnail images of the four cameras C, D, E, and F are displayed in the thumbnail image display area for each display cycle of the selected thumbnail images. . That is, in the camera thumbnail image display area 920, the selected thumbnail image of camera C is displayed for 3 seconds, the selected thumbnail image of camera D is displayed for 3 seconds, the selected thumbnail image of camera E is displayed for 3 seconds, and the selected thumbnail image of camera F is displayed. The selected thumbnail image is displayed for 3 seconds. This is repeated. Here, the display cycle of the selected thumbnail images is set to be the same as the update interval of the thumbnail images. Alternatively, the display cycle of the selected thumbnail image can be set to a value obtained by dividing the update interval of the thumbnail image by the number of cameras.

通知情報表示領域930にはカメラサムネイル画像表示領域920に表示されているカメラの通知情報が表示される。通知情報が所定間隔明滅する周期は、サムネイル画像の更新間隔以下とし、選択サムネイル画像が表示されている間に少なくとも1回は明滅させる。図8(b)の例では、カメラDについて通知情報があり、カメラDの選択サムネイル画像がカメラサムネイル画像表示領域920に表示されているとき、カメラDの通知情報が通知情報表示領域930に表示されている。 Notification information of the camera displayed in the camera thumbnail image display area 920 is displayed in the notification information display area 930 . The period at which the notification information blinks at a predetermined interval is equal to or less than the update interval of the thumbnail image, and blinks at least once while the selected thumbnail image is displayed. In the example of FIG. 8B, when there is notification information about camera D and the selected thumbnail image of camera D is displayed in camera thumbnail image display area 920, the notification information of camera D is displayed in notification information display area 930. It is

カメラ画像表示領域950内に存在するカメラの台数によって図8(a)と図8(b)の表示形態を切り替えてもよい。すなわち、カメラ画像表示領域950内に存在するカメラの台数が所定数(たとえば4台)以下の場合、図8(a)のようにカメラサムネイル画像表示領域を分割してカメラ画像表示領域950内に存在する複数のカメラの映像のサムネイル画像を分割された領域内に表示し、カメラ画像表示領域950内に存在するカメラの台数が所定数を超える場合、図8(b)のようにカメラ画像表示領域950内に存在する複数のカメラの映像のサムネイル画像をカメラサムネイル画像表示領域に所定の順序で切り替えて表示する。このように表示形態を切り替えることでカメラ画像表示領域950内に存在するカメラ台数に適した画面構成で各カメラのサムネイル画像を確認することができる。 8A and 8B may be switched depending on the number of cameras present in the camera image display area 950. FIG. That is, when the number of cameras present in the camera image display area 950 is a predetermined number (for example, 4) or less, the camera thumbnail image display area is divided as shown in FIG. Thumbnail images of images of a plurality of existing cameras are displayed in divided areas, and when the number of cameras existing in the camera image display area 950 exceeds a predetermined number, the camera images are displayed as shown in FIG. 8(b). Thumbnail images of videos of a plurality of cameras existing in the area 950 are displayed in the camera thumbnail image display area by switching in a predetermined order. By switching the display mode in this manner, thumbnail images of each camera can be confirmed with a screen configuration suitable for the number of cameras present in the camera image display area 950 .

図6のカメラ画像表示領域950a、950b、950cをクリックすると、クリックされた位置に表示されているサムネイル画像に関連付けられたカメラ識別情報にもとづいて、撮影中のカメラが特定され、特定されたカメラがストリーミングしている映像が画面上にストリーミング映像詳細確認画面としてポップアップ表示される。 When the camera image display areas 950a, 950b, and 950c in FIG. 6 are clicked, the camera being photographed is specified based on the camera identification information associated with the thumbnail image displayed at the clicked position, and the specified camera The video being streamed by is popped up on the screen as a streaming video details confirmation screen.

ストリーミング映像詳細確認画面は、一例として画像サイズが1920画素ラ1080画素のフルHDであり、フレームレートは30fpsで表示される。ストリーミング映像詳細確認画面はストリーミング中の映像を詳細に確認するために利用される。このようにストリーミングデータの画像サイズとフレームレートはサムネイル画像よりも画像サイズが大きく、フレームレートが高いが、例えば、640画素ラ480画素等にスケーリング表示することもできる。 For example, the streaming video detail confirmation screen is displayed in full HD with an image size of 1920 pixels by 1080 pixels and a frame rate of 30 fps. The streaming image detail confirmation screen is used to confirm the details of the image being streamed. As described above, the image size and frame rate of the streaming data are larger than those of the thumbnail image, and the frame rate is higher.

また、ストリーミング映像詳細確認画面にはカメラ情報、カメラ位置情報、ストリーミング情報、及び通知情報を確認することができるように文字列で表示される。 In addition, on the streaming image detail confirmation screen, the camera information, camera position information, streaming information, and notification information are displayed in character strings so that the information can be confirmed.

以上のように、カメラ位置情報に基づいて地図データ上にサムネイル画像と通知情報を合成して表示することで、カメラの位置、撮影画像、および通知情報を同時に監視することができる。 As described above, by synthesizing and displaying the thumbnail image and the notification information on the map data based on the camera position information, the position of the camera, the captured image, and the notification information can be monitored at the same time.

本実施形態では、カメラiのカメラ画像表示領域内にカメラi以外のカメラが存在することを最初から許容したが、例えば、可能な限りカメラiのカメラ画像表示領域内にカメラi以外のカメラが存在しないように地図データの縮尺を調整してもよい。なお、地図データの縮尺は、実際の距離を地図上に縮めて表した割合のことであり、1/1000などのように、実際の距離を分母とし、地図上の距離を分子とする。つまり、地図データの縮尺を大きくすると、地図は拡大して表示され、地図データの縮尺を小さくすると地図は縮小して表示される。 In this embodiment, it is allowed from the beginning that cameras other than camera i exist within the camera image display area of camera i. You may adjust the scale of map data so that it may not exist. Note that the scale of the map data is the ratio of the actual distance reduced on the map, such as 1/1000, where the actual distance is the denominator and the distance on the map is the numerator. That is, when the scale of the map data is increased, the map is displayed in an enlarged size, and when the scale of the map data is decreased, the map is displayed in a reduced size.

具体例としては、ステップS340の前に、地図データの縮尺が所定の縮尺以下であって、かつ地図データの縮尺を大きく(地図データをより詳細に)することで、カメラiのカメラ画像表示領域内にカメラi以外のカメラが存在しないようにすることが可能かどうか検査する。地図データの縮尺が所定の縮尺以下であって、 かつカメラiのカメラ画像表示領域内にカメラi以外のカメラが存在しないようにすることが可能であれば、地図データの縮尺を大きくして処理を終了する。地図データの縮尺が所定の縮尺以下で、かつカメラiのカメラ画像表示領域内にカメラi以外のカメラが存在しないようにすることが可能でなければステップS340を処理するようにしてもよい。なお、所定の縮尺とは、予め定めた縮尺であってもよく、地図データ表示領域900上に予め定めた台数のカメラが表示される縮尺であってもよい。 As a specific example, before step S340, if the scale of the map data is equal to or less than a predetermined scale and the scale of the map data is increased (the map data is made more detailed), the camera image display area of the camera i is displayed. Check if it is possible to ensure that there are no cameras other than camera i in . If the scale of the map data is equal to or less than a predetermined scale and if it is possible to prevent cameras other than camera i from existing within the camera image display area of camera i, then the scale of the map data is increased for processing. exit. Step S340 may be processed if the scale of the map data is equal to or less than a predetermined scale and if it is not possible to prevent cameras other than camera i from existing within the camera image display area of camera i. Note that the predetermined scale may be a predetermined scale, or may be a scale at which a predetermined number of cameras are displayed on the map data display area 900 .

<変形例>
また、カメラC、カメラD、カメラE、カメラFのカメラ画像表示領域は、カメラ位置マーカ910cに基づいて、図8(a)又は図8(b)の通りに設定されるとした。他の変形例を、図9及び図10を用いて説明する。この変形例は、上述した実施形態と比較して、カメラC、カメラD、カメラE、カメラFのカメラ画像表示領域を重畳して表示する点が異なる。つまり、この変形例では、画像合成部190は、前記画像表示領域内に複数の撮像装置の撮影位置がある場合、前記画像表示領域内に、所定の順序に基づき前記複数の撮像装置の映像のサムネイル画像を重畳して表示させる映像信号を生成する。
<Modification>
Also, it is assumed that the camera image display areas of camera C, camera D, camera E, and camera F are set as shown in FIG. 8(a) or 8(b) based on the camera position marker 910c. Another modification will be described with reference to FIGS. 9 and 10. FIG. This modification differs from the above-described embodiment in that the camera image display areas of camera C, camera D, camera E, and camera F are superimposed and displayed. In other words, in this modified example, when there are shooting positions of a plurality of imaging devices in the image display area, the image synthesizing unit 190 displays images of the plurality of imaging devices in the image display area based on a predetermined order. A video signal for superimposing and displaying a thumbnail image is generated.

図9は、画面合成部190による合成表示の例を説明する図である。ここでは、地図データ表示領域900上に4台のカメラC、カメラD、カメラE、カメラFが存在する。カメラC、カメラD、カメラE、カメラFのカメラ画像表示領域950c、950d、950e、950fは、それぞれ、カメラ位置マーカ910c、910d、910e、910fに隣接して、または各カメラ位置マーカから所定の範囲内に、重畳して表示される。なお、カメラD、E、Fのカメラ位置マーカ910d、910e、910fはカメラ画像表示領域950cの背面に位置するため、カメラ位置マーカ910d、910e、910fは表示されないが、ここでは、説明のためにカメラ位置マーカ910d、910e、910fをそれぞれ白丸で図示している。 FIG. 9 is a diagram for explaining an example of composite display by the screen composite unit 190. As shown in FIG. Here, four cameras C, D, E, and F are present on the map data display area 900 . Camera image display areas 950c, 950d, 950e, and 950f of camera C, camera D, camera E, and camera F are respectively adjacent to camera position markers 910c, 910d, 910e, and 910f, or predetermined distances from each camera position marker. It is displayed superimposed within the range. Note that the camera position markers 910d, 910e, and 910f of the cameras D, E, and F are located behind the camera image display area 950c, so the camera position markers 910d, 910e, and 910f are not displayed. Camera position markers 910d, 910e, and 910f are indicated by white circles, respectively.

図10は、カメラ画像表示領域950c、950d、950e、950fの重畳する表示に関して一例を説明する図である。カメラ画像表示領域950c、950d、950e、950fに対して所定の順序が予め定められている。この所定の順序に基づき、カメラ画像表示領域が前面に表示される。また、この所定の順序は、所定の周期で設定されている順序に沿った変更がされる。例えば、周期的に、所定の順序は、その順序が繰り上がるように変更され、もっとも順序が高いカメラ画像表示領域は、もっとも順序が低いカメラ画像表示領域へと変更される。従って、カメラ画像表示領域950c、950d、950e、950fの全ては、順番に最前面に表示される。 FIG. 10 is a diagram illustrating an example of overlapping display of the camera image display areas 950c, 950d, 950e, and 950f. A predetermined order is predetermined for the camera image display areas 950c, 950d, 950e, and 950f. Based on this predetermined order, the camera image display area is displayed in front. Also, this predetermined order is changed in accordance with the set order at a predetermined cycle. For example, periodically, the predetermined order is changed so that the order is moved up, and the camera image display area with the highest order is changed to the camera image display area with the lowest order. Therefore, all of the camera image display areas 950c, 950d, 950e, and 950f are displayed in order in the foreground.

図10(a)は、この順序に基づくカメラ画像表示領域950c、950d、950e、950fの表示を説明する図である。この順序に基づくと、カメラ画像表示領域950cは他のカメラ画像表示領域950d、950e、950fと比較して前面に表示される。また、カメラ画像表示領域950dは、カメラ画像表示領域950e、950fと比較して前面に表示されるが、カメラ画像表示領域950cと比較すると、背面に表示される。カメラ画像表示領域950eは、カメラ画像表示領域950fと比較して前面に表示されるが、カメラ画像表示領域950c、950dと比較すると、背面に表示される。カメラ画像表示領域950fは、カメラ画像表示領域950c、950d、950fと比較すると、背面に表示される。 FIG. 10(a) is a diagram for explaining the display of the camera image display areas 950c, 950d, 950e, and 950f based on this order. Based on this order, the camera image display area 950c is displayed in front compared to the other camera image display areas 950d, 950e, and 950f. Also, the camera image display area 950d is displayed in front compared to the camera image display areas 950e and 950f, but is displayed in back compared to the camera image display area 950c. The camera image display area 950e is displayed in front compared to the camera image display area 950f, but is displayed in back compared to the camera image display areas 950c and 950d. The camera image display area 950f is displayed on the back side when compared to the camera image display areas 950c, 950d, and 950f.

図10(b)は、上述した所定の順序であるカメラ画像表示領域950c、950d、950e、950fの順序が、所定の周期(例えば1秒ごと)で変更され、カメラ画像表示領域950d、950e、950f、950cとなったときの表示を説明する図である。この順序に基づくと、カメラ画像表示領域950dは他のカメラ画像表示領域950c、950e、950fと比較して前面に表示される。一方で、カメラ画像表示領域950cは、カメラ画像表示領域950d、950e、950fと比較すると、背面に表示される。その他のカメラ画像表示領域950e、950fは、その順序に基づき、表示される。 In FIG. 10B, the order of the camera image display areas 950c, 950d, 950e, and 950f, which is the predetermined order described above, is changed at a predetermined cycle (for example, every second), and the camera image display areas 950d, 950e, It is a figure explaining a display when it becomes 950f and 950c. Based on this order, the camera image display area 950d is displayed in front compared to the other camera image display areas 950c, 950e, and 950f. On the other hand, the camera image display area 950c is displayed on the back as compared to the camera image display areas 950d, 950e, and 950f. Other camera image display areas 950e and 950f are displayed based on that order.

図10(c)は、所定の周期で変更された順序であるカメラ画像表示領域950d、950e、950f、950cの順序が、さらに所定の周期で変更され、カメラ画像表示領域950e、950f、950c、950dの順序となったときの表示を説明する図である。この順序に基づくと、カメラ画像表示領域950eは他のカメラ画像表示領域950c、950d、950fと比較して前面に表示される。その他のカメラ画像表示領域950f、950c、950dは、その順序に基づき、表示される。 In FIG. 10C, the order of the camera image display areas 950d, 950e, 950f, and 950c, which is the order changed at a predetermined cycle, is further changed at a predetermined cycle, and the camera image display areas 950e, 950f, 950c, 950d is a diagram for explaining the display when the order is 950d. FIG. Based on this order, the camera image display area 950e is displayed in front compared to the other camera image display areas 950c, 950d, and 950f. Other camera image display areas 950f, 950c, and 950d are displayed based on that order.

図10(d)は、所定の周期で変更された順序であるカメラ画像表示領域950e、950f、950c、950dの順序が、さらに所定の周期で変更され、カメラ画像表示領域950f、950c、950d、950eの順序となったときの表示を説明する図である。この順序に基づくと、カメラ画像表示領域950fは他のカメラ画像表示領域950c、950d、950eと比較して前面に表示される。その他のカメラ画像表示領域950c、950d、950fは、その順序に基づき、表示される。さらに、所定の周期で変更されると、所定の順序は、カメラ画像表示領域950c、950d、950e、950fの順序となり、図10(a)で説明した表示となる。 In FIG. 10D, the order of the camera image display areas 950e, 950f, 950c, and 950d, which is the order changed in a predetermined cycle, is further changed in a predetermined cycle, and the camera image display areas 950f, 950c, 950d, 950e is a diagram for explaining the display when the order of 950e is reached. FIG. Based on this order, the camera image display area 950f is displayed in front compared to the other camera image display areas 950c, 950d, 950e. Other camera image display areas 950c, 950d, and 950f are displayed based on that order. Furthermore, when changed at a predetermined cycle, the predetermined order becomes the order of the camera image display areas 950c, 950d, 950e, and 950f, which is the display described with reference to FIG. 10(a).

また、この変形例では、カメラ位置マーカ910c、910d、910e、910fを表示してもよい。カメラ位置マーカを表示する場合、各カメラ位置マーカは、対応するカメラ画像表示領域と同期させた上で表示する。つまり、カメラ画像表示領域に関する所定の順序に基づき、カメラ位置マーカが表示される。なお、カメラ位置マーカは、対応するカメラ画像表示領域よりも前面に表示される。 Also, in this variation, camera position markers 910c, 910d, 910e, and 910f may be displayed. When displaying the camera position markers, each camera position marker is displayed after being synchronized with the corresponding camera image display area. That is, the camera position markers are displayed based on a predetermined order regarding the camera image display area. Note that the camera position marker is displayed in front of the corresponding camera image display area.

例えば、図10(a)では、所定の順序であるカメラ画像表示領域950c、950d、950e、950fの順序に基づき、カメラ位置マーカ910c、910d、910e、910fが表示されている。従って、カメラ位置マーカ910d、910e、910fは、カメラ画像表示領域950cと比較して背面に表示される。そのため、カメラ位置マーカ910d、910e、910fは、見かけ上、表示されない。 For example, in FIG. 10A, camera position markers 910c, 910d, 910e, and 910f are displayed based on the predetermined order of camera image display areas 950c, 950d, 950e, and 950f. Accordingly, the camera position markers 910d, 910e, and 910f are displayed behind compared to the camera image display area 950c. Therefore, the camera position markers 910d, 910e, and 910f are apparently not displayed.

図10(b)では、所定の順序であるカメラ画像表示領域950d、950e、950f、950cの順序に基づき、カメラ位置マーカ910c、910d、910e、910fが表示されている。従って、カメラ位置マーカ910dはカメラ画像表示領域950c、950e、950fと比較して前面に表示される。カメラ位置マーカ910eは、カメラ画像表示領域950c、950fと比較して前面に表示されるが、カメラ画像表示領域950dと比較して背面に表示される。カメラ位置マーカ910fは、カメラ画像表示領域950cと比較して前面に表示されるが、カメラ画像表示領域950d、950eと比較して背面に表示される。そのために、カメラ位置マーカ910f、見かけ上は表示されない。カメラ位置マーカ910cは、カメラ画像表示領域950d、950e、950fと比較して背面に表示されるが、カメラ位置マーカ910cとカメラ画像表示領域950d、950e、950fとは、重畳していないために、見かけ上、表示される。 In FIG. 10B, camera position markers 910c, 910d, 910e, and 910f are displayed based on the predetermined order of camera image display areas 950d, 950e, 950f, and 950c. Accordingly, the camera position marker 910d is displayed in front of the camera image display areas 950c, 950e, and 950f. The camera position marker 910e is displayed in the front compared to the camera image display areas 950c and 950f, but is displayed in the back compared to the camera image display area 950d. The camera position marker 910f is displayed in the front compared to the camera image display area 950c, but is displayed in the back compared to the camera image display areas 950d and 950e. Therefore, the camera position marker 910f is not displayed apparently. The camera position marker 910c is displayed behind the camera image display areas 950d, 950e, and 950f. displayed in appearance.

図10(c)では、所定の順序であるカメラ画像表示領域950e、950f、950c、950dの順序に基づき、カメラ位置マーカ910c、910d、910e、910fが表示されている。また、図10(d)は、所定の順序であるカメラ画像表示領域950f、950c、950d、950eの順序に基づき、カメラ位置マーカ910c、910d、910e、910fが表示されている。図10(c)では、見かけ上、カメラ位置マーカ910c、910eが表示され、図10(d)では、見かけ上、カメラ位置マーカ910c、910fが表示される。 In FIG. 10C, camera position markers 910c, 910d, 910e, and 910f are displayed based on the predetermined order of camera image display areas 950e, 950f, 950c, and 950d. Further, in FIG. 10D, camera position markers 910c, 910d, 910e, and 910f are displayed based on the predetermined order of the camera image display areas 950f, 950c, 950d, and 950e. In FIG. 10(c), camera position markers 910c and 910e are apparently displayed, and in FIG. 10(d), camera position markers 910c and 910f are apparently displayed.

本変形例によれば、複数のカメラのカメラ画像表示領域またはカメラ位置マーカを重畳して表示できるので、各カメラの位置を相対的に把握することが可能となる。 According to this modified example, the camera image display areas or the camera position markers of a plurality of cameras can be superimposed and displayed, so it is possible to relatively grasp the position of each camera.

また、本変形例では、背面に表示されるカメラ画像表示領域またはカメラ位置マーカが前面に表示されるカメラ画像表示領域またはカメラ位置マーカに重畳した場合に、背面に表示されるカメラ画像表示領域またはカメラ位置マーカは、見かけ上、表示されないとした。しかし、前面に表示されるカメラ画像表示領域またはカメラ位置マーカに重畳するカメラ画像表示領域またはカメラ位置マーカを点線、半透明などで表示されてもよい。つまり、重畳するカメラ画像表示領域またはカメラ位置マーカは、重畳していないカメラ画像表示領域またはカメラ位置マーカとは異なる態様で表示されてもよい。そして、これらのカメラ画像表示領域またはカメラ位置マーカは、前面に表示されるカメラ画像表示領域またはカメラ位置マーカの上に表示されてもよい。このような構成にすることにより、各カメラの相対的な位置を一目で把握することが可能となる。 Further, in this modification, when the camera image display area or the camera position marker displayed in the back is superimposed on the camera image display area or the camera position marker displayed in the front, the camera image display area or the camera position marker displayed in the back is The camera position marker was apparently not displayed. However, the camera image display area or the camera position marker superimposed on the camera image display area or the camera position marker displayed in front may be displayed with a dotted line, translucency, or the like. That is, the overlapping camera image display area or camera position marker may be displayed in a different manner than the non-overlapping camera image display area or camera position marker. These camera image display areas or camera position markers may then be displayed above the camera image display areas or camera position markers displayed in front. With such a configuration, it is possible to grasp the relative position of each camera at a glance.

また、別の例として、カメラ画像表示領域は重なるがカメラ位置マーカは重ならないことも多いため、カメラ位置マーカとカメラ画像表示領域をそれぞれの重なりに基づいて非同期に所定の順序で表示してもよい。さらには、カメラ位置マーカが常にカメラ画像表示領域よりも上になるように表示を制御してもよいし、カメラ画像表示領域が常にカメラ位置マーカよりも上になるように表示を制御してもよい。 As another example, the camera image display areas overlap but the camera position markers often do not overlap. good. Furthermore, the display may be controlled so that the camera position marker is always above the camera image display area, or the display may be controlled so that the camera image display area is always above the camera position marker. good.

以上説明した各種の処理は、CPUやメモリ等のハードウェアを用いた装置として実現することができるのは勿論のこと、ROM(リード・オンリ・メモリ)やフラッシュメモリ等に記憶されているファームウェアや、コンピュータ等のソフトウェアによっても実現することができる。そのファームウェアプログラム、ソフトウェアプログラムをコンピュータ等で読み取り可能な記録媒体に記録して提供することも、有線あるいは無線のネットワークを通してサーバと送受信することも、地上波あるいは衛星ディジタル放送のデータ放送として送受信することも可能である。 The various types of processing described above can of course be realized as devices using hardware such as CPUs and memories. , can also be implemented by software such as a computer. The firmware program or software program may be recorded on a computer-readable recording medium and provided, transmitted to or received from a server via a wired or wireless network, or transmitted or received as data broadcasting of terrestrial or satellite digital broadcasting. is also possible.

以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。 The present invention has been described above based on the embodiments. It should be understood by those skilled in the art that the embodiments are examples, and that various modifications can be made to combinations of each component and each treatment process, and that such modifications are within the scope of the present invention. .

100 配信サーバサムネイル画像取得部、 110 カメラサムネイル画像取得部、 120 配信サーバ情報取得部、 130 カメラ情報取得部、 140 カメラ位置情報取得部、 150 サムネイル画像選択部、 160 通知情報生成部、 180 地図データ取得部、 190 画面合成部、 200 配信拠点制御部、 210 モニタ、 300 受信部、 400 トランスコード部、 500、501 配信部、 600 ストリーミングサムネイル画像送信部、 700 ストリーミング情報送信部、 800 配信サムネイル画像送信部、 900 地図データ表示領域、 910 カメラ位置マーカ、 920 カメラサムネイル画像表示領域、 930 通知情報表示領域、 940 カメラ情報表示領域、 950 カメラ画像表示領域、 1000、1001 カメラ、 2000 GPS機能搭載ルータ、 3000 配信サーバ、 4000 カメラ位置管理サーバ、 5000 地図データ配信サーバ、 6000 ストリーミング監視装置、 7000、7001 配信拠点。 100 distribution server thumbnail image acquisition unit 110 camera thumbnail image acquisition unit 120 distribution server information acquisition unit 130 camera information acquisition unit 140 camera position information acquisition unit 150 thumbnail image selection unit 160 notification information generation unit 180 map data Acquisition unit 190 Screen synthesis unit 200 Distribution base control unit 210 Monitor 300 Reception unit 400 Transcode unit 500, 501 Distribution unit 600 Streaming thumbnail image transmission unit 700 Streaming information transmission unit 800 Distribution thumbnail image transmission Part 900 Map data display area 910 Camera position marker 920 Camera thumbnail image display area 930 Notification information display area 940 Camera information display area 950 Camera image display area 1000, 1001 Camera 2000 GPS function equipped router 3000 Distribution Server 4000 Camera Position Management Server 5000 Map Data Distribution Server 6000 Streaming Monitoring Device 7000, 7001 Distribution Base.

Claims (4)

撮像装置により撮像された映像のサムネイル画像を地図上に表示させる映像信号を生成する撮影画像表示装置であって、
地図上の撮像装置の撮影位置に対応して設けられる画像表示領域内に撮像装置の映像のサムネイル画像を合成して表示させる映像信号を生成する合成部を備え、
前記合成部は、前記画像表示領域内に複数の撮像装置の撮影位置がある場合、前記画像表示領域を分割して前記複数の撮像装置の映像のサムネイル画像を分割された領域内に表示させる映像信号を生成し、
前記合成部は、前記画像表示領域内に存在する撮像装置の台数が所定数以下の場合、前記画像表示領域を分割して前記複数の撮像装置の映像のサムネイル画像を分割された領域内に表示させる映像信号を生成し、前記画像表示領域内に存在する撮像装置の台数が前記所定数を超える場合、前記複数の撮像装置の映像のサムネイル画像を前記画像表示領域内に所定の順序で切り替えて表示させる映像信号を生成することを特徴とする撮影画像表示装置。
A captured image display device for generating a video signal for displaying a thumbnail image of a video imaged by an imaging device on a map,
a synthesizing unit that generates a video signal for synthesizing and displaying thumbnail images of images of the imaging device in an image display area provided corresponding to the shooting position of the imaging device on the map;
The synthesizing unit divides the image display area and displays thumbnail images of the images of the plurality of imaging apparatuses in the divided areas when shooting positions of a plurality of imaging apparatuses are present in the image display area. generate a video signal,
When the number of imaging devices present in the image display area is equal to or less than a predetermined number, the synthesizing unit divides the image display area and displays thumbnail images of images of the plurality of imaging devices in the divided areas. When the number of imaging devices present in the image display area exceeds the predetermined number, the thumbnail images of the images of the plurality of imaging devices are switched in the image display area in a predetermined order. A captured image display device characterized by generating a video signal to be displayed.
前記合成部は、前記サムネイル画像に前記撮像装置により撮像された映像の伝送品質または前記撮像装置のエラー情報を含む通知情報を前記映像信号に付加し、前記画像表示領域内に複数の撮像装置の撮影位置がある場合、前記複数の撮像装置の内、前記通知情報が存在する撮像装置の映像のサムネイル画像が前記画像表示領域内に表示されるとき、前記通知情報を表示させる映像信号を生成することを特徴とする請求項1に記載の撮影画像表示装置。 The synthesizing unit adds, to the thumbnail image, notification information including transmission quality of the video imaged by the imaging device or error information of the imaging device to the video signal, and a plurality of imaging devices in the image display area. generating a video signal for displaying the notification information when a thumbnail image of an image of an imaging device having the notification information is displayed in the image display area when there is a shooting position. 2. The photographed image display device according to claim 1, wherein: 撮像装置により撮像された映像のサムネイル画像を地図上に表示させる映像信号を生成する撮影画像表示方法であって、A captured image display method for generating a video signal for displaying a thumbnail image of a video imaged by an imaging device on a map,
地図上の撮像装置の撮影位置に対応して設けられる画像表示領域内に撮像装置の映像のサムネイル画像を合成して表示させる映像信号を生成する合成ステップを備え、 a synthesizing step of generating a video signal for synthesizing and displaying a thumbnail image of an image of the imaging device in an image display area provided corresponding to the shooting position of the imaging device on the map;
前記合成ステップは、前記画像表示領域内に複数の撮像装置の撮影位置がある場合、前記画像表示領域を分割して前記複数の撮像装置の映像のサムネイル画像を分割された領域内に表示させる映像信号を生成し、 In the synthesizing step, if there are shooting positions of a plurality of imaging devices in the image display region, the image display region is divided to display thumbnail images of videos of the plurality of imaging devices in the divided regions. generate a signal,
前記合成ステップは、前記画像表示領域内に存在する撮像装置の台数が所定数以下の場合、前記画像表示領域を分割して前記複数の撮像装置の映像のサムネイル画像を分割された領域内に表示させる映像信号を生成し、前記画像表示領域内に存在する撮像装置の台数が前記所定数を超える場合、前記複数の撮像装置の映像のサムネイル画像を前記画像表示領域内に所定の順序で切り替えて表示させる映像信号を生成することを特徴とする撮影画像表示方法。 In the synthesizing step, when the number of imaging devices present in the image display area is equal to or less than a predetermined number, the image display area is divided and thumbnail images of the images of the plurality of imaging devices are displayed in the divided areas. When the number of imaging devices present in the image display area exceeds the predetermined number, the thumbnail images of the images of the plurality of imaging devices are switched in the image display area in a predetermined order. A photographed image display method characterized by generating a video signal to be displayed.
撮像装置により撮像された映像のサムネイル画像を地図上に表示させる映像信号を生成する撮影画像表示プログラムであって、A captured image display program for generating a video signal for displaying a thumbnail image of a video imaged by an imaging device on a map,
地図上の撮像装置の撮影位置に対応して設けられる画像表示領域内に撮像装置の映像のサムネイル画像を合成して表示させる映像信号を生成する合成ステップをコンピュータに実行させ、 causing a computer to execute a synthesizing step of generating a video signal for synthesizing and displaying a thumbnail image of an image of an imaging device in an image display area provided corresponding to a shooting position of the imaging device on a map;
前記合成ステップは、前記画像表示領域内に複数の撮像装置の撮影位置がある場合、前記画像表示領域を分割して前記複数の撮像装置の映像のサムネイル画像を分割された領域内に表示させる映像信号を生成し、 In the synthesizing step, if there are shooting positions of a plurality of imaging devices in the image display region, the image display region is divided to display thumbnail images of videos of the plurality of imaging devices in the divided regions. generate a signal,
前記合成ステップは、前記画像表示領域内に存在する撮像装置の台数が所定数以下の場合、前記画像表示領域を分割して前記複数の撮像装置の映像のサムネイル画像を分割された領域内に表示させる映像信号を生成し、前記画像表示領域内に存在する撮像装置の台数が前記所定数を超える場合、前記複数の撮像装置の映像のサムネイル画像を前記画像表示領域内に所定の順序で切り替えて表示させる映像信号を生成することを特徴とする撮影画像表示プログラム。 In the synthesizing step, when the number of imaging devices present in the image display area is equal to or less than a predetermined number, the image display area is divided and thumbnail images of the images of the plurality of imaging devices are displayed in the divided areas. When the number of imaging devices present in the image display area exceeds the predetermined number, the thumbnail images of the images of the plurality of imaging devices are switched in the image display area in a predetermined order. A photographed image display program characterized by generating a video signal to be displayed.

JP2018167795A 2017-09-27 2018-09-07 Captured image display device, captured image display method, and captured image display program Active JP7234545B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US16/142,286 US10917604B2 (en) 2017-09-27 2018-09-26 Captured image display device, captured image display method, and captured image display program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017186446 2017-09-27
JP2017186446 2017-09-27

Publications (2)

Publication Number Publication Date
JP2019062530A JP2019062530A (en) 2019-04-18
JP7234545B2 true JP7234545B2 (en) 2023-03-08

Family

ID=66178648

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018167795A Active JP7234545B2 (en) 2017-09-27 2018-09-07 Captured image display device, captured image display method, and captured image display program

Country Status (1)

Country Link
JP (1) JP7234545B2 (en)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003244683A (en) 2002-02-13 2003-08-29 Toshiba Corp Remote monitor system and program
JP2003259345A (en) 2001-12-28 2003-09-12 Hitachi Kokusai Electric Inc Compressed video image transmission method and apparatus therefor
JP2012142825A (en) 2011-01-05 2012-07-26 Sony Corp Information processing apparatus, information display method and computer program

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3703229B2 (en) * 1995-12-19 2005-10-05 キヤノン株式会社 Camera control system and method, and storage medium
JP2011071736A (en) * 2009-09-25 2011-04-07 Canon Inc Information processor and information processing method

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003259345A (en) 2001-12-28 2003-09-12 Hitachi Kokusai Electric Inc Compressed video image transmission method and apparatus therefor
JP2003244683A (en) 2002-02-13 2003-08-29 Toshiba Corp Remote monitor system and program
JP2012142825A (en) 2011-01-05 2012-07-26 Sony Corp Information processing apparatus, information display method and computer program

Also Published As

Publication number Publication date
JP2019062530A (en) 2019-04-18

Similar Documents

Publication Publication Date Title
CN106068495B (en) Streaming multiple encodings encoded using different encoding parameters
US20140307046A1 (en) Live Panoramic Image Capture and Distribution
CN102342066A (en) REAL-TIME MULTI-MEDIA STREAMING processing BANDWIDTH MANAGEMENT
US20110090970A1 (en) Terminal and relay node for video conference system
KR20180009725A (en) Method and apparatus for providing 360 degree virtual reality broadcasting services
JP2007325109A (en) Distribution server, network camera, distribution method, and program
US10917604B2 (en) Captured image display device, captured image display method, and captured image display program
WO2019048733A1 (en) Transmission of video content based on feedback
US20140111611A1 (en) Method and system for encoding multi-view video content
US20120219052A1 (en) Picture transmission device, picture transmission method, and program
Adeyemi-Ejeye et al. Impact of packet loss on 4K UHD video for portable devices
US9948903B2 (en) Method for configuration of video stream output from a digital video camera
US20100260272A1 (en) Transmission apparatus and transmission method
JP6844480B2 (en) Video data streaming monitoring equipment, methods and programs, as well as terminal equipment and video data streaming monitoring systems
JP7234545B2 (en) Captured image display device, captured image display method, and captured image display program
KR20170130883A (en) Method and apparatus for virtual reality broadcasting service based on hybrid network
CN110945864B (en) Transmission device, transmission method, reception device, reception method, and imaging device
WO2017180439A1 (en) System and method for fast stream switching with crop and upscale in client player
JP5353837B2 (en) COMMUNICATION DEVICE, COMMUNICATION METHOD, AND COMMUNICATION PROGRAM
JP7296219B2 (en) Receiving device, transmitting device, and program
JP2006333266A (en) Video communication equipment, video distribution server, bidirectional video communication system and program
JP7466042B1 (en) Information processing system, information processing device, and information processing method
CN113315932B (en) Cloud rebroadcasting platform, unmanned hybrid interview system and method
JP7037331B2 (en) Data distribution system and distribution control device
JP2007274593A (en) Video image receiver, video image distribution system, and method of receiving video image

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201225

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220114

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220118

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220315

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220802

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220930

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230124

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230206

R150 Certificate of patent or registration of utility model

Ref document number: 7234545

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150