JP2013255041A - Image distribution apparatus, information processing apparatus, control method of them, and program - Google Patents

Image distribution apparatus, information processing apparatus, control method of them, and program Download PDF

Info

Publication number
JP2013255041A
JP2013255041A JP2012128405A JP2012128405A JP2013255041A JP 2013255041 A JP2013255041 A JP 2013255041A JP 2012128405 A JP2012128405 A JP 2012128405A JP 2012128405 A JP2012128405 A JP 2012128405A JP 2013255041 A JP2013255041 A JP 2013255041A
Authority
JP
Japan
Prior art keywords
image
information
osd
cut
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2012128405A
Other languages
Japanese (ja)
Inventor
Shinichi Matsumoto
真一 松本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2012128405A priority Critical patent/JP2013255041A/en
Publication of JP2013255041A publication Critical patent/JP2013255041A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Studio Devices (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide a technique of displaying a readable OSD character without damaging the content of a monitor image in an image distribution apparatus such as a network camera provided with an image cut-out function and an OSD character display function.SOLUTION: The image distribution apparatus comprises: a cut out unit which cuts out a portion of an image; a superimposition unit which superimposes on-screen display (OSD) information on the cut-out image cut out by the cut out unit; and a distribution unit which codes the cut-out image or the superimposition image obtained by superimposing the OSD information by the superimposition unit and distributes the image. The superimposition unit does not superimpose the OSD information on the cut-out image if determining that the OSD information cannot be read if the OSD information is superimposed on the cut-out image, from size setting information of the cut-out image and image quality setting information.

Description

本発明は、画像配信装置、情報処理装置、それらの制御方法、およびプログラムに関し、特に、画像に任意の文字や記号等の画像を重畳表示するOSD(オンスクリーンディスプレイ)技術に関する。   The present invention relates to an image distribution apparatus, an information processing apparatus, a control method thereof, and a program, and more particularly, to an OSD (On Screen Display) technique for displaying an image such as an arbitrary character or symbol superimposed on an image.

撮影画像に文字や記号などを重畳して配信画像を作成し、ネットワークに配信するOSD(オンスクリーンディスプレイ)機能を備えているネットワークカメラが知られている。また、近年の撮影画像の高画解像度化の進展に伴い、広角で撮影した画像に対してユーザが指定した任意の領域の画像のみを配信する切り出し機能を備えるネットワークカメラも知られている。   A network camera having an OSD (on-screen display) function for creating a distribution image by superimposing characters and symbols on a captured image and distributing the image to a network is known. A network camera having a clipping function for distributing only an image in an arbitrary area designated by a user with respect to an image photographed at a wide angle is also known with the progress of high resolution of the photographed image in recent years.

ネットワークカメラから撮影画像を受信して表示するビューワーを用いて配信画像を見る場合は、切り出し画像に対してもOSD文字が表示されていることが望ましい。しかしながら、切り出し画像が小さい場合はOSD文字を重畳すると画像情報を必要以上に隠してしまうことになる。また、OSD文字フォントを切り出し画像のサイズに合わせて小さくすると、切り出し画像のサイズによっては文字の判読ができなくなるという問題がある。   When viewing a distribution image using a viewer that receives and displays a captured image from a network camera, it is desirable that OSD characters are also displayed on the clipped image. However, if the cut-out image is small, superimposing OSD characters will hide image information more than necessary. In addition, if the OSD character font is reduced to match the size of the clipped image, there is a problem that the character cannot be read depending on the size of the clipped image.

例えば、図6は、OSD文字の表示例である。OSD機能によって、撮影画像601に対してOSD文字602が重畳されている。図6のように、撮影された日付、時刻、カメラ名などを重畳することにより、画像を再生する際に撮影時の情報を確認することが可能となる。また撮影画像603は、撮影画像601よりサイズが小さい撮影画像の例である。撮影画像603に重畳されるOSD文字604からわかるように、撮影画像のサイズが小さくなると、OSD文字によって画像を必要以上に隠すことにならないように、OSD文字のフォント自体も小さくなっている。したがって、画像サイズがさらに小さくなりフォントサイズが小さくなると、ある段階で文字の判読ができなくなってしまうものである。   For example, FIG. 6 is a display example of OSD characters. The OSD character 602 is superimposed on the captured image 601 by the OSD function. As shown in FIG. 6, by superimposing the date, time, camera name, etc. taken, it becomes possible to confirm information at the time of photographing when reproducing an image. The captured image 603 is an example of a captured image that is smaller in size than the captured image 601. As can be seen from the OSD characters 604 superimposed on the photographed image 603, when the size of the photographed image is reduced, the OSD character font itself is also reduced so that the image is not hidden more than necessary by the OSD characters. Therefore, if the image size is further reduced and the font size is reduced, the character cannot be read at a certain stage.

こうした問題を解決するために、切り出し画像をカメラ内で所定のサイズに拡大し、拡大画像に対してOSD文字を重畳するという方法が行われているが、拡大画像はデータサイズが大きくなるため、配信する際にネットワーク帯域を圧迫するという問題がある。   In order to solve such a problem, a method of enlarging a cutout image to a predetermined size in the camera and superimposing OSD characters on the enlarged image is performed, but the enlarged image has a large data size. There is a problem of squeezing the network bandwidth during distribution.

一方で、ビューワーにおいてOSD機能が実行される場合は、ユーザがOSD文字の表示/非表示を選択できる機能を提供する技術、OSD情報が複雑な場合にはOSD文字の代わりに記号など簡略化した情報を表示するような技術も提案されている。特許文献1では、所定のサイズより小さい画像を表示する場合には、そのサイズに応じて、重畳されるべき文字を選択したり、線画のデータを表示するかどうかを選択したりする技術、あるいは記号データなどを代わりに重畳して表示する技術が開示されている。この場合、撮影画像を表示する際にデータの重畳を行うため、表示画像の拡大、縮小サイズのみを考慮して重畳の有無を判定すればよい。   On the other hand, when the OSD function is executed in the viewer, a technique for providing a function that allows the user to select whether or not to display the OSD character, and when OSD information is complicated, a symbol is simplified instead of the OSD character. Techniques for displaying information have also been proposed. In Patent Document 1, when displaying an image smaller than a predetermined size, a technique for selecting a character to be superimposed or selecting whether to display line drawing data according to the size, or A technique for superimposing and displaying symbol data or the like instead is disclosed. In this case, since the data is superimposed when the captured image is displayed, the presence / absence of the superposition may be determined in consideration of only the enlargement / reduction size of the display image.

特開2007−282279号公報JP 2007-282279 A

しかしながら、特許文献1に記載の技術を用いても、ネットワークカメラ等の画像配信装置では撮影時にOSD文字を重畳して符号化して配信するため、符号化圧縮率などの映像品位設定によってOSD文字の判読に影響を及ぼす。そのため、単に画像サイズのみで文字の重畳の有無を判定することはできないという課題がある。   However, even if the technique described in Patent Document 1 is used, an image distribution apparatus such as a network camera superimposes and encodes an OSD character at the time of shooting, so that the OSD character can be set according to a video quality setting such as an encoding compression rate. Affects interpretation. For this reason, there is a problem that it is impossible to determine whether or not characters are superimposed only by the image size.

上記の課題に鑑み、本発明は、画像切り出し機能とOSD文字表示機能とを備えたネットワークカメラ等の画像配信装置において、監視映像の内容を損なわず、かつ判読可能なOSD文字を表示する技術を提供することを目的とする。   In view of the above-described problems, the present invention provides a technology for displaying readable OSD characters without losing the contents of a monitoring video in an image distribution apparatus such as a network camera having an image cutout function and an OSD character display function. The purpose is to provide.

上記の目的を達成する本発明に係る画像配信装置は、
画像の一部を切り出す切り出し手段と、
前記切り出し手段により切り出された切り出し画像にオンスクリーンディスプレイ(OSD)情報を重畳する重畳手段と、
前記切り出し画像または前記重畳手段によりOSD情報が重畳された重畳画像を符号化して配信する配信手段と、を備え、
前記重畳手段は、前記切り出し画像のサイズ設定情報と、画質設定情報とに基づいて、前記OSD情報を前記切り出し画像に重畳した場合に、当該OSD情報が判読できないと判定される場合、前記切り出し画像に前記OSD情報を重畳しないことを特徴とする。
An image distribution apparatus according to the present invention that achieves the above object is as follows.
Clipping means for cutting out a part of an image;
Superimposing means for superimposing on-screen display (OSD) information on the cut-out image cut out by the cut-out means;
Distribution means for encoding and distributing the clipped image or the superimposed image on which the OSD information is superimposed by the superimposing means,
When the OSD information is determined to be unreadable when the OSD information is superimposed on the clipped image based on the size setting information and the image quality setting information of the clipped image, The OSD information is not superimposed on the.

本発明によれば、切り出し画像に対してもOSD表示を行う際に、判読できないOSD文字を無駄に重畳することがなくなるため、撮影画像の品位を保ちつつ可能な限り関連情報の伝達が可能となり、映像監視の効率を大幅に向上することが可能になる。   According to the present invention, when OSD display is performed also on a cut-out image, OSD characters that cannot be read are not superposed unnecessarily, and related information can be transmitted as much as possible while maintaining the quality of the captured image. This makes it possible to greatly improve the efficiency of video surveillance.

第1実施形態に係るネットワーク撮影システムの接続形態の例を示す図。The figure which shows the example of the connection form of the network imaging | photography system which concerns on 1st Embodiment. 第1実施形態に係るネットワーク撮影装置の外観図。1 is an external view of a network imaging device according to a first embodiment. 第1実施形態に係るネットワーク撮影装置の構成例を示す図。1 is a diagram illustrating a configuration example of a network imaging device according to a first embodiment. 第1実施形態に係るネットワーク撮影装置(画像配信装置)が実施する処理の手順を示すフローチャート。6 is a flowchart showing a procedure of processing performed by the network imaging device (image distribution device) according to the first embodiment. 第1実施形態に係る切出しサイズおよび画質設定の組み合わせと、当該組み合わせについてOSD重畳を行うか否かのフラグ情報とを記述したテーブルの一例を示す図。The figure which shows an example of the table which described the combination of the cutting size and image quality setting which concerns on 1st Embodiment, and the flag information of whether to perform OSD superimposition about the said combination. 撮影画像へのOSD文字の表示例を示す図。The figure which shows the example of a display of the OSD character to a picked-up image. 第2実施形態に係るネットワーク撮影装置(画像配信装置)が実施する処理の手順を示すフローチャート。9 is a flowchart showing a procedure of processing performed by a network imaging device (image distribution device) according to a second embodiment. 第2実施形態に係るOSD文字コードデータが埋め込まれたJPEGヘッダの構成例を示す図。The figure which shows the structural example of the JPEG header in which the OSD character code data which concern on 2nd Embodiment were embedded. 第3実施形態に係るネットワーク撮影装置(画像配信装置)が実施する処理の手順を示すフローチャート。9 is a flowchart showing a procedure of processing performed by a network imaging device (image distribution device) according to a third embodiment. 第4実施形態に係る切出された画像の表示例を示す図。The figure which shows the example of a display of the cut-out image which concerns on 4th Embodiment. 第5実施形態に係る映像ビューワー装置において切出し画像領域を指定する場合に使用されるUI表示例を示す図。The figure which shows the example of UI display used when the clipped image area | region is designated in the video viewer apparatus which concerns on 5th Embodiment. 第5実施形態に係る映像ビューワー装置において切出し画像領域を指定する場合に使用される別のUI表示例を示す図。The figure which shows another UI display example used when the clipped image area | region is designated in the video viewer apparatus which concerns on 5th Embodiment. 第6実施形態に係る映像ビューワー装置において切出し画像領域を指定する場合に使用されるUI表示例を示す図。The figure which shows the example of UI display used when the clipped image area | region is designated in the video viewer apparatus which concerns on 6th Embodiment. 第6実施形態に係る映像ビューワー装置が実施する処理の手順を示すフローチャート。The flowchart which shows the procedure of the process which the image | video viewer apparatus concerning 6th Embodiment implements.

(第1実施形態)
図1を参照して、第1実施形態に係るネットワーク撮影システムの接続形態の例を説明する。図1では、ネットワーク撮影装置101−104が、LAN回線105を通じてインターネット106へ接続されている。各ネットワーク撮影装置101−104により撮影された映像データは、LAN回線105を経由してインターネット106からクライアントである映像ビューワー装置(情報処理装置)107−108、録画サーバー装置109へ配信される。なお、ネットワーク撮影装置101−104は、画像の撮影と、撮影した画像の配信を行うが、画像の撮影を行う撮影装置と、画像の配信を行う画像配信装置を、別の装置に分けてもよい。
(First embodiment)
With reference to FIG. 1, the example of the connection form of the network imaging | photography system which concerns on 1st Embodiment is demonstrated. In FIG. 1, network photographing apparatuses 101-104 are connected to the Internet 106 through a LAN line 105. Video data captured by each network imaging device 101-104 is distributed from the Internet 106 to the video viewer devices (information processing devices) 107-108 and the recording server device 109, which are clients, via the LAN line 105. The network imaging device 101-104 captures an image and distributes the captured image. However, the image capturing device that captures an image and the image distribution device that distributes the image may be separated into different devices. Good.

映像ビューワー装置(情報処理装置)107−108は、LAN回線110に接続されているクライアントである。映像ビューワー装置107−108は、例えばパーソナルコンピュータ(PC)上で動作するアプリケーションや家庭用デジタルTV、移動体端末などを含んでいる。映像ビューワー装置107−108は、ネットワーク撮影装置101−104から配信された映像データをリアルタイムに再生、表示する機能に加えて、ネットワーク撮影装置101−104に対して撮影条件設定やパン・チルト・ズーム操作などの撮像制御を行うためのUI(ユーザ・インタフェース)機能を有している。   Video viewer devices (information processing devices) 107 to 108 are clients connected to the LAN line 110. The video viewer devices 107-108 include, for example, an application that operates on a personal computer (PC), a home digital TV, a mobile terminal, and the like. In addition to the function of reproducing and displaying the video data distributed from the network imaging device 101-104 in real time, the video viewer device 107-108 performs shooting condition setting and pan / tilt / zoom for the network imaging device 101-104. It has a UI (user interface) function for performing imaging control such as operation.

録画サーバー装置109は、LAN回線110に接続されており、ネットワーク撮影装置101−104から配信された映像データを内蔵のハードディスクに常時記録している。録画サーバー装置109は、サーバーPCで動作する専用録画アプリケーションで構成されるものや専用ハードウェアとなっているものがある。また、録画サーバー装置109で録画されているデータをネットワークに配信して、映像ビューワー装置107−108で再生、表示することも可能である。   The recording server device 109 is connected to the LAN line 110 and constantly records video data distributed from the network imaging devices 101-104 on a built-in hard disk. The recording server device 109 includes a dedicated recording application that runs on a server PC and a dedicated hardware. It is also possible to distribute the data recorded by the recording server device 109 to the network and reproduce and display it by the video viewer devices 107-108.

このネットワーク撮影システムにおいて、ネットワーク撮影装置101−104の撮影方向をユーザが制御する場合、通常クライアントであるビューワー装置107−108からの操作によって、操作コマンドがLAN回線110、インターネット106、LAN回線105を経由してネットワーク撮影装置101−104へ送られ、この操作コマンドに従ってパン、チルト、ローテーションの各動作が実行されることになる。   In this network photographing system, when the user controls the photographing direction of the network photographing device 101-104, an operation command is sent to the LAN line 110, the Internet 106, and the LAN line 105 by an operation from the viewer device 107-108 which is a normal client. Via the operation command, pan, tilt, and rotation operations are executed.

次に図2を参照して、第1実施形態に係るネットワーク撮影装置101−104の詳細を説明する。ネットワーク撮影装置101−104は、レンズ部201と、ドーム部202と、カメラベース部203とを有している。レンズ部201は、パン、チルト、ローテーション機構を備えている。ドーム部202は、レンズ部201を保護するための透明のドームカバーである。カメラベース部203は、レンズ部201を支持する。   Next, with reference to FIG. 2, details of the network imaging devices 101 to 104 according to the first embodiment will be described. The network photographing apparatuses 101 to 104 include a lens unit 201, a dome unit 202, and a camera base unit 203. The lens unit 201 includes a pan, tilt, and rotation mechanism. The dome part 202 is a transparent dome cover for protecting the lens part 201. The camera base unit 203 supports the lens unit 201.

動作軌跡204はパンの動作方向を示しており、カメラベース部203の上部が回転することでレンズ部201そのものが回転する機構となっている。動作軌跡205はチルト動作方向を示しており、レンズ部201の両端で支持する部分に回転機構が備わっており、水平方向から垂直方向までのレンズ部201の移動が可能となる。動作軌跡206はローテーション動作方向を示しており、レンズ内部の回転機構により撮影画像の回転が可能となる。   An operation trajectory 204 indicates the pan operation direction, and the lens unit 201 itself rotates as the upper part of the camera base unit 203 rotates. An operation trajectory 205 indicates a tilt operation direction, and a rotation mechanism is provided at portions supported at both ends of the lens unit 201, so that the lens unit 201 can be moved from the horizontal direction to the vertical direction. An operation trajectory 206 indicates a rotation operation direction, and a captured image can be rotated by a rotation mechanism inside the lens.

図3を参照して、第1実施形態に係るネットワーク撮影装置101−104の内部構成例を説明する。ネットワーク撮影装置101−104は、レンズ部301と、CCD部302と、信号処理部303と、オンスクリーンディスプレイ(OSD)処理部304と、符号化部305と、通信処理部306と、カメラ制御部307と、モーター駆動部308と、パン・チルト・ローテーションモーター309と、レンズ駆動部310と、CPU311と、ROM312と、RAM313と、画像切り出し部314とを備えている。なお、ネットワーク撮影装置101−104は、画像の撮影と、撮影した画像の配信を行うが、画像の撮影を行う撮影装置と、画像の配信を行う画像配信装置を、別の装置に分けてもよい。   With reference to FIG. 3, an example of the internal configuration of the network imaging device 101-104 according to the first embodiment will be described. The network imaging device 101-104 includes a lens unit 301, a CCD unit 302, a signal processing unit 303, an on-screen display (OSD) processing unit 304, an encoding unit 305, a communication processing unit 306, and a camera control unit. 307, a motor driving unit 308, a pan / tilt / rotation motor 309, a lens driving unit 310, a CPU 311, a ROM 312, a RAM 313, and an image clipping unit 314. The network imaging device 101-104 captures an image and distributes the captured image. However, the image capturing device that captures an image and the image distribution device that distributes the image may be separated into different devices. Good.

以下、ネットワーク撮影装置101−104で撮影された映像データが、LAN回線105へ配信されるまでの処理を説明する。レンズ部301から取り込まれた光学映像は、CCD部302でRGBデジタルデータに変換された後、信号処理部303へ送られる。信号処理部303は、RGBデジタルデータを、YCbCr4:2:0フォーマットまたはYCbCr4:2:2フォーマットのデジタルデータに変換する処理、要求された送信映像の画像サイズへの変換処理、各種フィルター処理などを行う。処理された撮影画像データ(全領域画像データ)は、OSD処理部304あるいは画像切出し部314へ送られる。   Hereinafter, processing until video data captured by the network imaging apparatus 101-104 is distributed to the LAN line 105 will be described. The optical image captured from the lens unit 301 is converted into RGB digital data by the CCD unit 302 and then sent to the signal processing unit 303. The signal processing unit 303 performs processing for converting RGB digital data into digital data in YCbCr4: 2: 0 format or YCbCr4: 2: 2 format, conversion processing to a requested transmission video image size, various filter processing, and the like. Do. The processed captured image data (entire area image data) is sent to the OSD processing unit 304 or the image cutout unit 314.

画像切り出し部314は、信号処理部303から送られてきた撮影画像からユーザが指定した一部の領域を切り出す切出し処理を行い、切出し画像を生成する。この切出し画像は、OSD処理部304へ送られる。OSD処理部304は、ユーザが設定したOSD文字や記号についてOSD画像データを生成し、さらに信号処理部303または画像切り出し部314から入力された画像データにOSD画像データを重畳して重畳画像データを生成する処理を行う。   The image cutout unit 314 performs a cutout process of cutting out a part of the area specified by the user from the captured image sent from the signal processing unit 303, and generates a cutout image. This cut-out image is sent to the OSD processing unit 304. The OSD processing unit 304 generates OSD image data for the OSD characters and symbols set by the user, and further superimposes the OSD image data on the image data input from the signal processing unit 303 or the image clipping unit 314 to generate the superimposed image data. Generate the process.

符号化部305は、OSD処理部304から取得した重畳画像データを、MPEG4フォーマット、またはJPEGフォーマットへ符号化圧縮する処理を実行する。符号化部305で生成されたMPEG4の動画ストリームデータまたは各JPEG静止画像データは、通信処理部306へ送られる。通信処理部306は、TCP/IP、HTTPあるいはRTPなどのネットワークプロトコルに従って、LAN回線105を経由して各クライアントへ当該データを配信する。   The encoding unit 305 executes processing for encoding and compressing the superimposed image data acquired from the OSD processing unit 304 into the MPEG4 format or the JPEG format. The MPEG4 moving image stream data or each JPEG still image data generated by the encoding unit 305 is sent to the communication processing unit 306. The communication processing unit 306 distributes the data to each client via the LAN line 105 according to a network protocol such as TCP / IP, HTTP, or RTP.

カメラ制御部307は、モーター駆動部308と、レンズ駆動部310とを制御する。カメラ制御部307は、後述のCPU311からの指示に従ってパン、チルト、ローテーション動作のための制御信号や、ズームやAF(オートフォーカス)動作のための制御信号を出力する。   The camera control unit 307 controls the motor driving unit 308 and the lens driving unit 310. The camera control unit 307 outputs control signals for panning, tilting, and rotation operations and control signals for zooming and AF (autofocus) operations in accordance with instructions from the CPU 311 described later.

モーター駆動部308は、モーター駆動回路などを備えており、カメラ制御部307から取得した制御信号に従ってパン・チルト・ローテーションモーター309を駆動し、モーターの回転によってカメラの撮影方向を変えることができる。レンズ駆動部310は、ズーム、AFなどの各制御を行うためのモーターと、モーター駆動回路とを備えていて、カメラ制御部307から取得した制御信号に従って、ズーム、AFなどの制御を行う。   The motor drive unit 308 includes a motor drive circuit and the like, and can drive the pan / tilt / rotation motor 309 in accordance with a control signal acquired from the camera control unit 307 and change the shooting direction of the camera by the rotation of the motor. The lens driving unit 310 includes a motor for performing various controls such as zoom and AF, and a motor drive circuit, and controls zoom and AF according to a control signal acquired from the camera control unit 307.

CPU311は中央演算処理装置であり、ROM(リードオンリーメモリ)312に格納されている制御プログラムコードを実行することで、ネットワーク撮影装置全体の動作を制御する。CPU311には、ROM312、RAM(ランダムアクセスメモリ)313が接続されている。またCPU311は、信号処理部303、画像切出し部314、OSD処理部304、符号化部305、通信処理部306とも接続されており、CPU311は、各モジュールに対して動作の開始・停止、動作条件の設定、動作結果の取得などを実行することで各モジュールの制御を行う。   The CPU 311 is a central processing unit, and controls the operation of the entire network photographing apparatus by executing control program codes stored in a ROM (read only memory) 312. A ROM 312 and a RAM (random access memory) 313 are connected to the CPU 311. The CPU 311 is also connected to the signal processing unit 303, the image cropping unit 314, the OSD processing unit 304, the encoding unit 305, and the communication processing unit 306. The CPU 311 starts / stops the operation for each module and the operating conditions. Control of each module is performed by executing the setting and acquisition of operation results.

ROM312は、CPU311がアプリケーション処理などネットワーク撮影装置の制御を行うためのプログラムコードやデータを格納する。RAM313は、CPU311がROM312に記憶されているプログラムを読み出して実行する際に、データの書き込み、読み出しを行うメモリである。RAM313は、CPU311がネットワーク撮影装置の制御プログラム実行時に使用するワークエリア、一時退避エリアなどを備えている。   The ROM 312 stores program codes and data for the CPU 311 to control the network imaging device such as application processing. The RAM 313 is a memory for writing and reading data when the CPU 311 reads and executes a program stored in the ROM 312. The RAM 313 includes a work area, a temporary save area, and the like that are used by the CPU 311 when executing the control program of the network imaging device.

次に図4のフローチャートを参照して、画像を配信する画像配信装置であるネットワーク撮影装置のCPU311の処理手順を説明する。   Next, a processing procedure of the CPU 311 of the network imaging device, which is an image distribution device that distributes images, will be described with reference to the flowchart of FIG.

S401において、CPU311は、ユーザが設定した切出し領域情報を取得する処理を行う。領域情報の取得は、クライアントであるビューワー装置107、108等により事前に設定されていればその設定値を記憶しておいて、記憶した設定値を読み出すことにより行ってもよく、また、ユーザが切出し領域情報を設定したビューワー装置107、108に対して改めて問い合わせてもよい。   In step S <b> 401, the CPU 311 performs processing for acquiring cutout area information set by the user. The acquisition of the area information may be performed by storing the setting value if it is set in advance by the viewer devices 107 and 108 as clients, and reading the stored setting value. An inquiry may be made again to the viewer devices 107 and 108 in which the cut-out area information is set.

S402において、CPU311は、映像品位設定値(画質設定情報)、例えば符号化の圧縮率の値を取得する処理を行う。S403において、CPU311は、S401で取得した切出し領域情報から得られる切出し画像サイズ(サイズ設定情報)と、S402で取得した映像品位設定値(画質設定情報)とに基づいて、当該切出し画像サイズについて、切出し画像に重畳されるOSD文字が判読可能な組み合わせであるか否かを判定する。OSD文字が判読可能な組み合わせであると判定された場合(S403;YES)、S404へ進む。一方、OSD文字が判読不可能な組み合わせであると判定された場合(S403;NO)、S405へ進む。   In step S <b> 402, the CPU 311 performs processing for obtaining a video quality setting value (image quality setting information), for example, a value of an encoding compression rate. In S403, the CPU 311 determines the extracted image size based on the extracted image size (size setting information) obtained from the extracted area information acquired in S401 and the video quality setting value (image quality setting information) acquired in S402. It is determined whether or not the OSD character superimposed on the cut-out image is a readable combination. When it is determined that the OSD character is a readable combination (S403; YES), the process proceeds to S404. On the other hand, when it is determined that the OSD character is an unreadable combination (S403; NO), the process proceeds to S405.

当該判定処理は、あらかじめ決められた組み合わせデータをテーブルとしてカメラ内部に保持しておき、その組み合わせデータと合致するか否かをチェックすることにより行ってもよく、各種取得情報からの計算値が所定の規定値を超えるか否かをチェックすることにより行ってもよい。このテーブルの一例について図5を参照して説明する。   The determination process may be performed by holding predetermined combination data as a table in the camera and checking whether the combination data matches the calculated data. This may be done by checking whether or not the specified value is exceeded. An example of this table will be described with reference to FIG.

図5は、切出しサイズと画質設定との各組み合わせに対して、OSD重畳を行うかどうかを記述したテーブルの例を示す。図5に示される例では、切出しサイズ501として、1280×960、640×480、320×240、160×120の4種類の画像解像度を有している。画質設定502としては、「1」から「5」までの5段階を有しており、数字が大きくなるにしたがって高画質、つまり圧縮率が低くなるような符号化設定となっている。   FIG. 5 shows an example of a table describing whether or not OSD superimposition is performed for each combination of the cut-out size and the image quality setting. In the example shown in FIG. 5, the cutout size 501 has four types of image resolutions of 1280 × 960, 640 × 480, 320 × 240, and 160 × 120. The image quality setting 502 has five stages from “1” to “5”, and is an encoding setting in which the higher the number, the higher the image quality, that is, the lower the compression rate.

フラグ503は、切出しサイズ501と画質設定502とのそれぞれの組み合わせについて、OSD重畳された文字が判読できるかどうか、つまり重畳処理を行うかどうかを表すためのフラグである。ここで、「1」はOSD重畳を行うことを示しており、「0」はOSD重畳を行わないことを示している。例えば、切出しサイズ501が1280×960においては、画質設定502が「1」〜「5」の全てに対してフラグ503が「1」となっており、これらの組み合わせ全てでOSD重畳を行う。切出しサイズ501が640×480においては、画質設定502が「2」〜「5」に対してフラグ503が「1」となっており、これらの組み合わせについてOSD重畳を行う。切出しサイズ501が320×240においては、画質設定502が「3」〜「5」に対してフラグ503が「1」となっており、これらの組み合わせについてOSD重畳を行う。切出しサイズ501が160×120においては、画質設定502がいずれの値に対してもフラグ503が「0」となっており、OSD重畳を行わない。   The flag 503 is a flag for indicating whether or not the OSD superimposed character can be read, that is, whether or not to perform the superimposition process, for each combination of the cutout size 501 and the image quality setting 502. Here, “1” indicates that OSD superimposition is performed, and “0” indicates that OSD superimposition is not performed. For example, when the cutout size 501 is 1280 × 960, the flag 503 is “1” for all of the image quality settings 502 “1” to “5”, and OSD superimposition is performed with all of these combinations. When the cutout size 501 is 640 × 480, the image quality setting 502 is “2” to “5”, the flag 503 is “1”, and OSD superimposition is performed for these combinations. When the cutout size 501 is 320 × 240, the image quality setting 502 is “3” to “5”, the flag 503 is “1”, and OSD superimposition is performed for these combinations. When the cutout size 501 is 160 × 120, the flag 503 is “0” for any value of the image quality setting 502, and OSD superimposition is not performed.

このテーブルで表されるように、画質設定値が高く(「5」に近く)高画質の画像に対しては切出しサイズが小さくなってもOSD表示の判読性も高くなるため、重畳処理を行う組み合わせを増やしていることがわかる。   As shown in this table, for high-quality images with high image quality setting values (close to “5”), the OSD display is highly readable even when the cut-out size is small, and therefore superimposition processing is performed. You can see that the number of combinations is increasing.

図4のフローチャートに戻り、S404において、CPU311は、OSD処理部304を制御してOSD文字の重畳制御を行う指示を実行する。S405において、CPU311は、OSD処理部304を制御してOSD文字の重畳を行わない指示を実行する。すなわち、CPU311は、OSD情報を切り出し画像に重畳した場合に、OSD情報が判読できないと判定される場合、切り出し画像にOSD情報を重畳しないことを指示する。以上で図4のフローチャートの各処理が終了する。   Returning to the flowchart of FIG. 4, in step S <b> 404, the CPU 311 controls the OSD processing unit 304 to execute an instruction to perform OSD character superimposition control. In step S405, the CPU 311 controls the OSD processing unit 304 to execute an instruction not to superimpose OSD characters. In other words, when the OSD information is superimposed on the cutout image and the OSD information is determined to be unreadable, the CPU 311 instructs the OSD information not to be superimposed on the cutout image. Thus, the processes in the flowchart of FIG. 4 are completed.

以上説明したように、本実施形態によれば、切り出し画像に対してもOSD表示を行う際に、判読できないOSD文字を無駄に重畳することがなくなるため、撮影画像の品位を保ちつつ可能な限り関連情報の伝達が可能となり、映像監視の効率を大幅に向上することが可能となる。   As described above, according to the present embodiment, when OSD display is performed on a cut-out image, OSD characters that cannot be read are not superimposed unnecessarily, so that the quality of the captured image is maintained as much as possible. Related information can be transmitted, and the efficiency of video surveillance can be greatly improved.

(第2実施形態)
第1実施形態では、切出し画像サイズと画質設定との組み合わせ条件によって無駄なOSD重畳を行わないようにする構成について説明した。しかしながら、ユーザによっては何れの画像サイズに関してもOSD情報を必要とする場合もある。そこで、第2実施形態では、何れの切出し画像に関してもOSD情報を伝える構成について説明する。なお、本実施形態に係るネットワーク撮影装置の構成は、第1実施形態で説明した構成と同様であるため、説明を省略する。
(Second Embodiment)
In the first embodiment, a configuration has been described in which useless OSD superposition is not performed depending on the combination condition of the cut-out image size and the image quality setting. However, some users may require OSD information for any image size. Therefore, in the second embodiment, a configuration for transmitting OSD information for any cut image will be described. Note that the configuration of the network imaging device according to the present embodiment is the same as the configuration described in the first embodiment, and a description thereof will be omitted.

図7のフローチャートを参照して、第2実施形態に係るネットワーク撮影装置が実施する処理の手順を説明する。なお、このネットワーク撮影装置は、撮影した画像を配信する画像配信装置である。図7において、S701−S705の各処理は、第1実施形態において、図4を参照して説明したS401−S405の各処理と同じであるため、説明を省略する。   With reference to the flowchart of FIG. 7, the procedure of the process which the network imaging device which concerns on 2nd Embodiment implements is demonstrated. This network imaging device is an image distribution device that distributes a captured image. In FIG. 7, the processes of S701 to S705 are the same as the processes of S401 to S405 described with reference to FIG. 4 in the first embodiment, and thus description thereof is omitted.

S703においてOSD文字が判読できない組み合わせであると判定され、S705においてOSD文字の重畳を行わないような指示がなされた場合は、さらに、S706において、CPU311は、画像データのヘッダ領域(例えばJPEGヘッダ)にOSD文字コードのデータを埋め込む処理を実行する。すなわち、CPU311は、OSD情報を判読不可能であると判定される場合、切り出し画像の配信データの一部にOSD情報のデータを埋め込む。OSD文字の重畳はなされないが、ユーザはOSD文字コード情報を取得することができる。   If it is determined in S703 that the OSD character is a combination that cannot be read, and if an instruction not to superimpose the OSD character is issued in S705, the CPU 311 further displays the header area (for example, JPEG header) of the image data in S706. The process of embedding OSD character code data is executed. That is, when it is determined that the OSD information is not readable, the CPU 311 embeds the data of the OSD information in a part of the distribution data of the cutout image. Although the OSD character is not superimposed, the user can obtain the OSD character code information.

図8は、OSD文字コードのデータが埋め込まれたJPEGヘッダの例を示す。図8において、JPEGヘッダは、JPEGヘッダマーカー部801と、JPEGヘッダ部802と、ユーザ領域マーカー部803と、OSD文字列部804と、JPEG符号化データとを有している。   FIG. 8 shows an example of a JPEG header in which OSD character code data is embedded. In FIG. 8, the JPEG header includes a JPEG header marker portion 801, a JPEG header portion 802, a user area marker portion 803, an OSD character string portion 804, and JPEG encoded data.

JPEGヘッダマーカー部801は、JPEGヘッダの開始を示している。JPEGヘッダ部802は、JPEG規格で規定されている形式で画像サイズや符号化に関する各種情報を格納する。ユーザ領域マーカー部803は、以降のデータがユーザが自由に規定することが可能な領域であることの開始位置を示している。OSD文字列部804は、OSD文字の文字コードを格納している。JPEG符号化データ805は、JPEG符号化された画像データを示している。また、OSD文字情報を配信画像に埋め込む以外にも、別個の配信データとしてクライアントに送信するようにしてもよい。   A JPEG header marker portion 801 indicates the start of the JPEG header. The JPEG header unit 802 stores various types of information regarding image size and encoding in a format defined by the JPEG standard. The user area marker portion 803 indicates the start position that the subsequent data is an area that can be freely defined by the user. The OSD character string unit 804 stores the character code of the OSD character. JPEG encoded data 805 indicates JPEG encoded image data. In addition to embedding the OSD character information in the distribution image, it may be transmitted to the client as separate distribution data.

以上説明したよう、本実施形態によれば、ユーザが何れの画像サイズに関してもOSD情報を必要とする場合に、当該OSD情報を取得することができるようになる。   As described above, according to the present embodiment, when the user needs OSD information for any image size, the OSD information can be acquired.

(第3実施形態)
第3実施形態では、ユーザに対してOSD情報を伝える例として、OSD重畳されない画像データの送信時においても、OSD判読可能な最低限の画像データを同時配信する構成ついて説明する。
(Third embodiment)
In the third embodiment, as an example of transmitting OSD information to a user, a configuration that simultaneously distributes minimum image data that can be read by OSD even when transmitting image data that is not OSD superimposed will be described.

図9のフローチャートを参照して、第3実施形態に係るネットワーク撮影装置が実施する処理の手順を説明する。なお、このネットワーク撮影装置は、撮影した画像を配信する画像配信装置である。図9において、S901−S905の各処理は、第1実施形態において、図4を参照して説明したS401−S405の各処理と同じであるため、説明を省略する。   With reference to the flowchart of FIG. 9, the procedure of the process which the network imaging device which concerns on 3rd Embodiment implements is demonstrated. This network imaging device is an image distribution device that distributes a captured image. In FIG. 9, the processes of S901 to S905 are the same as the processes of S401 to S405 described with reference to FIG. 4 in the first embodiment, and thus the description thereof is omitted.

S903においてOSD文字が判読できない組み合わせであると判定され、S905でOSD文字の重畳を行わないような指示がなされた場合には、S906において、CPU311は、切出しサイズと同一の画像サイズでOSD重畳可能な画質設定となる条件の画像データを同時に生成するような指示を実行する。すなわち、CPU311は、OSD情報が判読できないと判定される場合、切り出し画像に対してOSD情報を判読可能な画質設定を符号化部305に設定する。そして、符号化部305により、この画質設定でOSD情報の重畳を行った画像データを生成する。ここで、同一な画像サイズにOSD重畳可能な画質設定が存在しない場合は、OSD表示が可能なサイズまで切出し画像の拡大処理を行う。   If it is determined in step S903 that the OSD character is an unreadable combination, and if an instruction not to superimpose the OSD character is issued in step S905, the CPU 311 can perform OSD superimposition with the same image size as the cut-out size in step S906. An instruction is executed to simultaneously generate image data with a condition for setting a suitable image quality. That is, when it is determined that the OSD information cannot be read, the CPU 311 sets an image quality setting that allows the OSD information to be read for the clipped image in the encoding unit 305. Then, the encoding unit 305 generates image data on which the OSD information is superimposed with this image quality setting. Here, when there is no image quality setting that allows OSD superimposition to the same image size, the cut-out image enlargement process is performed to a size that allows OSD display.

S907において、CPU311は、生成された画像データに対してOSD重畳を行う。また、切出し画像に設定されている画質設定はそのまま保ったまま、OSD表示が可能なサイズまで切出し画像を拡大してOSD重畳を行うようにしてもよい。   In step S907, the CPU 311 performs OSD superimposition on the generated image data. Alternatively, OSD superposition may be performed by enlarging the cut image to a size that allows OSD display while maintaining the image quality setting set for the cut image.

S908において、CPU311は、S905でOSD文字重畳なしの指示をされた切出し画像と、S907でOSD文字重畳指示をされた生成画像との関連付けを行う処理、例えば関連を示すようなフレーム番号を、図8のOSD文字列部804に示したような画像ヘッダのユーザ領域に埋め込むなどの処理を実行する。   In step S908, the CPU 311 performs processing for associating the cut-out image instructed not to superimpose OSD characters in step S905 and the generated image instructed to superimpose OSD characters in step S907, for example, a frame number indicating the relationship. Processing such as embedding in the user area of the image header as shown in the OSD character string portion 804 of FIG.

以上説明したように、本実施形態によれば、OSD重畳されない画像データの送信時においても、OSD判読可能な最低限の画像データを同時配信するため、ユーザがOSD情報を取得することができるようになる。   As described above, according to the present embodiment, even when image data that is not OSD-superimposed is transmitted, the minimum image data that can be read by OSD is simultaneously distributed, so that the user can acquire OSD information. become.

(第4実施形態)
第4実施形態では、ユーザに対してOSD情報を伝える例として、図10(a)および図10(b)を参照して説明する。例えば、切出し画像と画質設定に関してOSD文字が判読できない組み合わせであると判定され、OSD文字の重畳を行わないような指示がされた場合には、同一の画質設定においてOSD文字が判読可能なサイズまで切出し領域を拡張した上で切出し処理を行う構成が考えられる。すなわち、CPU311は、OSD情報が判読できないと判定される場合、切り出し画像の画像領域を含みつつOSD情報を判読可能なサイズまで切り出し領域を拡張し、拡張切り出し画像を生成する。
(Fourth embodiment)
In the fourth embodiment, an example in which OSD information is transmitted to a user will be described with reference to FIGS. For example, if it is determined that the OSD character is not readable in relation to the cut image and the image quality setting, and an instruction not to superimpose the OSD character is given, the OSD character can be readable at the same image quality setting. A configuration in which the cutting process is performed after expanding the cutting area is conceivable. That is, when it is determined that the OSD information cannot be read, the CPU 311 expands the cutout area to a size that allows the OSD information to be read while including the image area of the cutout image, and generates an extended cutout image.

図10(a)において、領域拡張して実際に切出された画像1001には、OSD文字1003が重畳表示されている。また、切出し領域1002は、ユーザにより指定された領域であり、その領域をユーザに示すための領域枠表示が行われている。切出し領域1002を含む画像1001を拡張切り出し画像としている。   In FIG. 10A, an OSD character 1003 is superimposed and displayed on an image 1001 actually cut out after the area expansion. Further, the cutout area 1002 is an area designated by the user, and an area frame is displayed to indicate the area to the user. An image 1001 including a cutout area 1002 is an extended cutout image.

さらに別の方法として、OSD文字が判読可能なサイズになるように画像データにのりしろ部(ダミーデータ)を付加する構成も考えられる。すなわち、CPU311は、OSD情報が判読できないと判定される場合、切り出し画像の画像領域に対して、OSD情報を判読可能なサイズまでダミーデータを付加して、ダミーデータ付加画像を生成する。   As another method, a configuration in which a margin (dummy data) is added to the image data so that the OSD characters can be read is considered. That is, if it is determined that the OSD information cannot be read, the CPU 311 adds dummy data to the image area of the cutout image up to a size that allows the OSD information to be read, and generates a dummy data added image.

図10(b)において、実際に切り出された画像1101に、当該切出された画像についてOSD文字が判読可能なサイズとなるように、のりしろ部1102として単色塗りつぶしを付加したダミーデータ付加画像を生成し、その生成画像にOSD文字1103を重畳する処理を実行する。   In FIG. 10B, a dummy data addition image is generated by adding a single color fill to the actually cut out image 1101 as the margin 1102 so that the OSD characters are readable in the cut out image. Then, a process of superimposing the OSD character 1103 on the generated image is executed.

以上説明したように、本実施形態によれば、ユーザにより指定された領域を示しつつ、ユーザに対して判読可能なOSD情報も伝えることが可能となる。   As described above, according to the present embodiment, it is possible to convey readable OSD information to the user while showing the area designated by the user.

(第5実施形態)
第5実施形態では、ユーザがビューワー装置等のクライアント側から切出し領域指定指示を行う場合に、領域指定操作の段階で、OSD重畳可能な切出し画像サイズと、画質設定との組み合わせに該当するか否かを認識できる構成について説明する。
(Fifth embodiment)
In the fifth embodiment, when a user performs a cutout area designation instruction from the client side such as a viewer apparatus, whether or not the combination corresponds to a combination of a cutout image size that can be overlaid with OSD and an image quality setting at the area designation operation stage. A configuration that can recognize this will be described.

図11は、ビューワー装置107−108においてユーザが切出し画像領域を指定する場合に使用されるUI(ユーザ・インタフェース)画面の構成例である。図11において、ウインドウ1201は、ビューワーアプリケーションのウインドウ全体を表している。このウインドウ1201において、表示領域1202は、ネットワーク撮影装置101−104から配信される全体画像の表示領域である。この全体画像上でユーザがマウスなどを使用して矩形領域を指定することにより、切出し画像領域の位置と大きさの指定を受付けることができ、切出し領域1203が全体画像1202中に矩形枠として表示される。   FIG. 11 is a configuration example of a UI (user interface) screen used when the user designates a cutout image area in the viewer devices 107-108. In FIG. 11, a window 1201 represents the entire window of the viewer application. In this window 1201, a display area 1202 is a display area for the entire image distributed from the network photographing apparatuses 101-104. By specifying a rectangular area on the entire image using a mouse or the like, the position and size of the extracted image area can be accepted, and the extracted area 1203 is displayed as a rectangular frame in the entire image 1202. Is done.

表示領域1204は、ネットワーク撮影装置101−104から配信された切出し画像データの表示領域であり、矩形枠により指定された切出し領域1203の情報をネットワーク撮影装置101−104へ送信して、ネットワーク撮影装置101−104側で指定領域の切出し処理を行った上で配信されている。切出し画像にはOSD文字が重畳表示されている。   A display area 1204 is a display area for cut-out image data distributed from the network photographing apparatus 101-104, and transmits information on the cut-out area 1203 designated by the rectangular frame to the network photographing apparatus 101-104. It is distributed after the specified area is cut out on the 101-104 side. OSD characters are superimposed on the cutout image.

画質設定メニュー1205は、画質設定用のプルダウンメニューであり、例えば画質1(低画質)から画質5(高画質)までの指定を受付けることができる。OSD文字指定メニュー1206は、OSD文字指定用のプルダウンメニューであり、OSDとして表示される情報の指定を受付けることができる。本実施形態では日付、時刻、カメラ名の表示を行っている。   The image quality setting menu 1205 is a pull-down menu for image quality setting, and can accept, for example, designation from image quality 1 (low image quality) to image quality 5 (high image quality). The OSD character designation menu 1206 is a pull-down menu for OSD character designation, and can accept designation of information displayed as an OSD. In this embodiment, the date, time, and camera name are displayed.

ボタン1207は、設定ボタンであり、切出し領域1203、画質設定メニュー1205、OSD文字指定メニュー1206の指定の終了後に、当該設定ボタン1207を操作することで、ネットワーク撮影装置101−104へ当該指定情報が送信され、ネットワーク撮影装置101−104からビューワー装置107−108へ当該指定情報に応じた条件で画像データが送信されることになる。   A button 1207 is a setting button. After the designation of the cutout area 1203, the image quality setting menu 1205, and the OSD character designation menu 1206 is completed, the designation information is transmitted to the network imaging apparatus 101-104 by operating the setting button 1207. Then, the image data is transmitted from the network photographing apparatus 101-104 to the viewer apparatus 107-108 under the condition corresponding to the specified information.

また、図12は、小さいサイズの切出し領域を指定した場合のUI表示例を示す。図12において、1201、1202、1204−1207で示される各構成要素は、図11で説明した対応する構成要素と同一であるため、説明を省略する。   FIG. 12 shows an example of a UI display when a small cutout area is designated. In FIG. 12, each of the components indicated by 1201, 1202, 1204-1207 is the same as the corresponding component described in FIG.

矩形枠1301は、切出し領域の矩形枠表示であるが、図12の例では切出しサイズが小さいために、OSD文字の判読ができない画質設定との組み合わせとなっているため、OSD文字重畳が行われないことを示す破線による矩形表示となっている。切出し画像の表示領域1204中にもOSD重畳表示は行われていない。   The rectangular frame 1301 is a rectangular frame display of the cut-out area. However, since the cut-out size is small in the example of FIG. 12, the OSD character is superimposed because it is combined with an image quality setting that makes the OSD character unreadable. It is a rectangular display with broken lines indicating that there is no. OSD superimposed display is not performed in the cut-out image display area 1204.

なお、図11、図12の例では、OSD領域指定時の矩形枠表示の線の種別を破線また直線にすることにより、OSD文字重畳が行われるか否かをユーザが識別できるようにしているが、必ずしも線の種別に限定されるものではない。   In the example of FIGS. 11 and 12, the type of the rectangular frame display line when the OSD area is designated is a broken line or a straight line, so that the user can identify whether or not the OSD character superimposition is performed. However, it is not necessarily limited to the type of line.

例えば、領域枠表示の枠線の色や太さ等の種別、矩形領域の塗りつぶし方法などを変えることによって、OSD文字重畳が行われるか否かを通知することもできる。また、切出し領域の大きさの指定操作に応じて、矩形枠1301とは別の場所にOSD文字重畳の処理の有無が分かるようなメッセージ表示やマーク表示など行うことで通知するようにしてもよい。   For example, it is also possible to notify whether or not OSD character superimposition is performed by changing the type and color of the border of the region frame display, the method of filling the rectangular region, and the like. Further, according to an operation for designating the size of the cut-out area, notification may be performed by displaying a message or a mark so that the presence / absence of the OSD character superimposition process can be recognized in a place different from the rectangular frame 1301. .

以上説明したように、本実施形態によれば、ユーザがビューワー装置等のクライアント側から切出し領域指定指示を行う場合に、領域指定操作の段階で、OSD重畳可能な切出し画像サイズと、画質設定との組み合わせに該当するか否か、すなわちOSD情報の判読可否を認識できる。   As described above, according to the present embodiment, when a user gives a cutout area designation instruction from the client side such as a viewer device, the cutout image size and image quality settings that can be overlaid with OSD are set at the stage of the area designation operation. It is possible to recognize whether or not the combination is applicable, that is, whether or not the OSD information can be read.

(第6実施形態)
第6実施形態では、ユーザがビューワー装置等のクライアント側から切出し領域指定指示を行う場合に、領域指定操作の段階で、重畳されるOSD文字の品質を事前に知ることができる構成について説明する。
(Sixth embodiment)
In the sixth embodiment, a configuration will be described in which the quality of an OSD character to be superimposed can be known in advance at the stage of an area designation operation when a user issues a cutout area designation instruction from the client side such as a viewer device.

図13は、第6実施形態に係るビューワー装置において切出し画像領域を指定する場合に使用されるUI表示例である。図13において、1201−1207で示される各構成要素は、図11で説明した対応する構成要素と同一であるため、説明を省略する。OSD文字プレビュー枠1401は、画質設定メニュー1205、OSD文字指定メニュー1206、および切出し領域1203のそれぞれによって指定される、画質、OSD文字、および切出し領域の条件でOSD文字がどのように表示されるか、つまりどの程度の文字品位になるかを確認するために、実際に画像に重畳され符号化された画像と同等の品位で文字表示を行うプレビュー枠である。ユーザは、OSD文字プレビュー枠1401に表示されたOSD文字の品位を確認しながら、切出しサイズ、画質設定を決定することができる。   FIG. 13 is an example of a UI display used when a clipped image area is designated in the viewer device according to the sixth embodiment. In FIG. 13, each of the components indicated by 1201-1207 is the same as the corresponding component described in FIG. The OSD character preview frame 1401 shows how the OSD characters are displayed with the image quality, OSD character, and cutout area conditions specified by the image quality setting menu 1205, the OSD character designation menu 1206, and the cutout area 1203, respectively. In other words, in order to confirm how much character quality is to be achieved, this is a preview frame that displays characters with the same quality as the image that is actually superimposed and encoded on the image. The user can determine the cut-out size and image quality setting while confirming the quality of the OSD character displayed in the OSD character preview frame 1401.

次に図14のフローチャートを参照して、第6実施形態に係るビューワー装置が実施する処理の手順を説明する。ここでは、図1で説明したビューワー装置107−108の不図示のCPUが処理を実行する。   Next, with reference to the flowchart of FIG. 14, the procedure of the process which the viewer apparatus based on 6th Embodiment implements is demonstrated. Here, the CPU (not shown) of the viewer devices 107 to 108 described with reference to FIG.

S1501において、CPUは、ビューワー装置107−108と接続されているネットワーク撮影装置101−104と通信を行い、ネットワーク撮影装置101−104から、現在設定されているOSD文字列情報を取得する処理を行う。   In step S1501, the CPU communicates with the network imaging device 101-104 connected to the viewer device 107-108, and performs processing for acquiring currently set OSD character string information from the network imaging device 101-104. .

S1502において、CPUは、ビューワー装置107−108と接続されているネットワーク撮影装置101−104と通信を行い、ネットワーク撮影装置101−104から、画質設定情報つまり符号化時の圧縮率の情報を取得する処理を行う。   In step S1502, the CPU communicates with the network imaging device 101-104 connected to the viewer device 107-108, and acquires image quality setting information, that is, information on the compression rate at the time of encoding, from the network imaging device 101-104. Process.

S1503において、CPUは、S1501およびS1502で取得したOSD文字列情報および画質設定情報を、ビューワー操作画面であるウインドウ1201上に反映して、現在の設定情報として表示する。   In S1503, the CPU reflects the OSD character string information and the image quality setting information acquired in S1501 and S1502 on the window 1201 which is a viewer operation screen, and displays the current setting information.

S1504において、CPUは、ユーザ操作によって設定条件の変更が行われたか否かを判定する。この設定条件変更とは、ウインドウ1201において、画質設定メニュー1205、OSD文字指定メニュー1206、切出し領域1203の内容をユーザが変更することを意味する。設定条件の変更が行われたと判定された場合(S1504;YES)、S1505へ進む。一方、設定条件の変更が行われていないと判定された場合(S1504;NO)、S1506へ進む。   In S1504, the CPU determines whether the setting condition has been changed by a user operation. This setting condition change means that the user changes the contents of the image quality setting menu 1205, the OSD character designation menu 1206, and the cutout area 1203 in the window 1201. When it is determined that the setting condition has been changed (S1504; YES), the process proceeds to S1505. On the other hand, when it is determined that the setting condition has not been changed (S1504; NO), the process proceeds to S1506.

S1505において、CPUは、変更された設定条件をウインドウ1201上に反映する処理を行う。その後、S1506へ進む。S1506において、CPUは、設定された切出しサイズおよびOSD文字列から、実際に表示される場合と同じサイズ、同じ文字のOSDイメージデータを作成する。   In step S <b> 1505, the CPU performs a process of reflecting the changed setting condition on the window 1201. Then, it progresses to S1506. In step S <b> 1506, the CPU creates OSD image data having the same size and the same characters as those actually displayed from the set cut size and OSD character string.

S1507において、CPUは、作成したOSDイメージデータを、設定されている画質条件を用いて符号化処理を行い、OSD符号化データを生成する。S1508において、CPUは、生成したOSD符号化データに対してデコード処理を行い、生成したOSDデコードイメージをOSD文字プレビュー枠1401に表示する。   In step S <b> 1507, the CPU performs encoding processing on the created OSD image data using the set image quality conditions to generate OSD encoded data. In step S1508, the CPU performs decoding processing on the generated OSD encoded data, and displays the generated OSD decoded image in the OSD character preview frame 1401.

S1509において、CPUは、処理を終了するか否かを判定する。例えばユーザがウインドウ1201を閉じたり、所定時間の間ユーザからの入力がなかったりした場合に、処理を終了すると判定する。また、ユーザから入力があった場合には処理を終了しないと判定する。処理を終了すると判定された場合(S1509;YES)、処理を終了する。一方、処理を終了しないと判定された場合(S1509;NO)、S1504へ戻る。以上で図14のフローチャートの各処理が終了する。   In step S1509, the CPU determines whether to end the process. For example, when the user closes the window 1201 or when there is no input from the user for a predetermined time, it is determined that the processing is to be ended. If there is an input from the user, it is determined that the process is not terminated. If it is determined to end the process (S1509; YES), the process ends. On the other hand, if it is determined not to end the process (S1509; NO), the process returns to S1504. Thus, each process of the flowchart of FIG. 14 is completed.

以上説明したように、本実施形態によれば、ユーザがビューワー装置等のクライアント側から切出し領域指定指示を行う場合に、領域指定操作の段階で、重畳されるOSD文字の品質を事前に知ることができる。   As described above, according to the present embodiment, when the user gives a cutout area designation instruction from the client side such as a viewer device, the quality of the OSD character to be superimposed is known in advance at the stage of the area designation operation. Can do.

(その他の実施形態)
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。
(Other embodiments)
The present invention can also be realized by executing the following processing. That is, software (program) that realizes the functions of the above-described embodiments is supplied to a system or apparatus via a network or various storage media, and a computer (or CPU, MPU, or the like) of the system or apparatus reads the program. It is a process to be executed.

Claims (17)

画像の一部を切り出す切り出し手段と、
前記切り出し手段により切り出された切り出し画像にオンスクリーンディスプレイ(OSD)情報を重畳する重畳手段と、
前記切り出し画像または前記重畳手段によりOSD情報が重畳された重畳画像を符号化して配信する配信手段と、を備え、
前記重畳手段は、前記切り出し画像のサイズ設定情報と、画質設定情報とに基づいて、前記OSD情報を前記切り出し画像に重畳した場合に、当該OSD情報が判読できないと判定される場合、前記切り出し画像に前記OSD情報を重畳しないことを特徴とする画像配信装置。
Clipping means for cutting out a part of an image;
Superimposing means for superimposing on-screen display (OSD) information on the cut-out image cut out by the cut-out means;
Distribution means for encoding and distributing the clipped image or the superimposed image on which the OSD information is superimposed by the superimposing means,
When the OSD information is determined to be unreadable when the OSD information is superimposed on the clipped image based on the size setting information and the image quality setting information of the clipped image, The OSD information is not superimposed on the image distribution apparatus.
前記OSD情報が判読できないと判定される場合、前記切り出し画像のデータの一部に前記OSD情報のデータを埋め込む埋め込み手段をさらに備えることを特徴とする請求項1に記載の画像配信装置。   The image distribution apparatus according to claim 1, further comprising an embedding unit that embeds the data of the OSD information in a part of the data of the cut-out image when it is determined that the OSD information cannot be read. 前記データの一部はJPEGヘッダの一部であることを特徴とする請求項2に記載の画像配信装置。   The image distribution apparatus according to claim 2, wherein a part of the data is a part of a JPEG header. 前記配信手段は、前記OSD情報が判読できないと判定される場合、前記切り出し画像とは別個に、前記OSD情報のみのデータを配信することを特徴とする請求項1乃至3の何れか1項に記載の画像配信装置。   The distribution unit according to any one of claims 1 to 3, wherein when the OSD information is determined to be unreadable, the distribution unit distributes only the OSD information data separately from the clipped image. The image delivery apparatus described. 前記OSD情報が判読できないと判定される場合、前記切り出し画像に対して前記OSD情報を判読可能な画質設定で前記OSD情報の重畳を行った画像データを生成する生成手段をさらに備え、
前記配信手段は、前記生成手段により生成された前記画像データと、前記OSD情報を重畳していない前記切り出し画像とを配信することを特徴とする請求項1に記載の画像配信装置。
When it is determined that the OSD information cannot be read, the image forming apparatus further includes a generating unit that generates image data obtained by superimposing the OSD information on an image quality setting capable of reading the OSD information with respect to the clipped image,
The image distribution apparatus according to claim 1, wherein the distribution unit distributes the image data generated by the generation unit and the clipped image on which the OSD information is not superimposed.
前記OSD情報が判読できないと判定される場合、前記切り出し画像の画像領域を含みつつ前記OSD情報を判読可能なサイズまで切り出し領域を拡張し拡張切り出し画像を生成する拡張手段をさらに備え、
前記重畳手段は、前記拡張切り出し画像に前記OSD情報を重畳することを特徴とする請求項1に記載の画像配信装置。
If it is determined that the OSD information cannot be read, the OSD information further includes expansion means for generating an extended cutout image by extending the cutout area to a size that allows the OSD information to be read while including the image area of the cutout image.
The image distribution apparatus according to claim 1, wherein the superimposing unit superimposes the OSD information on the extended cutout image.
前記OSD情報が判読できないと判定される場合、前記切り出し画像の画像領域に対して、前記OSD情報を判読可能なサイズまでダミーデータを付加して、ダミーデータ付加画像を生成する付加手段をさらに備え、
前記重畳手段は、前記ダミーデータ付加画像に前記OSD情報を重畳することを特徴とする請求項1に記載の画像配信装置。
When it is determined that the OSD information cannot be read, the image processing apparatus further includes an adding unit that adds dummy data to the image area of the cutout image up to a size that allows the OSD information to be read and generates a dummy data added image. ,
The image distribution apparatus according to claim 1, wherein the superimposing unit superimposes the OSD information on the dummy data added image.
前記ダミーデータは単色の塗りつぶしデータであることを特徴とする請求項7に記載の画像配信装置。   The image distribution apparatus according to claim 7, wherein the dummy data is single color fill data. 画像配信装置が画像の一部を切り出して切り出し画像を生成する際に使用される切り出し領域のサイズ設定情報と、前記画像配信装置が前記切り出し画像に重畳するために使用されるオンスクリーンディスプレイ(OSD)情報と、前記画像配信装置が前記切り出し画像またはOSD情報が重畳された重畳画像を符号化して配信するために使用される当該符号化の際の画質設定情報と、を含む設定条件の入力を受け付ける受付手段と、
前記サイズ設定情報と、前記画質設定情報とに基づいて、前記画像配信装置が前記OSD情報を前記切り出し画像に重畳した場合に、当該OSD情報が判読可能か否かをユーザへ通知する通知手段と、
を備えることを特徴とする情報処理装置。
Size setting information of a cutout area used when the image distribution apparatus cuts out a part of the image to generate a cutout image, and an on-screen display (OSD) used for the image distribution apparatus to superimpose on the cutout image ) Input of setting conditions including information and image quality setting information at the time of the encoding used to encode and distribute the clipped image or the superimposed image on which the OSD information is superimposed. Accepting means,
Notification means for notifying the user whether or not the OSD information is legible when the image distribution apparatus superimposes the OSD information on the cut-out image based on the size setting information and the image quality setting information. ,
An information processing apparatus comprising:
前記通知手段は、前記切り出し領域を示す領域枠の色または枠線の種別をOSD情報の判読可否に応じて異なる色または種別で表示することにより通知することを特徴とする請求項9に記載の情報処理装置。   10. The notification unit according to claim 9, wherein the notification unit performs notification by displaying a color of a region frame indicating the cut-out region or a type of a frame line in a different color or type depending on whether or not the OSD information can be read. Information processing device. 前記通知手段は、OSD情報の判読可否を示すメッセージ表示またはマーク表示により通知することを特徴とする請求項9または10に記載の情報処理装置。   The information processing apparatus according to claim 9 or 10, wherein the notification means notifies the user by displaying a message or mark indicating whether or not the OSD information can be read. 画像配信装置が画像の一部を切り出して切り出し画像を生成する際に使用される切り出し領域情報と、前記画像配信装置が前記切り出し画像に重畳するために使用されるオンスクリーンディスプレイ(OSD)情報と、前記画像配信装置が前記切り出し画像またはOSD情報が重畳された重畳画像を符号化して配信するために使用される当該符号化の際の画質設定情報とを含む設定条件の入力を受け付ける受付手段と、
前記受付手段により受け付けられた前記設定条件において、前記画像配信装置が前記切り出し画像に前記OSD情報を重畳した場合に表示されるOSDイメージデータのプレビューを作成する作成手段と、
前記プレビューをユーザへ通知する通知手段と、
を備えることを特徴とする情報処理装置。
Cutout area information used when the image distribution apparatus cuts out a part of the image to generate a cutout image, and on-screen display (OSD) information used by the image distribution apparatus to superimpose the cutout image Receiving means for receiving an input of a setting condition including image quality setting information at the time of encoding used for encoding and distributing the clipped image or the superimposed image on which the OSD information is superimposed by the image distribution device; ,
Creating means for creating a preview of OSD image data displayed when the image distribution apparatus superimposes the OSD information on the cut-out image under the setting condition received by the receiving means;
Notification means for notifying the user of the preview;
An information processing apparatus comprising:
切り出し手段と、重畳手段と、配信手段とを備える画像配信装置の制御方法であって、 前記切り出し手段が、画像の一部を切り出す切り出し工程と、
前記重畳手段が、前記切り出し工程により切り出された切り出し画像にオンスクリーンディスプレイ(OSD)情報を重畳する重畳工程と、
前記配信手段が、前記切り出し画像または前記重畳工程によりOSD情報が重畳された重畳画像を符号化して配信する配信工程と、を有し、
前記重畳工程では、前記切り出し画像のサイズ設定情報と、前記符号化の際の画質設定情報とに基づいて、前記OSD情報を前記切り出し画像に重畳した場合に、当該OSD情報が判読できないと判定される場合、前記切り出し画像に前記OSD情報を重畳しないことを特徴とする画像配信装置の制御方法。
A method for controlling an image distribution apparatus including a clipping unit, a superimposing unit, and a distribution unit, wherein the clipping unit clips a part of an image,
A superimposing step in which the superimposing unit superimposes on-screen display (OSD) information on the cut-out image cut out by the cut-out step;
A distribution step in which the distribution unit encodes and distributes the clipped image or the superimposed image on which the OSD information is superimposed by the superimposition step;
In the superimposing step, when the OSD information is superimposed on the clipped image based on the size setting information of the clipped image and the image quality setting information at the time of encoding, it is determined that the OSD information cannot be read. The image distribution apparatus does not superimpose the OSD information on the clipped image.
受付手段と、通知手段とを備える情報処理装置の制御方法であって、
前記受付手段が、画像配信装置が画像の一部を切り出して切り出し画像を生成する際に使用される切り出し領域のサイズ設定情報と、前記画像配信装置が前記切り出し画像に重畳するために使用されるオンスクリーンディスプレイ(OSD)情報と、前記画像配信装置が前記切り出し画像またはOSD情報が重畳された重畳画像を符号化して配信するために使用される当該符号化の際の画質設定情報と、を含む設定条件の入力を受け付ける受付工程と、
前記通知手段が、前記サイズ設定情報と、前記画質設定情報とに基づいて、前記画像配信装置が前記OSD情報を前記切り出し画像に重畳した場合に、当該OSD情報が判読可能か否かをユーザへ通知する通知工程と、
を有することを特徴とする情報処理装置の制御方法。
A control method for an information processing apparatus including a receiving unit and a notification unit,
The accepting unit is used for the size setting information of the cut-out area used when the image distribution device generates a cut-out image by cutting out a part of the image, and used by the image distribution device to superimpose the cut-out image. Including on-screen display (OSD) information and image quality setting information at the time of encoding used for encoding and distributing the clipped image or the superimposed image on which the OSD information is superimposed by the image distribution device. A reception process for receiving input of setting conditions;
When the notification means superimposes the OSD information on the clipped image based on the size setting information and the image quality setting information, the notification means informs the user whether or not the OSD information can be read. A notification process to notify;
A method for controlling an information processing apparatus, comprising:
受付手段と、作成手段と、通知手段とを備える情報処理装置の制御方法であって、
前記受付手段が、画像配信装置が画像の一部を切り出して切り出し画像を生成する際に使用される切り出し領域情報と、前記画像配信装置が前記切り出し画像に重畳するために使用されるオンスクリーンディスプレイ(OSD)情報と、前記画像配信装置が前記切り出し画像またはOSD情報が重畳された重畳画像を符号化して配信するために使用される当該符号化の際の画質設定情報とを含む設定条件の入力を受け付ける受付工程と、
前記作成手段が、前記受付工程により受け付けられた前記設定条件において、前記画像配信装置が前記切り出し画像に前記OSD情報を重畳した場合に表示されるOSDイメージデータのプレビューを作成する作成工程と、
前記通知手段が、前記プレビューをユーザへ通知する通知工程と、
を有することを特徴とする情報処理装置の制御方法。
A control method for an information processing apparatus comprising a receiving means, a creating means, and a notification means,
Cut-out area information used when the reception unit cuts out a part of the image and generates a cut-out image, and an on-screen display used by the image distribution device to superimpose the cut-out image Input of setting conditions including (OSD) information and image quality setting information at the time of encoding used for encoding and distributing the clipped image or the superimposed image on which OSD information is superimposed by the image distribution apparatus Accepting process of accepting,
A creation step in which the creation means creates a preview of OSD image data displayed when the image distribution device superimposes the OSD information on the clipped image under the setting condition received in the reception step;
A notification step in which the notification means notifies the user of the preview; and
A method for controlling an information processing apparatus, comprising:
請求項13に記載の画像配信装置の制御方法の各工程をコンピュータに実行させるためのプログラム。   A program for causing a computer to execute each step of the control method for the image distribution apparatus according to claim 13. 請求項14または15に記載の情報処理装置の制御方法の各工程をコンピュータに実行させるためのプログラム。   The program for making a computer perform each process of the control method of the information processing apparatus of Claim 14 or 15.
JP2012128405A 2012-06-05 2012-06-05 Image distribution apparatus, information processing apparatus, control method of them, and program Pending JP2013255041A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012128405A JP2013255041A (en) 2012-06-05 2012-06-05 Image distribution apparatus, information processing apparatus, control method of them, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012128405A JP2013255041A (en) 2012-06-05 2012-06-05 Image distribution apparatus, information processing apparatus, control method of them, and program

Publications (1)

Publication Number Publication Date
JP2013255041A true JP2013255041A (en) 2013-12-19

Family

ID=49952238

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012128405A Pending JP2013255041A (en) 2012-06-05 2012-06-05 Image distribution apparatus, information processing apparatus, control method of them, and program

Country Status (1)

Country Link
JP (1) JP2013255041A (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11228764B2 (en) 2014-01-15 2022-01-18 Avigilon Corporation Streaming multiple encodings encoded using different encoding parameters

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11228764B2 (en) 2014-01-15 2022-01-18 Avigilon Corporation Streaming multiple encodings encoded using different encoding parameters

Similar Documents

Publication Publication Date Title
US10594988B2 (en) Image capture apparatus, method for setting mask image, and recording medium
JP4877852B2 (en) Image encoding apparatus and image transmitting apparatus
JP5682168B2 (en) Camera device, camera system, control device, and program
JP2007189503A (en) Terminal device and program
JP2008033280A (en) Image data providing device, image display device, image display system, control method for image data providing device, control method for image display device, control program, and recording medium
JP6327816B2 (en) Transmission device, reception device, transmission / reception system, transmission device control method, reception device control method, transmission / reception system control method, and program
JP5838925B2 (en) COMMUNICATION SYSTEM, TERMINAL DEVICE, MOVIE DISPLAY METHOD, AND PROGRAM
JP7086552B2 (en) Information processing equipment, imaging equipment, information processing methods and programs
WO2013175980A1 (en) Imaging device, method for controlling imaging device, and recording medium
JP2014049865A (en) Monitor camera system
JP2013255210A (en) Video display method, video display device and video display program
JP5928196B2 (en) Communication system, terminal device, registration method, and program
JP2021111943A (en) Image processing device and control method thereof, program, and storage medium
JP2000132673A (en) Image system
JP2006340091A (en) Camera server, viewer, image display system and image distribution method
JP2015080142A (en) Imaging device, imaging system, control method for imaging device, control method for imaging system, and program
JP2007087023A (en) Information processor
US10771747B2 (en) Imaging apparatus and imaging system
JP2013255041A (en) Image distribution apparatus, information processing apparatus, control method of them, and program
JP6261191B2 (en) Display control apparatus, display control method, and program
JP6184133B2 (en) Imaging device
JP6204655B2 (en) IMAGING DEVICE, IMAGING DEVICE CONTROL METHOD, AND PROGRAM
JP2019033362A (en) Distribution apparatus, reception apparatus, and program
JP5962692B2 (en) Terminal device and program
JP2008211491A (en) Closed-captioned video display system, server device, and terminal apparatus