JP2010147691A

JP2010147691A - Image generation device and method, and program

Info

Publication number: JP2010147691A
Application number: JP2008321342A
Authority: JP
Inventors: Shunji Fujita; 俊司藤田
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2008-12-17
Filing date: 2008-12-17
Publication date: 2010-07-01

Abstract

PROBLEM TO BE SOLVED: To prevent a character from coming out in a combined image generated from a plurality of partial images. SOLUTION: An image generation system generating a combined image from a plurality of partial images taken by a photographing device which is connected to an information processing device through a network takes a partial image in a plurality of photographing directions (steps S402-S407), determines whether or not a character is included in the taken partial image (step S405), controls so that the partial image is taken again when it is determined that the character is included in the partial image (steps S408-S411), and generates a combined image from the partial image photographed thereafter or photographed again (step S412). COPYRIGHT: (C)2010,JPO&INPIT

Description

本発明は画像生成装置、方法及びプログラム、並びに画像生成システムに関し、特に複数の画像（部分画像）から結合画像を生成する技術に関する。 The present invention relates to an image generation apparatus, method and program, and an image generation system, and more particularly to a technique for generating a combined image from a plurality of images (partial images).

従来、複数の撮影方向（カメラを向ける方向）で撮影した複数の部分画像を結合することにより広域画像（広い領域の画像）等の結合画像を作成する技術が知られており、例えば、パノラマ作成ツールなどの製品が市販されている。 Conventionally, a technique for creating a combined image such as a wide area image (a wide area image) by combining a plurality of partial images taken in a plurality of shooting directions (directions in which the camera faces) is known. Tools and other products are commercially available.

また、複数の撮影方向で撮影した部分画像に移動物体が写りこんでしまう場合の問題点を解決する提案もなされている。例えば特許文献１では、撮影された部分画像中に移動物体が含まれると判定した場合に、同一の撮影方向で部分画像を再撮影することにより、移動物体が含まれない結合画像を生成している。 In addition, proposals have been made to solve the problem that occurs when a moving object appears in partial images taken in a plurality of shooting directions. For example, in Patent Document 1, when it is determined that a moving object is included in a captured partial image, a combined image that does not include the moving object is generated by re-imaging the partial image in the same shooting direction. Yes.

特開２００１−１８９８８９号公報JP 2001-189889 A

しかしながら、上記特許文献１に記載の技術では、複数の撮影方向で撮影した部分画像の中に、例えばカメラの前でたまたま人が居合わせ立ち話をしている場合などは、移動物体と判定されず人物を含んだ広域画像を生成してしまうことがある。この場合、この広域画像を背景画像として用い、背景画像とライブ画像とを重畳して表示したり、背景画像とライブ画像とを比較することによりライブ画像中の移動物体を抽出したりする場合に、不都合が生じてしまうという課題があった。 However, in the technique described in Patent Document 1, in the case of a partial image taken in a plurality of shooting directions, for example, when a person happens to be standing in front of the camera, the person is not determined as a moving object. May generate a wide area image including In this case, when this wide-area image is used as a background image and the background image and the live image are superimposed and displayed, or a moving object in the live image is extracted by comparing the background image and the live image. There is a problem that inconvenience occurs.

一方、人物が含まれない広域画像を作成するために、ユーザが撮影方向を変えながら複数の部分画像を撮影すると、それにより長時間を要してしまい、例えば、明るさ等の撮影環境の変化による影響が現れてしまうことがある。従って、可能な限り短時間で必要な部分画像の撮影を終えることが望まれる。 On the other hand, if a user takes a plurality of partial images while changing the shooting direction in order to create a wide area image that does not include a person, it takes a long time, for example, changes in shooting environment such as brightness The effects of may appear. Therefore, it is desirable to finish taking a necessary partial image in as short a time as possible.

本発明は係る実情に鑑みてなされたものであり、複数の部分画像から生成される結合画像において、人物が写りこむことを防止し、かつこのような画像を短時間で生成することができる画像生成装置等を提供することを目的とする。 The present invention has been made in view of the actual situation, and in a combined image generated from a plurality of partial images, an image capable of preventing a person from being captured and generating such an image in a short time. It aims at providing a production | generation apparatus etc.

本発明の画像生成装置は、複数の部分画像をつなぎ合わせて結合画像を生成する画像生成装置であって、撮影手段に複数の撮影方向で部分画像を撮影させる撮影制御手段と、前記撮影手段で撮影された部分画像に人物が含まれるか否かを判定する人物判定手段と、前記人物判定手段で部分画像に人物が含まれると判定された場合、前記撮影手段に当該部分画像を再撮影させる再撮影制御手段とを有することを特徴とする。
また、本発明の画像生成システムは、撮影装置と情報処理装置とがネットワークを介して接続し、前記撮影装置で撮影された複数の部分画像をつなぎ合わせて結合画像を生成する画像生成システムであって、前記撮影装置に複数の撮影方向で部分画像を撮影させる撮影制御手段と、前記撮影された部分画像に人物が含まれるか否かを判定する人物判定手段と、前記人物判定手段で部分画像に人物が含まれると判定された場合、前記撮影装置に当該部分画像を再撮影させる再撮影制御手段とを有することを特徴とする。
また、本発明の画像生成方法は、複数の部分画像をつなぎ合わせて結合画像を生成する画像生成方法であって、撮影手段に複数の撮影方向で部分画像を撮影させる撮影制御ステップと、前記撮影手段で撮影された部分画像に人物が含まれるか否かを判定する人物判定ステップと、前記人物判定ステップで部分画像に人物が含まれると判定された場合、前記撮影手段に当該部分画像を再撮影させる再撮影制御ステップと、前記撮影あるいは前記再撮影された部分画像をつなぎ合わせて結合画像を生成する画像生成ステップとを有することを特徴とする。
また、本発明のプログラムは、複数の部分画像をつなぎ合わせて結合画像を生成する画像生成方法をコンピュータに実行させるためのプログラムであって、撮影手段に複数の撮影方向で部分画像を撮影させる撮影制御ステップと、前記撮影手段で撮影された部分画像に人物が含まれるか否かを判定する人物判定ステップと、前記人物判定ステップで部分画像に人物が含まれると判定された場合、前記撮影手段に当該部分画像を再撮影させる再撮影制御ステップと、前記撮影あるいは前記再撮影された部分画像をつなぎ合わせて結合画像を生成する画像生成ステップとをコンピュータに実行させるためのプログラムである。 An image generation apparatus according to the present invention is an image generation apparatus that generates a combined image by connecting a plurality of partial images, and includes an imaging control unit that causes the imaging unit to capture partial images in a plurality of imaging directions, and the imaging unit. A person determination unit that determines whether or not a person is included in the captured partial image; and when the person determination unit determines that a person is included in the partial image, the imaging unit re-photographs the partial image. Re-imaging control means.
The image generation system of the present invention is an image generation system in which a photographing device and an information processing device are connected via a network, and a plurality of partial images photographed by the photographing device are connected to generate a combined image. A photographing control means for causing the photographing device to photograph partial images in a plurality of photographing directions, a person determining means for determining whether or not a person is included in the photographed partial images, and a partial image by the person determining means. And a re-shooting control means for causing the shooting device to re-shoot the partial image.
The image generation method of the present invention is an image generation method for generating a combined image by connecting a plurality of partial images, the imaging control step for causing the imaging unit to capture partial images in a plurality of imaging directions, and the imaging A person determination step for determining whether or not a person is included in the partial image captured by the means, and if it is determined in the person determination step that a person is included in the partial image, the partial image is reproduced on the shooting means. A re-shooting control step for shooting, and an image generation step for generating a combined image by joining the captured or re-taken partial images.
The program of the present invention is a program for causing a computer to execute an image generation method for connecting a plurality of partial images to generate a combined image, and for causing a photographing unit to photograph partial images in a plurality of photographing directions. A control step; a person determination step for determining whether or not a person is included in the partial image shot by the shooting means; and if the person determination step determines that a person is included in the partial image, the shooting means A program for causing a computer to execute a re-shooting control step for re-shooting the partial image and an image generation step for generating a combined image by joining the captured or re-taken partial images.

本発明によれば、複数の部分画像から生成される結合画像において、部分画像に人物が写っていた場合に、再度撮影をしなおすことで、結合画像への人物の写りこみを避けることができ、人物の写り込みのない結合画像を短時間で生成することができる。 According to the present invention, in a combined image generated from a plurality of partial images, when a person is shown in the partial image, it is possible to avoid the reflection of the person in the combined image by taking a picture again. Thus, a combined image without the reflection of a person can be generated in a short time.

以下、本発明を実施するための最良の形態について図面を参照して説明する。
（第１の実施の形態）
図１は、本発明の第１の実施の形態に係るネットワークカメラシステムの概念図である。図１に示すようにネットワークカメラシステム（画像生成システムを含む）は、撮影装置であるネットワークカメラ１０１と情報処理装置であるパーソナルコンピュータ（ＰＣ）１０３とがネットワーク１０２を介して接続されることで構成される。 The best mode for carrying out the present invention will be described below with reference to the drawings.
(First embodiment)
FIG. 1 is a conceptual diagram of a network camera system according to a first embodiment of the present invention. As shown in FIG. 1, a network camera system (including an image generation system) is configured by connecting a network camera 101 that is a photographing apparatus and a personal computer (PC) 103 that is an information processing apparatus via a network 102. Is done.

図２は、ネットワークカメラ１０１の内部構成を示すブロック図である。図２に示すようにネットワークカメラ１０１は、撮像部２０１、可動雲台２０２、カメラ・雲台制御部２０３、映像入力部２０４、映像圧縮部２０５、通信制御部２０６、コマンド解釈部２０７、記憶部２０８、及び顔検出部２０９を有する。 FIG. 2 is a block diagram showing the internal configuration of the network camera 101. As shown in FIG. 2, the network camera 101 includes an imaging unit 201, a movable head 202, a camera / head control unit 203, a video input unit 204, a video compression unit 205, a communication control unit 206, a command interpretation unit 207, and a storage unit. 208 and a face detection unit 209.

撮像部２０１はＣＣＤ等の撮像素子を含み光学像を撮像する。可動雲台２０２は撮像部２０１をパン・チルト方向へ駆動する。カメラ・雲台制御部２０３は撮像部２０１による撮影を制御（撮影動作の制御やズーム制御）すると共に、可動雲台２０２のパン・チルト角度を制御（パン制御、チルト制御）する。 The imaging unit 201 includes an imaging element such as a CCD and captures an optical image. The movable pan head 202 drives the imaging unit 201 in the pan / tilt direction. The camera / head control unit 203 controls shooting by the imaging unit 201 (shooting operation control and zoom control) and controls the pan / tilt angle of the movable head 202 (pan control and tilt control).

映像入力部２０４は撮像部２０１からの画像（動画及び静止画）を取り込み、顔検出部２０９は取り込んだ映像データから顔を検出する。また、映像圧縮部２０５は映像入力部２０４が取り込んだ映像データを圧縮する。 The video input unit 204 captures images (moving images and still images) from the imaging unit 201, and the face detection unit 209 detects a face from the captured video data. The video compression unit 205 compresses the video data captured by the video input unit 204.

通信制御部２０６は映像圧縮部２０５で圧縮された映像データをネットワーク１０２上に配信する。なお、映像圧縮部２０５は撮像部２０１からのＮＴＳＣ映像信号を取り込み、Ａ／Ｄ変換後、ＭｏＴｉｏｎＪＰＥＧで圧縮して、通信制御部２０６に渡し、ネットワーク１０２に送出するものとする。ここでは映像の圧縮方式として、ＭｏＴｉｏｎＪＰＥＧ圧縮としたが、本発明は、この圧縮方式に限定されるものではない。 The communication control unit 206 distributes the video data compressed by the video compression unit 205 over the network 102. Note that the video compression unit 205 captures the NTSC video signal from the imaging unit 201, performs A / D conversion, compresses it with MoTionJPEG, passes it to the communication control unit 206, and sends it to the network 102. Here, MoTion JPEG compression is used as the video compression method, but the present invention is not limited to this compression method.

コマンド解釈部２０７はネットワーク１０２経由でＰＣ１０３から受け取ったコマンドを解釈し、ネットワークカメラ１０１の各部を制御する。これにより、ネットワークカメラ１０１は、ＰＣ１０３からの要求に基づき可動雲台２０２を制御しつつ撮像部２０１からの映像を取り込むことができる。記憶部２０８はネットワークカメラ１０１の各部に対するデータの受け渡しの際に用いられる。 A command interpretation unit 207 interprets a command received from the PC 103 via the network 102 and controls each unit of the network camera 101. Thereby, the network camera 101 can capture the video from the imaging unit 201 while controlling the movable camera platform 202 based on the request from the PC 103. The storage unit 208 is used when data is transferred to each unit of the network camera 101.

上述のような構成を備えたネットワークカメラ１０１では、撮像部２０１からの画像の要求のあったＰＣ１０３に画像を配信すると共に、ＰＣ１０３からのカメラ制御コマンドを受け付け、可動雲台２０２の制御を行いつつ撮影を行うことができる。 The network camera 101 having the above-described configuration distributes an image to the PC 103 that requested the image from the imaging unit 201 and receives a camera control command from the PC 103 to control the movable camera platform 202. Shooting can be performed.

ＰＣ１０３は、ネットワークカメラ１０１から配信された画像をつなぎ合わせて、パノラマ画像を生成し、映像表示部３０４（後述する図３に示す）において表示することができる。図３は、ＰＣ１０３の内部構成を示すブロック図である。 The PC 103 can connect the images distributed from the network camera 101 to generate a panoramic image and display it on the video display unit 304 (shown in FIG. 3 described later). FIG. 3 is a block diagram showing the internal configuration of the PC 103.

図３に示すようにＰＣ１０３は、通信制御部３０１、映像伸長部３０２、パノラマ生成部３０３、映像表示部３０４、表示制御部３０５、及びコマンド発生部３０６を有する。 As illustrated in FIG. 3, the PC 103 includes a communication control unit 301, a video decompression unit 302, a panorama generation unit 303, a video display unit 304, a display control unit 305, and a command generation unit 306.

コマンド発生部３０６はネットワークカメラ１０１に対するカメラ制御コマンドを生成する。通信制御部３０１はカメラ制御コマンドをネットワークカメラ１０１に送信する。 The command generation unit 306 generates a camera control command for the network camera 101. The communication control unit 301 transmits a camera control command to the network camera 101.

通信制御部３０１はまた、ネットワークカメラ１０１から配信されてきた圧縮映像データを受信する。映像伸長部３０２はネットワークカメラ１０１からの圧縮映像データを伸長し、伸長された映像データは映像表示部３０４で表示される。 The communication control unit 301 also receives compressed video data distributed from the network camera 101. The video decompression unit 302 decompresses the compressed video data from the network camera 101, and the decompressed video data is displayed on the video display unit 304.

また、ＰＣ１０３ではパノラマ画像生成モードを設定できる。このパノラマ画像生成モード時には、パノラマ生成部３０３が複数のデータをつなぎ合わせ、パノラマ画像を生成できる。生成したパノラマ画像は、映像表示部３０４で表示され、ユーザーインターフェース（ＧＵＩ）操作によりカメラ制御や画像蓄積保存操作等ができる。これらの画面表示・操作の制御は表示制御部３０５で行われる。 The PC 103 can set a panoramic image generation mode. In this panorama image generation mode, the panorama generation unit 303 can connect a plurality of data and generate a panorama image. The generated panoramic image is displayed on the video display unit 304, and camera control, image storage / storing operation, and the like can be performed by a user interface (GUI) operation. These screen display / operation controls are performed by the display control unit 305.

なお、ネットワークカメラ１０１、ＰＣ１０３は共に、ネットワーク１０２に接続される数に特に制限は無いが、本実施の形態では、説明の簡略化のため各々１台ずつと仮定する。また、ネットワーク１０２に関しても、カメラ制御信号、圧縮した映像信号を通すのに十分な帯域があるインターネットやイントラネット等のディジタルネットワークであればどのようなものでもよい。本実施の形態では、ネットワークプロトコルとして、ＴＣＰ／ＩＰ（ＵＤＰ／ＩＰ）プロトコルを仮定し、以下、アドレスといった場合にはＩＰアドレスを指すこととする。また、ネットワークカメラ１０１、ＰＣ１０３には、共にＩＰアドレスが割り当てられているものとする。 Note that the number of network cameras 101 and PCs 103 connected to the network 102 is not particularly limited, but in the present embodiment, it is assumed that one unit is provided for simplification of explanation. The network 102 may be any digital network such as the Internet or an intranet that has a sufficient bandwidth for passing camera control signals and compressed video signals. In the present embodiment, a TCP / IP (UDP / IP) protocol is assumed as a network protocol, and hereinafter, an address refers to an IP address. It is assumed that both the network camera 101 and the PC 103 are assigned IP addresses.

次に、本実施の形態に係るネットワークカメラシステムによって実行されるパノラマ画像の撮影及び生成処理の手順を説明する。図４は係る処理の手順を示したフローチャートであり、図５は係る処理においてカメラ制御コマンドや映像の受け渡しの際に用いるパケットの内容を示した図である。カメラ制御コマンドや映像の受け渡しの際に用いるパケットとしては、図５に示すような形式のものが生成され、ＰＣ１０３からネットワーク１０２に送信されることになる。 Next, a procedure of panoramic image shooting and generation processing executed by the network camera system according to the present embodiment will be described. FIG. 4 is a flowchart showing the procedure of such processing, and FIG. 5 is a diagram showing the contents of a packet used when transferring a camera control command or video in the processing. As a packet used when a camera control command or video is transferred, a packet having the format shown in FIG. 5 is generated and transmitted from the PC 103 to the network 102.

ここで先ず図５を用いてカメラ制御コマンドの受け渡しの際に用いるパケット情報の内容について説明する。なお、パケット情報の内容は厳密には、ＴＣＰ／ＩＰやＵＤＰ／ＩＰ等のパケットで用いられているフォーマットを使用することになるが、図５では本実施の形態の説明に必要なパケット情報のみ記述することにする。 First, the contents of the packet information used when the camera control command is transferred will be described with reference to FIG. Strictly speaking, the content of the packet information uses the format used in the packet such as TCP / IP or UDP / IP, but FIG. 5 shows only the packet information necessary for the description of the present embodiment. I will describe it.

図５に示すように本実施の形態で必要となるパケット情報としては、ズーム要求５０１、パン角度変更要求５０２、チルト角度変更要求５０３、静止画撮影取得要求５０４、静止画撮影取得応答５０５が挙げられる。 As shown in FIG. 5, the packet information necessary in the present embodiment includes a zoom request 501, a pan angle change request 502, a tilt angle change request 503, a still image shooting acquisition request 504, and a still image shooting acquisition response 505. It is done.

これらパケット情報には、共通して送信元アドレスと送信先アドレスとを示す情報が含まれる。また、ズーム要求５０１、パン角度変更要求５０２、チルト角度変更要求５０３には、特有の識別情報（ＺＭ；Ｚｏｏｍ要求等）及び設定値（Ｚｏｏｍであれば、ズーム値Ｘ）を示す情報が含まれる。また、静止画撮影取得要求５０４には、映像を要求する指令であることを示す識別情報（ＰＩＣ）が含まれる。また、静止画撮影取得応答５０５には、映像を送信する指令であることを示す識別情報（ＰＩＣ＿ＤＡＴＡ）及び画像の撮影時のズーム値、パン角、チルト角、顔情報（Ｆａｃｅ＿Ｉｎｆｏ）の有無及び映像データ（ＤＡＴＡ）が含まれる。 The packet information includes information indicating a transmission source address and a transmission destination address in common. Further, the zoom request 501, the pan angle change request 502, and the tilt angle change request 503 include information indicating specific identification information (ZM; Zoom request, etc.) and a set value (zoom value X if Zoom). . Further, the still image shooting acquisition request 504 includes identification information (PIC) indicating a command for requesting a video. Also, the still image shooting acquisition response 505 includes identification information (PIC_DATA) indicating that it is a command for transmitting a video, a zoom value at the time of shooting the image, a pan angle, a tilt angle, presence / absence of face information (Face_Info), and a video. Data (DATA) is included.

以下、上述したような内容のパケット情報を用いて実行される本実施の形態に係る動作を図４のフローチャートを用いて説明する。 Hereinafter, an operation according to the present embodiment, which is executed using the packet information having the contents as described above, will be described with reference to the flowchart of FIG.

先ずステップＳ４０１においてネットワークカメラ１０１は、パノラマ画像生成モードに遷移されたかどうかを監視する。ＰＣ１０３上では、ユーザはＰＣ１０３のＧＵＩ上のパノラマ撮影ボタン等（図示せず）を押下することによりパノラマ画像生成モードに遷移させることができ、表示制御部３０５によって表示された画面により遷移したか否かを確認できるようになっている。また、ＰＣ１０３でパノラマ画像生成モードが設定された場合、ＰＣ１０３はネットワークカメラ１０１に対しその旨を通知する。 First, in step S401, the network camera 101 monitors whether or not the mode has been changed to the panoramic image generation mode. On the PC 103, the user can make a transition to the panorama image generation mode by pressing a panorama shooting button or the like (not shown) on the GUI of the PC 103, and whether or not the transition is made according to the screen displayed by the display control unit 305. You can check whether. When the panorama image generation mode is set on the PC 103, the PC 103 notifies the network camera 101 to that effect.

次にステップＳ４０２において、ＰＣ１０３からズーム値の変更要求が行われ、ネットワークカメラ１０１は、撮像部２０１に含まれるレンズをワイド端に移動させる。このとき、ＰＣ１０３のコマンド発生部３０６においては、図５に示したズーム要求５０１にてズーム値をｘに設定したパケットが生成される。このパケットが通信制御部３０１を介して、ネットワークカメラ１０１に送信されることになる。ネットワークカメラ１０１は、通信制御部２０６を介してこの要求パケットを受信し、コマンド解釈部２０７にて要求内容を解釈し、カメラ・雲台制御部２０３において、レンズをワイド端に移動させる。 In step S 402, a zoom value change request is issued from the PC 103, and the network camera 101 moves the lens included in the imaging unit 201 to the wide end. At this time, the command generation unit 306 of the PC 103 generates a packet in which the zoom value is set to x in the zoom request 501 shown in FIG. This packet is transmitted to the network camera 101 via the communication control unit 301. The network camera 101 receives this request packet via the communication control unit 206, interprets the request content at the command interpretation unit 207, and moves the lens to the wide end in the camera / head control unit 203.

次にステップＳ４０３において、ＰＣ１０３からパン値、チルト値の変更要求が行われ、ネットワークカメラ１０１は、撮影方向を決定する。このとき、ＰＣ１０３のコマンド発生部３０６においては、図５に示したパン角度変更要求５０２にてパン値をθに設定したパケット、及び、チルト角度変更要求５０３にてチルト値をφに設定したパケットが生成される。このパケットは、通信制御部３０１を介して、ネットワークカメラ１０１に送信され、ネットワークカメラ１０１が受信する。そして、ネットワークカメラ１０１は、コマンド解釈部２０７にて要求内容を解釈し、カメラ・雲台制御部２０３において、可動雲台２０２のパン値及びチルト値を変更させる。 Next, in step S403, a request for changing the pan value and the tilt value is issued from the PC 103, and the network camera 101 determines the shooting direction. At this time, the command generation unit 306 of the PC 103 has a packet in which the pan value is set to θ in the pan angle change request 502 shown in FIG. 5 and a packet in which the tilt value is set to φ in the tilt angle change request 503. Is generated. This packet is transmitted to the network camera 101 via the communication control unit 301 and received by the network camera 101. Then, the network camera 101 interprets the request content in the command interpretation unit 207, and the camera / head control unit 203 changes the pan value and the tilt value of the movable head 202.

次にステップＳ４０４において、ＰＣ１０３から図５に示した静止画撮影取得要求５０４が送信され、ネットワークカメラ１０１は、静止画（部分画像）を撮影する。ネットワークカメラ１０１は、撮影した部分画像を図５に示した静止画撮影取得応答５０５のＤＡＴＡ部分に含める。静止画撮影取得応答５０５には、ＤＡＴＡ部分のほか、ズーム値、パン値、チルト値等の撮影パラメータ、及びステップＳ４０５で検出される顔検出情報であるＦａｃｅ＿Ｉｎｆｏが含まる。ズーム値、パン値、チルト値については、現在設定している値が記録される。 In step S404, the still image shooting acquisition request 504 shown in FIG. 5 is transmitted from the PC 103, and the network camera 101 captures a still image (partial image). The network camera 101 includes the captured partial image in the DATA portion of the still image capturing acquisition response 505 shown in FIG. In addition to the DATA portion, the still image shooting acquisition response 505 includes shooting parameters such as a zoom value, a pan value, and a tilt value, and Face_Info that is face detection information detected in step S405. The currently set values are recorded for the zoom value, pan value, and tilt value.

ここで、図６を用いて、撮影されるパノラマ画像の構成について説明する。図６は、縦５枚、横５枚、計２５枚によって構成されるパノラマ画像である。図中Ｐはパン値、Ｔはチルト値を示す。パノラマ画像生成モードでは、図６に示す初期位置のＩｍｇ（Ｐ１、Ｔ１）から撮影を開始し、パン方向に沿ってＩｍｇ（Ｐ５、Ｔ１）まで撮影する。その後、チルト角度を変更してＩｍｇ（Ｐ５、Ｔ２）を撮影し、再びパン方向に沿ってＩｍｇ（Ｐ１、Ｔ２）まで撮影する。以上の繰り返しにより、ジグザグに撮影を行い、最後は、Ｉｍｇ（Ｐ５、Ｔ５）を撮影し、撮影処理を終了する。なお、例えばＩｍｇ（Ｐ１、Ｔ１）は、パン角度変更要求５０２においてθ＝Ｐ１、チルト角度変更要求５０３においてφ＝Ｔ１としたものである。 Here, the configuration of a panoramic image to be shot will be described with reference to FIG. FIG. 6 is a panoramic image composed of 25 sheets in total, 5 vertically and 5 horizontally. In the figure, P represents a pan value and T represents a tilt value. In the panoramic image generation mode, shooting is started from Img (P1, T1) at the initial position shown in FIG. 6, and shooting is performed up to Img (P5, T1) along the pan direction. Thereafter, Img (P5, T2) is photographed by changing the tilt angle, and again to Img (P1, T2) along the pan direction. By repeating the above, shooting is performed in a zigzag manner, and finally, Img (P5, T5) is shot, and the shooting process is terminated. For example, Img (P1, T1) is obtained by setting θ = P1 in the pan angle change request 502 and φ = T1 in the tilt angle change request 503.

次にステップＳ４０５、Ｓ４０６においては、ネットワークカメラ１０１は、ステップＳ４０４で撮影された部分画像に対して顔検出を行う。ここでは、顔検出部２０９において、映像入力部２０４から出力される画像信号に基づいて、顔検出処理が実行された結果、顔が映っていると判断された場合に、上述した、静止画撮影取得応答５０５におけるＦａｃｅ＿Ｉｎｆｏ（本発明でいう判定情報に対応）に情報が記入される。更に、Ｆａｃｅ＿Ｉｎｆｏには、顔検出フラグ（本発明でいう検出結果）と顔角度情報（以下、角度情報）が含まれる。顔検出フラグは、顔が写っていると判断した場合１がセットされ、写っていると判断されなかった場合０がセットされる。また角度情報は、顔検出フラグが１にセットされた場合のみ記入され、垂直上方向に対する顔方向（口から鼻への方向）の角度の情報が記入される。図７に角度情報を説明する図を示す。角度情報には、１（０度から４５度、３１５度から３６０度）、２（４５度から１３５度）、３（１３５度から２２５度）、４（２２５度から３１５度）の４段階がある。 Next, in steps S405 and S406, the network camera 101 performs face detection on the partial image captured in step S404. Here, when the face detection unit 209 determines that a face is reflected as a result of the face detection processing based on the image signal output from the video input unit 204, the above-described still image shooting is performed. Information is written in Face_Info (corresponding to determination information in the present invention) in the acquisition response 505. Furthermore, Face_Info includes a face detection flag (detection result referred to in the present invention) and face angle information (hereinafter, angle information). The face detection flag is set to 1 when it is determined that a face is captured, and is set to 0 when it is not determined that a face is captured. The angle information is entered only when the face detection flag is set to 1, and information on the angle of the face direction (the direction from the mouth to the nose) with respect to the vertically upward direction is entered. FIG. 7 is a diagram for explaining angle information. The angle information has four levels: 1 (0 to 45 degrees, 315 to 360 degrees), 2 (45 to 135 degrees), 3 (135 to 225 degrees), and 4 (225 to 315 degrees). is there.

顔の検出及び角度検出は、例えば、予め目や鼻等のデータを記憶しておき判別する方法や撮影画像の色彩判定処理（肌色検出処理）等、既存の技術を用いることができ、ここでは、その詳細な説明は省略する。静止画撮影取得応答５０５は、ステップＳ４０４〜Ｓ４０６までのステップにおいて、生成が完了され、ＰＣ１０３に送信される。ＰＣ１０３は、通信制御部３０１を介して静止画撮影取得応答５０５を受信し、部分画像は映像伸長部３０２で伸長され、パノラマ生成部３０３に送られる。 For the face detection and the angle detection, for example, existing techniques such as a method of storing and discriminating data such as eyes and nose in advance and a color determination process (skin color detection process) of a captured image can be used. Detailed description thereof will be omitted. The still image shooting acquisition response 505 is generated in steps S404 to S406 and transmitted to the PC 103. The PC 103 receives the still image capture acquisition response 505 via the communication control unit 301, and the partial image is expanded by the video expansion unit 302 and sent to the panorama generation unit 303.

ステップＳ４０７においては、ＰＣ１０３は、パノラマ画像の構成に必要なすべての部分画像が取得されたかどうかを判定する。取得されていない場合は、ステップＳ４０３〜Ｓ４０６の処理を繰り返し、図６で説明した撮影順序に沿って行い、すべての部分画像の撮影を終了するまで繰り返す。一方、すべての部分画像が取得された場合はステップＳ４０８に進む。なお、ステップＳ４０２〜Ｓ４０４及びＳ４０７の処理は、本発明でいう撮影制御手段の一処理に対応する処理である。 In step S407, the PC 103 determines whether all partial images necessary for the configuration of the panoramic image have been acquired. If it has not been acquired, the processing of steps S403 to S406 is repeated, is performed in accordance with the shooting order described with reference to FIG. 6, and is repeated until shooting of all the partial images is completed. On the other hand, if all the partial images have been acquired, the process proceeds to step S408. Note that the processing in steps S402 to S404 and S407 is processing corresponding to one processing of the imaging control means in the present invention.

その後ステップＳ４０８、Ｓ４０９、Ｓ４１０、Ｓ４１１では、ステップＳ４０６で顔検出処理後にＦａｃｅ＿Ｉｎｆｏに顔検出がセットされたすべての部分画像に対して、顔が検出されなくなるまで、再撮影を繰り返す。なお、ここでＦａｃｅ＿Ｉｎｆｏに顔検出がセットされた部分画像を一度確認する処理は、本実施の形態では本発明の人物判定手段の一処理例に対応する処理である。 After that, in steps S408, S409, S410, and S411, re-photographing is repeated until no face is detected for all the partial images for which face detection is set in Face_Info after the face detection process in step S406. Here, the process of once confirming the partial image in which face detection is set in Face_Info is a process corresponding to a process example of the person determination unit of the present invention in the present embodiment.

この再撮影では、先ずステップＳ４０８においてＰＣ１０３は、コマンド発生部３０６により撮影に必要な要求パケットを生成する。具体的にはコマンド発生部３０６は、Ｆａｃｅ＿Ｉｎｆｏが１にセットされた静止画撮影取得応答５０５に含まれる、ズーム値、パン値、チルト値を用いて、ズーム要求５０１、パン角度変更要求５０２、チルト角度変更要求５０３を送信する。更にネットワークカメラ１０１の撮影方向が変更された後、静止画撮影取得要求５０４を送信し、ネットワークカメラ１０１に部分画像の撮影を行わせる。 In this re-photographing, first in step S 408, the PC 103 generates a request packet necessary for photographing by the command generation unit 306. Specifically, the command generation unit 306 uses the zoom value, pan value, and tilt value included in the still image shooting acquisition response 505 in which Face_Info is set to 1, and uses the zoom request 501, pan angle change request 502, tilt An angle change request 503 is transmitted. Further, after the shooting direction of the network camera 101 is changed, a still image shooting acquisition request 504 is transmitted to cause the network camera 101 to take a partial image.

その後ステップＳ４０９においてネットワークカメラ１０１が顔検出を行う。ここで顔検出がされた場合は、ステップＳ４１１を介してステップＳ４０８に戻り再撮影が行われることになる。また、顔検出がされなかった場合は、ステップＳ４１０でネットワークカメラ１０１は、Ｆａｃｅ＿Ｉｎｆｏが０の新たな静止画撮影取得応答５０５をＰＣ１０３に送信し、ＰＣ１０３が再度撮影された部分画像を取得する。その後ＰＣ１０３は、取得した部分画像を上述のようにパノラマ生成部３０３に送り、最初に同一の撮影方向にて撮影された部分画像を、この再撮影によって取得した部分画像によって置き換える。 Thereafter, in step S409, the network camera 101 performs face detection. If face detection is performed here, the process returns to step S408 via step S411 to perform re-shooting. If face detection has not been performed, the network camera 101 transmits a new still image capture acquisition response 505 with Face_Info of 0 to the PC 103 in step S410, and the PC 103 acquires a partial image captured again. Thereafter, the PC 103 sends the acquired partial image to the panorama generation unit 303 as described above, and replaces the partial image first captured in the same imaging direction with the partial image acquired by this re-imaging.

そしてステップＳ４１１においてＰＣ１０３は、当初Ｆａｃｅ＿Ｉｎｆｏに検出がセットされたすべての部分画像について顔が検出されていないかどうかを確認する。ここで、顔検出されたものがまだある場合はコマンド発生部３０６によって、顔が検出されなくなるまで再撮影を行うようにし、そうでない場合はステップＳ４１２に進む。なお、ステップＳ４０８〜Ｓ４１１までの処理は、本発明でいう再撮影制御手段の一処理に対応する処理である。 In step S 411, the PC 103 confirms whether or not a face is detected for all the partial images whose detection is initially set in Face_Info. If there is still a face detected, the command generation unit 306 performs re-photographing until no face is detected, and if not, the process proceeds to step S412. Note that the processing from step S408 to S411 is processing corresponding to one processing of the re-imaging control means in the present invention.

そしてステップＳ４１２においては、ＰＣ１０３は、パノラマ生成部３０３によってすべての部分画像をつなぎ合わせて結合画像であるパノラマ画像を生成し、映像表示部３０４で表示し、パノラマ画像生成処理を終了する。 In step S412, the PC 103 connects all partial images by the panorama generation unit 303 to generate a panorama image that is a combined image, displays the combined image on the video display unit 304, and ends the panorama image generation process.

なお再撮影では、再撮影を行う対象をＦａｃｅ＿Ｉｎｆｏの顔検出フラグがセットされた部分画像の撮影方向だけでなく、Ｆａｃｅ＿Ｉｎｆｏに含まれる角度情報から胴体等の人物部分を推測（想定）し、その撮影方向も合わせて再撮影を行うようにしても良い。 In the re-photographing, not only the shooting direction of the partial image in which the Face_Info face detection flag is set, but also the human part such as the body is estimated (assumed) from the angle information included in the Face_Info. You may make it re-photograph also in a direction.

例えば図６において、Ｉｍｇ（Ｐ１、Ｔ４）にて、角度情報が１（０度から４５度、３１５度から３６０度）であった場合は、人物画Ｉｍｇ（Ｐ１、Ｔ４）から下方向にかけて写っていると判断し、Ｉｍｇ（Ｐ１、Ｔ５）の再撮影も実施してもよい。また、人物の胴体部分が、角度方向に何枚まで写っているかは、顔検出処理において、顔の大きさ、頭の大きさを分析し、頭の大きさから平均的な人間の体格を想定することで、導き出すことは可能であるが、ここでは、その詳細な説明は省略する。 For example, in FIG. 6, when the angle information is 1 (0 to 45 degrees, 315 to 360 degrees) in Img (P1, T4), the image is taken from the portrait Img (P1, T4) downward. Therefore, re-imaging of Img (P1, T5) may be performed. In addition, the face detection process is performed to analyze the size of the face and the size of the head, and the average human size is assumed based on the size of the head. Thus, although it is possible to derive, detailed description thereof is omitted here.

続いて、図８を用いて具体的なパノラマ画像を例示し、図４のパノラマ画像生成処理を具体的に説明する。 Next, a specific panoramic image is illustrated with reference to FIG. 8, and the panoramic image generation process of FIG. 4 is specifically described.

図８は、ステップＳ４０１〜Ｓ４０７のステップにおいて、２５回の繰り返しの撮影でパノラマ生成部３０３が取得した部分画像から生成されたパノラマ画像を示す図である。図８を見て分かるように、このパノラマ画像には、たまたま二人の人物が写っており、詳細にはＩｍｇ（Ｐ３、Ｔ３）、Ｉｍｇ（Ｐ４、Ｔ３）で撮影された部分画像にそれぞれの顔が写っている。 FIG. 8 is a diagram illustrating a panorama image generated from the partial image acquired by the panorama generation unit 303 in 25 steps of photographing in steps S401 to S407. As can be seen from FIG. 8, in this panoramic image, two people happen to appear, and in detail, each partial image taken with Img (P3, T3) and Img (P4, T3) The face is reflected.

図９は、ＰＣ１０３が２５回分の静止画撮影取得応答５０５から取得する、ズーム値、パン値、チルト値、Ｆａｃｅ＿Ｉｎｆｏの一覧表を示す図である。上述したように、図９においても、Ｉｍｇ（Ｐ３、Ｔ３）、Ｉｍｇ（Ｐ４、Ｔ３）では顔が検出されており、Ｆａｃｅ＿Ｉｎｆｏのフラグに１がセットされている。ＰＣ１０３は、すべての部分画像がネットワークカメラ１０１から送信された際、このような情報を保持することになる。 FIG. 9 is a diagram showing a list of zoom values, pan values, tilt values, and Face_Info acquired by the PC 103 from the still image capturing response 505 for 25 times. As described above, also in FIG. 9, a face is detected in Img (P3, T3) and Img (P4, T3), and the flag of Face_Info is set to 1. The PC 103 holds such information when all the partial images are transmitted from the network camera 101.

図９に示した例では、ステップＳ４０８、Ｓ４０９、Ｓ４１０、Ｓ４１１で、Ｉｍｇ（Ｐ３、Ｔ３）、Ｉｍｇ（Ｐ４、Ｔ３）に対する再撮影が行われることになる。そして、更に、Ｉｍｇ（Ｐ３、Ｔ３）に対する再撮影では、Ｆａｃｅ＿Ｉｎｆｏの角度情報が１（０度から４５度、３１５度から３６０度）であるため、胴体が下方向に写っていると判断し、コマンド発生部３０６は、Ｉｍｇ（Ｐ３、Ｔ３）、Ｉｍｇ（Ｐ３、Ｔ４）、Ｉｍｇ（Ｐ３、Ｔ５）の撮影方向に対し、再撮影を行う。同様に、Ｉｍｇ（Ｐ４、Ｔ３）に対しても、角度情報に基づいて、複数の部分画像の再撮影を行う。 In the example shown in FIG. 9, re-imaging is performed for Img (P3, T3) and Img (P4, T3) in steps S408, S409, S410, and S411. Further, in the re-photographing for Img (P3, T3), since the angle information of Face_Info is 1 (0 degree to 45 degrees, 315 degrees to 360 degrees), it is determined that the body is reflected downward, The command generation unit 306 performs re-imaging in the imaging directions of Img (P3, T3), Img (P3, T4), and Img (P3, T5). Similarly, for Img (P4, T3), a plurality of partial images are re-photographed based on the angle information.

その後図８中に写りこんでいる二人の人物が、一定時間経った後いなくなったとき、ステップＳ４１１はＹＥＳとなり、ステップＳ４１２においてパノラマ生成部３０３により顔、人物が写りこんでいないパノラマ画像が生成され、映像表示部３０４で表示される。図１０に、このとき表示されるパノラマ画像を示す。 Thereafter, when the two persons appearing in FIG. 8 disappear after a certain period of time, step S411 becomes YES, and in step S412, the panorama generation unit 303 creates a panoramic image in which no face or person is reflected. Generated and displayed on the video display unit 304. FIG. 10 shows a panoramic image displayed at this time.

なお、以上の説明ではステップＳ４１１からステップＳ４１２に進む条件を、顔が検出されなくなった場合としたが、これに代えて、例えば３回など所定回数の再撮影を実施した場合は、たとえ顔が検出されたとしても、ステップＳ４１２に進むようにしてもよい。このような態様では、ポスターや写真等、背景の中に顔が入っている場合に有効になる。 In the above description, the condition for proceeding from step S411 to step S412 is that the face is no longer detected. Instead, for example, when the re-photographing is performed a predetermined number of times such as three times, the face is not detected. Even if it is detected, the process may proceed to step S412. Such an embodiment is effective when a face is in the background, such as a poster or a photograph.

また、ステップＳ４０５では、顔検出について説明したが、主目的は人物を検出することであり、この限りではない。顔検出部２０９に動き検出回路を含むことにより、動き検出も同時に処理させ、人物検出の精度を高めることも、もちろん可能である。 In step S405, face detection has been described. However, the main purpose is to detect a person, and this is not restrictive. By including a motion detection circuit in the face detection unit 209, it is of course possible to simultaneously process motion detection and increase the accuracy of human detection.

以上、本発明の第１の実施の形態を説明した。この構成では、部分画像に人物が写っていた場合に、再度撮影をしなおすことで、結合画像であるパノラマ画像への人物の写りこみの可能性を抑えることが可能となる。また、再撮影の処理は、パノラマ画像の生成前に自動で行われるため、人物の写り込みのない結合画像を短時間で生成することが可能である。 The first embodiment of the present invention has been described above. In this configuration, when a person is captured in the partial image, it is possible to suppress the possibility that the person is reflected in the panoramic image that is the combined image by re-taking the image. In addition, since the re-photographing process is automatically performed before the panoramic image is generated, it is possible to generate a combined image in which a person is not reflected in a short time.

（第２の実施の形態）
次に本発明の第２の実施の形態について説明する。第１の実施の形態では、図４のパノラマ画像生成処理において、ステップＳ４０３〜Ｓ４０７で、まず一通りすべての部分画像を撮影した後、顔を検出した箇所について再度撮影を行っている。第２の実施の形態では、これに代えて、ネットワークカメラ１０１が、顔を検出した直後に再撮影を行うようにする。以下、この際の動作手順を図１１を用いて説明する。なお、図１１のパノラマ画像生成処理において、図４と同一のステップについては、同一のステップ番号を示し、説明を省略する。 (Second Embodiment)
Next, a second embodiment of the present invention will be described. In the first embodiment, in the panoramic image generation process of FIG. 4, in steps S 403 to S 407, first, all partial images are first photographed, and then the portion where the face is detected is photographed again. In the second embodiment, instead of this, the network camera 101 performs re-photographing immediately after detecting the face. The operation procedure at this time will be described below with reference to FIG. In the panoramic image generation process in FIG. 11, the same steps as those in FIG. 4 are denoted by the same step numbers, and description thereof is omitted.

ステップＳ４０４の撮影の後、ステップＳ１１０１においてネットワークカメラ１０１は、顔検出部２０９によって撮影した部分画像に顔があるかどうかを検出する。ここで顔を検出した場合は、ネットワークカメラ１０１は、静止画撮影取得応答５０５を生成せず、同一の撮影方向で再度撮影するようにする（Ｓ４０４）。本実施の形態では、これらの処理を、顔が検出されなくなるまで繰り返す。顔が検出されなくなった場合、その部分画像用いて静止画撮影取得応答５０５を生成し、ＰＣ１０３へ送信するようにする。なお、ステップＳ１１０１の処理は、本実施の形態では本発明の人物判定手段の一処理例に対応する処理である。 After photographing in step S404, in step S1101, the network camera 101 detects whether or not the partial image photographed by the face detection unit 209 has a face. If a face is detected here, the network camera 101 does not generate a still image shooting acquisition response 505, but takes a picture again in the same shooting direction (S404). In the present embodiment, these processes are repeated until no face is detected. When a face is no longer detected, a still image shooting acquisition response 505 is generated using the partial image and transmitted to the PC 103. Note that the processing in step S1101 is processing corresponding to one processing example of the person determination unit of the present invention in the present embodiment.

また、ここでは、ステップＳ１１０１からステップＳ４０７に進む条件を、顔が検出されなくなった場合としたが、この限りでなく、例えば３回など所定回数の再撮影を実施した場合は、たとえ顔が検出されたとしてもステップＳ４０７に進むようにしてもよい。このような態様では、ポスターや写真など、背景の中に顔が入っている場合に有効になる。 Here, the condition for proceeding from step S1101 to step S407 is that the face is no longer detected. However, the present invention is not limited to this. For example, when a predetermined number of times of re-shooting is performed, such as three times, the face is detected. Even if it is done, the process may proceed to step S407. Such an aspect is effective when a face is in the background, such as a poster or a photograph.

以上、本発明の第２の実施の形態を説明した。この構成では、上述した第１の実施の形態の構成と同様に、部分画像に人物が写っていた場合に、再度撮影をしなおすことで、結合画像であるパノラマ画像への人物の写りこみの可能性を抑えることが可能となる。また、再撮影の処理は、パノラマ画像の生成前に自動で行われるため、人物の写り込みのない結合画像を短時間で生成することが可能である。 Heretofore, the second embodiment of the present invention has been described. In this configuration, as in the configuration of the first embodiment described above, when a person is captured in a partial image, the person is reflected in the panorama image that is a combined image by re-taking the image. It is possible to suppress the possibility. In addition, since the re-photographing process is automatically performed before the panoramic image is generated, it is possible to generate a combined image in which a person is not reflected in a short time.

以上、本発明を第１の実施の形態及び第２の実施の形態により説明したが、本発明を実施できる形態はこれらに限定されるものでなく、これら実施の形態の構成を変更しても本発明を実施することができる。例えば、ネットワークカメラ１０１において、部分画像の撮影、人物の判定、部分画像の再撮影、パノラマ画像の生成という一連の処理をする構成であっても本発明を実施できる。また、顔検出の機能をＰＣ１０３に持たせ、ネットワークカメラ１０１から部分画像のみを取得する構成であっても本発明を実施することができる。 As mentioned above, although this invention was demonstrated by 1st Embodiment and 2nd Embodiment, the form which can implement this invention is not limited to these, Even if the structure of these embodiment is changed. The present invention can be implemented. For example, the present invention can be implemented even if the network camera 101 is configured to perform a series of processes such as partial image shooting, person determination, partial image re-shooting, and panoramic image generation. Further, the present invention can be implemented even if the PC 103 is provided with a face detection function and only a partial image is acquired from the network camera 101.

また、本発明の目的は、以下の処理を実行することによっても達成される。即ち、上述した実施の形態の機能を実現するプログラムコードを記録した記憶媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）が記憶媒体に格納されたプログラムコードを読み出す処理である。 The object of the present invention can also be achieved by executing the following processing. That is, a storage medium storing a program code for realizing the functions of the above-described embodiments is supplied to a system or apparatus, and a program code (or CPU or MPU) of the system or apparatus is stored in the storage medium. Is a process of reading.

この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施の形態の機能を実現することになり、そのプログラムコード及び該プログラムコードを記憶した記憶媒体は本発明を構成することになる。 In this case, the program code itself read from the storage medium realizes the functions of the above-described embodiments, and the program code and the storage medium storing the program code constitute the present invention.

また、プログラムコードを供給するための記憶媒体としては、次のものを用いることができる。例えば、フロッピー（登録商標）ディスク、ハードディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ＤＶＤ＋ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等である。または、プログラムコードをネットワークを介してダウンロードしてもよい。 Moreover, the following can be used as a storage medium for supplying the program code. For example, floppy (registered trademark) disk, hard disk, magneto-optical disk, CD-ROM, CD-R, CD-RW, DVD-ROM, DVD-RAM, DVD-RW, DVD + RW, magnetic tape, nonvolatile memory card, ROM or the like. Alternatively, the program code may be downloaded via a network.

また、コンピュータが読み出したプログラムコードを実行することにより、上記実施の形態の機能が実現される場合も本発明に含まれる。加えて、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した実施の形態の機能が実現される場合も含まれる。 Further, the present invention includes a case where the function of the above embodiment is realized by executing the program code read by the computer. In addition, an OS (operating system) running on the computer performs part or all of the actual processing based on the instruction of the program code, and the functions of the above-described embodiments are realized by the processing. Cases are also included.

更に、前述した実施の形態の機能が以下の処理によって実現される場合も本発明に含まれる。即ち、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行う場合である。 Furthermore, the present invention includes a case where the functions of the above-described embodiment are realized by the following processing. That is, the program code read from the storage medium is written in a memory provided in a function expansion board inserted into the computer or a function expansion unit connected to the computer. Thereafter, based on the instruction of the program code, the CPU or the like provided in the function expansion board or function expansion unit performs part or all of the actual processing.

本発明の第１の実施の形態に係るネットワークカメラシステムの概念図である。1 is a conceptual diagram of a network camera system according to a first embodiment of the present invention. 本発明の第１の実施の形態に係るネットワークカメラシステムに含まれるネットワークカメラの内部構成を示すブロック図である。It is a block diagram which shows the internal structure of the network camera contained in the network camera system which concerns on the 1st Embodiment of this invention. 本発明の第１の実施の形態に係るネットワークカメラシステムに含まれるパーソナルコンピュータ（ＰＣ）の内部構成を示すブロック図である。It is a block diagram which shows the internal structure of the personal computer (PC) contained in the network camera system which concerns on the 1st Embodiment of this invention. 本発明の第１の実施の形態に係るネットワークカメラシステムによって実行されるパノラマ画像の撮影及び生成処理の手順を示したフローチャートである。It is the flowchart which showed the procedure of imaging | photography and a production | generation process of the panoramic image performed by the network camera system which concerns on the 1st Embodiment of this invention. 本発明の第１の実施の形態に係るネットワークカメラシステムによって実行されるパノラマ画像の撮影及び生成処理においてカメラ制御コマンドや映像の受け渡しの際に用いるパケットの内容を示した図である。It is the figure which showed the content of the packet used at the time of delivery of a camera control command or an image | video in the panorama image imaging | photography and production | generation process performed with the network camera system which concerns on the 1st Embodiment of this invention. 本発明の第１の実施の形態に係るネットワークカメラによって撮影されるパノラマ画像の構成例を示した図である。It is the figure which showed the structural example of the panoramic image image | photographed with the network camera which concerns on the 1st Embodiment of this invention. 本発明の第１の実施の形態に係るネットワークカメラシステムにおいて映像の受け渡しの際に用いるパケットに含まれる顔角度情報を示した図である。It is the figure which showed the face angle information contained in the packet used at the time of the delivery of an image | video in the network camera system which concerns on the 1st Embodiment of this invention. 本発明の第１の実施の形態に係るネットワークカメラによって撮影された部分画像及びそれから生成される結合画像の一例を示した図である。It is the figure which showed an example of the partial image image | photographed with the network camera which concerns on the 1st Embodiment of this invention, and the combined image produced | generated therefrom. 本発明の第１の実施の形態に係るパーソナルコンピュータ（ＰＣ）がネットワークカメラから取得する、ズーム値、パン値、チルト値、Ｆａｃｅ＿Ｉｎｆｏの一覧表を示した図である。It is the figure which showed the list of zoom value, pan value, tilt value, and Face_Info which the personal computer (PC) based on the 1st Embodiment of this invention acquires from a network camera. 本発明の第１の実施の形態に係るネットワークカメラシステムによって生成された人物の写りこみのない結合画像の一例を示した図である。It is the figure which showed an example of the combined image without the reflection of the person produced | generated by the network camera system which concerns on the 1st Embodiment of this invention. 本発明の第２の実施の形態に係るネットワークカメラシステムによって実行されるパノラマ画像の撮影及び生成処理の手順を示したフローチャートである。It is the flowchart which showed the procedure of imaging | photography and a production | generation process of the panoramic image performed by the network camera system which concerns on the 2nd Embodiment of this invention.

Explanation of symbols

１０１ネットワークカメラ
１０２ネットワーク
１０３パーソナルコンピュータ（ＰＣ）
２０１撮像部
２０２可動雲台
２０３カメラ・雲台制御部
２０４映像入力部
２０５映像圧縮部
２０６通信制御部
２０７コマンド解釈部
２０８記憶部
２０９顔検出部
３０１通信制御部
３０２映像圧縮部
３０３パノラマ生成部
３０４映像表示部
３０５表示制御部
３０６コマンド発生部 101 Network Camera 102 Network 103 Personal Computer (PC)
DESCRIPTION OF SYMBOLS 201 Image pick-up part 202 Movable head 203 Camera / head control part 204 Video input part 205 Video compression part 206 Communication control part 207 Command interpretation part 208 Storage part 209 Face detection part 301 Communication control part 302 Video compression part 303 Panorama generation part 304 Video display unit 305 Display control unit 306 Command generation unit

Claims

An image generation device that generates a combined image by connecting a plurality of partial images,
Photographing control means for causing the photographing means to photograph partial images in a plurality of photographing directions;
Person determination means for determining whether or not a person is included in the partial image photographed by the photographing means;
An image generation apparatus comprising: a re-shooting control unit that causes the photographing unit to re-shoot the partial image when the person determination unit determines that a person is included in the partial image.

The image generation apparatus according to claim 1, wherein the photographing control unit performs zoom control, pan control, and tilt control.

The said person determination means determines whether a person is contained in a partial image based on the detection result of face detection, skin color detection, or motion detection. Image generation device.

The re-photographing control unit performs control so that re-photographing is performed in the same photographing direction immediately after the person determining unit determines that a person is included in the partial image. The image generating apparatus according to any one of the above.

The person determination unit holds determination information as to whether or not a person is included in the partial images together with the shooting parameters until the shooting of the partial images by the shooting unit in all the shooting directions is completed. ,
The image generation apparatus according to claim 1, wherein the re-shooting control unit performs control so that re-shooting is performed based on the determination information and the shooting parameters.

The image generation apparatus according to claim 5, wherein the shooting parameter includes one or more of set values in zoom control, pan control, and tilt control during shooting.

The image generation apparatus according to claim 5, wherein the determination information includes face angle information indicating a face angle.

8. The image according to claim 7, wherein the re-shooting control unit assumes a person part based on the face angle information, and controls to re-shoot a partial image assumed to include the person part. Generator.

The person determination unit performs person determination again on the partial image re-photographed by the re-photographing control unit,
The image generating apparatus according to claim 1, wherein the re-shooting control unit performs control so that re-shooting is repeated until it is not determined that a person is included.

The person determination unit performs person determination again on the partial image re-photographed by the re-photographing control unit,
The re-photographing control means controls to repeat re-photographing until it is not determined that a person is included or until a predetermined number of re-photographing is performed. The image generating apparatus described in 1.

The image generation apparatus according to claim 1, wherein the combined image is a panoramic image.

An image generation system in which a photographing apparatus and an information processing apparatus are connected via a network, and a plurality of partial images photographed by the photographing apparatus are connected to generate a combined image,
Photographing control means for causing the photographing device to photograph partial images in a plurality of photographing directions;
Person determination means for determining whether or not a person is included in the captured partial image;
An image generation system comprising: a re-shooting control unit that causes the photographing device to re-shoot the partial image when the person determination unit determines that a person is included in the partial image.

An image generation method for generating a combined image by connecting a plurality of partial images,
A photographing control step for causing the photographing means to photograph partial images in a plurality of photographing directions;
A person determination step of determining whether or not a person is included in the partial image captured by the photographing unit;
If it is determined in the person determination step that a person is included in the partial image, a re-shooting control step for causing the shooting unit to re-shoot the partial image;
An image generation method comprising: an image generation step of generating a combined image by joining the captured or re-captured partial images.

A program for causing a computer to execute an image generation method for connecting a plurality of partial images to generate a combined image,
A photographing control step for causing the photographing means to photograph partial images in a plurality of photographing directions;
A person determination step of determining whether or not a person is included in the partial image captured by the photographing unit;
If it is determined in the person determination step that a person is included in the partial image, a re-shooting control step for causing the shooting unit to re-shoot the partial image;
A program for causing a computer to execute an image generation step of generating a combined image by joining the captured or re-captured partial images.