JP2005228140A - Method for adjusting object region detection information - Google Patents

Method for adjusting object region detection information Download PDF

Info

Publication number
JP2005228140A
JP2005228140A JP2004037188A JP2004037188A JP2005228140A JP 2005228140 A JP2005228140 A JP 2005228140A JP 2004037188 A JP2004037188 A JP 2004037188A JP 2004037188 A JP2004037188 A JP 2004037188A JP 2005228140 A JP2005228140 A JP 2005228140A
Authority
JP
Japan
Prior art keywords
image
subject
detection information
color information
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2004037188A
Other languages
Japanese (ja)
Other versions
JP2005228140A5 (en
JP4328639B2 (en
Inventor
Kaname Tomite
要 冨手
Toshiichi Oshima
登志一 大島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2004037188A priority Critical patent/JP4328639B2/en
Priority to US10/948,143 priority patent/US7574070B2/en
Publication of JP2005228140A publication Critical patent/JP2005228140A/en
Publication of JP2005228140A5 publication Critical patent/JP2005228140A5/ja
Application granted granted Critical
Publication of JP4328639B2 publication Critical patent/JP4328639B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)
  • Studio Circuits (AREA)
  • Image Analysis (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To easily generate and adjust object detection information for detecting a predetermined object region included in an actual image. <P>SOLUTION: Object color information as object detection information is automatically acquired and registered by comparing color information included in an actual image including an object with color information included in an actual image excluding any actual image. In an image(1001) showing the object region detected by the registered object color information, the color information of pixels designated by a mouse cursor 1002 as erroneously recognized regions(1004, 1005) is added to or erased from the object color information so that the registered object color information can be easily adjusted. <P>COPYRIGHT: (C)2005,JPO&NCIPI

Description

本発明は、実写画像から所定の被写体領域を検出するために用いられる被写体領域検出情報の生成方法及び調整方法に関し、特に実写画像とコンピュータグラフィックスを、前記実写画像中の所定の被写体領域を考慮して合成する際に有用な被写体領域検出情報の調整方法に関する。   The present invention relates to a method for generating and adjusting subject area detection information used for detecting a predetermined subject area from a photographed image, and more particularly to a photographed image and computer graphics, taking a predetermined subject area in the photographed image into consideration. The present invention relates to a method for adjusting subject area detection information that is useful when combining images.

実写風景を背景として、その上にコンピュータグラフィックス(以下、CGと記述)を重畳して提示し、体験者に対して、あたかもその場に仮想の物体が存在するかのような体験を行わせる複合現実感(Mixed Reality:MR)の技術がある。このMR技術を用いて臨場感豊かな体験を実現するには、背景となる実写風景の上にただ単純にCGを重畳して表示するだけではなく、体験者が実際にCGで描画される仮想物体(以下、単に仮想物体と言うことがある)に触ったり操作する(しているように体感させる)といったインタラクションが重要になってくる。そして、このようなインタラクションを実現するめには、仮想物体よりも手前(前景)に仮想物体を操作する体験者の手など(以下、被写体という)を表示することが必要である。なぜなら、仮想物体よりも手前にあるべき被写体が仮想物体によって隠されてしまうと、仮想物体との距離感や現実感が破綻し、臨場感を損ねてしまうからである。   Computer graphics (hereinafter referred to as CG) are superimposed on the background of live-action scenery and presented to the experiencer as if a virtual object existed on the spot. There is a mixed reality (MR) technology. In order to realize a rich experience using this MR technology, not only simply superimposing and displaying the CG on the live-action scene as the background, but also the virtual that the user actually draws in CG. Interactions such as touching and operating an object (hereinafter sometimes simply referred to as a virtual object) are becoming important. In order to realize such interaction, it is necessary to display the hands of an experienced person who operates the virtual object (hereinafter referred to as a subject) in front of the virtual object (foreground). This is because if the subject that should be in front of the virtual object is hidden by the virtual object, the sense of distance from the virtual object and the sense of reality will break down, impairing the sense of reality.

このような課題を解決するために、出願人は特許文献1において、最前景とすべき被写体の画像をCG画像によって隠さないようにする技術を提案した。この技術は、背景と被写体とを実写画像として取得し、この実写画像から、予め手作業でシステムに登録した、CG画像より手前に表示すべき被写体を、被写体検出情報としての色情報を有する領域を被写体領域として抽出し、被写体領域にはCG画像の描画を禁止するものである。この技術により、最前景となるべき被写体がCG画像で隠されることなく、仮想物体よりも手前にあるように表示され、臨場感の高い複合現実感体験を行うことが可能となる。   In order to solve such a problem, the applicant proposed in Japanese Patent Application Laid-Open No. H11-228707 a technique for preventing the image of the subject to be the foreground from being hidden by the CG image. This technique obtains a background and a subject as a real image, and from this real image, an object that has been registered in the system manually and has a color information as subject detection information that is to be displayed in front of the CG image. Is extracted as a subject region, and drawing of a CG image is prohibited in the subject region. With this technique, the subject that should be the foreground is displayed so as to be in front of the virtual object without being hidden by the CG image, and a mixed reality experience with a high presence can be performed.

特開2003−296759号公報JP 2003-296759 A

しかしながら、特許文献1では、CG画像の描画を禁止する被写体領域を検出するための被写体の色情報を手作業でシステムに登録する必要があった。そして、手作業による色情報の登録には知識と慣れが必要であり、誰でもが簡単にできる作業ではない。   However, in Patent Document 1, it is necessary to manually register subject color information for detecting a subject area for which CG image drawing is prohibited in the system. In addition, manual registration of color information requires knowledge and familiarity and is not an easy task for anyone.

このような技術的背景から、経験や知識のある者が手作業で被写体検出情報の登録を行うのではなく、体験者やシステムのオペレータといった知識、経験のない者でも、比較的簡単な操作で被写体検出情報を登録可能とする技術が要望されている。   Because of this technical background, people with experience and knowledge do not manually register subject detection information, but even those with no knowledge or experience, such as experienced people or system operators, can perform relatively simple operations. There is a demand for a technique that enables registration of subject detection information.

また、簡単な操作で被写体検出情報を登録できたとしても、特に照明条件の変化などにより、実写画像における被写体の色情報が事前に登録された色情報と変化した場合は、誤認識する可能性がある。すなわち、例えば誤って被写体であると認識された領域では本来CG描画を行うべき領域についてもCGの描画が禁止され、隠されるべき背景画像が見えてしまうし、逆に誤って背景(被写体でない)と認識された領域では、本来CG描画を禁止すべき被写体領域上にCGが描画されてしまう。そのため、正確な被写体領域検出を行うには被写体検出情報を調整する必要がある。   Even if subject detection information can be registered with a simple operation, it may be erroneously recognized if the subject color information in a live-action image changes from pre-registered color information due to changes in lighting conditions, etc. There is. That is, for example, in a region that is mistakenly recognized as a subject, CG rendering is prohibited even in a region where CG rendering should be originally performed, and a background image to be hidden can be seen. In the area recognized as CG, the CG is drawn on the subject area where CG drawing should be prohibited. Therefore, it is necessary to adjust subject detection information in order to perform accurate subject region detection.

このように、被写体領域の誤認識に起因したCG画像中の背景画像や、被写体領域中のCG画像といったノイズ領域を削減又は除去するための、被写体検出情報の調整技術もまた要望されていた。   Thus, there has also been a demand for a technique for adjusting subject detection information for reducing or removing a noise region such as a background image in a CG image or a CG image in the subject region resulting from erroneous recognition of the subject region.

本発明はこれら従来技術の課題及び技術的要望に鑑みてなされたものであり、その主な目的の1つは、実写画像中の被写体領域を検出するための被写体検出情報を簡便な操作で登録可能とすることにある。
また、本発明の別の主な目的は、登録された被写体検出情報を直感的かつ容易に修正可能とすることにある。
The present invention has been made in view of these problems and technical demands of the prior art, and one of its main purposes is to register subject detection information for detecting a subject area in a live-action image with a simple operation. It is to make it possible.
Another main object of the present invention is to make it possible to intuitively and easily correct registered subject detection information.

上述の目的は、実写画像中に含まれる所定の被写体領域を検出するための被写体検出情報の調整方法であって、実写画像を取得する実写画像取得工程と、現在登録されている被写体検出情報を用いて、実写画像から所定の被写体領域を抽出し、実写画像中の所定の被写体領域と、それ以外の領域とが視覚的に異なって表わされる被写体領域画像を生成する被写体領域画像生成工程と、被写体領域画像を半透明画像として実写画像上に重畳した調整用画像を生成する調整用画像生成工程と、調整用画像をユーザインタフェースを介して提示する提示工程と、ユーザインタフェースを介して指定された調整用画像の領域に対応する実写画像の領域の色情報から、追加又は削除すべき被写体検出情報を生成し、現在登録されている被写体検出情報を更新する更新工程と、を有することを特徴とする被写体検出情報調整方法によって達成される。   The above-described object is a method for adjusting subject detection information for detecting a predetermined subject area included in a live-action image, and includes a live-action image acquisition step for acquiring a real-shot image and currently registered subject detection information. Using a subject area image generating step for extracting a predetermined subject area from the live-action image and generating a subject area image in which the predetermined subject area in the live-action image is visually expressed differently from the other areas; An adjustment image generation step for generating an adjustment image by superimposing a subject area image on a live-action image as a translucent image, a presentation step for presenting the adjustment image via a user interface, and a specification specified via the user interface Object detection information to be added or deleted is generated from the color information of the real image area corresponding to the adjustment image area, and the currently registered object detection information is obtained. An updating step of new to be achieved by the subject detection information adjustment method characterized by having a.

また、上述の目的は、実写画像中に含まれる所定の被写体領域を検出するための被写体検出情報の調整装置であって、実写画像を取得する実写画像取得手段と、現在登録されている被写体検出情報を用いて、実写画像から所定の被写体領域を抽出し、実写画像中の所定の被写体領域と、それ以外の領域とが視覚的に異なって表わされる被写体領域画像を生成する被写体領域画像生成手段と、被写体領域画像を半透明画像として実写画像上に重畳した調整用画像を生成する調整用画像生成手段と、調整用画像をユーザインタフェースを介して提示する提示手段と、ユーザインタフェースを介して指定された調整用画像の領域に対応する実写画像の領域の色情報から、追加又は削除すべき被写体検出情報を生成し、現在登録されている被写体検出情報を更新する更新手段と、を有することを特徴とする被写体検出情報調整装置によっても達成される。   The above-described object is an apparatus for adjusting subject detection information for detecting a predetermined subject area included in a live-action image, and includes a real-image acquisition means for acquiring a real-shot image, and a currently registered subject detection. A subject area image generating means for extracting a predetermined subject area from a photographed image using information and generating a subject area image in which the prescribed subject area in the photographed image is visually different from other areas. An adjustment image generation means for generating an adjustment image obtained by superimposing the subject area image as a translucent image on the real image, a presentation means for presenting the adjustment image via the user interface, and designation via the user interface The subject detection information to be added or deleted is generated from the color information of the real image area corresponding to the adjusted image area, and the currently registered subject detection is performed. Also achieved by the subject detection information adjusting apparatus comprising: the updating means for updating the broadcast, the.

また、上述の目的は、実写画像中に含まれる所定の被写体領域を検出するための被写体検出情報の調整方法であって、登録されている被写体検出情報を用いて、入力実写画像から被写体領域の検出結果を表示させ、ユーザ指示に基づき、検出結果からノイズ領域を選択し、選択されたノイズ領域に基づき、被写体検出情報を調整することを特徴とする被写体検出情報調整方法によっても達成される。   The above-described object is a method for adjusting subject detection information for detecting a predetermined subject region included in a live-action image, and uses the registered subject detection information to detect the subject region from an input live-action image. This is also achieved by a subject detection information adjustment method that displays a detection result, selects a noise region from the detection result based on a user instruction, and adjusts subject detection information based on the selected noise region.

また、上述の別の主な目的は、本発明の被写体検出情報調整方法をコンピュータに実行させるプログラム、又はこのプログラムを格納したコンピュータ読み取り可能な記録媒体によっても達成される。   The other main object described above is also achieved by a program that causes a computer to execute the subject detection information adjustment method of the present invention, or a computer-readable recording medium that stores this program.

以上の構成によれば、被写体領域を検出するための被写体検出情報を自動的に登録することができる。また、登録された被写体検出情報を簡易な操作で調整することができる。   According to the above configuration, subject detection information for detecting a subject region can be automatically registered. Also, the registered subject detection information can be adjusted with a simple operation.

以下、添付図面を参照して本発明をその好適な実施形態に基づいて詳細に説明する。
図1は、本発明の一実施形態としての映像合成装置の構成例を示すブロック図、図2は図1のシステムを複合現実感アプリケーションに適用した状態を模式的に示す図である。
Hereinafter, the present invention will be described in detail based on preferred embodiments with reference to the accompanying drawings.
FIG. 1 is a block diagram showing a configuration example of a video composition apparatus as an embodiment of the present invention, and FIG. 2 is a diagram schematically showing a state in which the system of FIG. 1 is applied to a mixed reality application.

図1において、小型のビデオカメラ101は現実空間を撮影する。本実施形態においてビデオカメラ101は、映像合成装置のユーザ(複合現実感の体験者)201が装着する頭部搭載型画像表示装置(Head Mounted Display、以下HMDという)109の、ユーザの目に近い部分に、ユーザの視界方向と一致する向きに固定されている(図2参照)。画像入力部102は、ビデオカメラ101より撮影された画像(映像)を入力する。ビデオカメラ101で撮影された画像の信号は、画像入力部102によって処理され、ディジタル画像データとして後述する被写体領域抽出部103と画像合成部108に供給され、画像生成部106で生成されたCG画像と合成されてユーザのHMD109に表示される。   In FIG. 1, a small video camera 101 captures a real space. In this embodiment, the video camera 101 is close to the user's eyes of a head-mounted image display device (Head Mounted Display, hereinafter referred to as HMD) 109 worn by a user (mixed reality experience person) 201 of a video composition device. The portion is fixed in a direction that coincides with the user's viewing direction (see FIG. 2). The image input unit 102 inputs an image (video) taken by the video camera 101. A signal of an image photographed by the video camera 101 is processed by the image input unit 102, supplied as digital image data to a subject region extraction unit 103 and an image composition unit 108, which will be described later, and a CG image generated by the image generation unit 106. And displayed on the user's HMD 109.

被写体領域抽出部103は画像入力部102から入力されたディジタル画像データの中から、被写体色情報登録部110に登録された色に対応するデータを抽出し、その抽出結果を被写体領域情報として画像合成部108へ送る。すなわち、被写体領域抽出部103は、画像入力部102から供給されたディジタル画像データの各画素の色情報を被写体色情報登録部110に登録してある被写体の色情報と比較し、これと一致する場合には当該画素は被写体の領域であると判断する。なお、この判断においては、完全一致のみならず、予め定めた誤差範囲を許容して判断しても良い。被写体領域抽出部103が画像合成部108に与える被写体領域情報としては、例えば被写体領域に含まれるならば1、そうでないならば0のような値を各画素に割り当てることにより生成した画像データの形態であってよい。   The subject area extraction unit 103 extracts data corresponding to the color registered in the subject color information registration unit 110 from the digital image data input from the image input unit 102, and combines the extracted result as subject area information. Send to part 108. That is, the subject area extraction unit 103 compares the color information of each pixel of the digital image data supplied from the image input unit 102 with the color information of the subject registered in the subject color information registration unit 110, and matches the color information. In this case, it is determined that the pixel is a subject area. In this determination, not only perfect matching but also a predetermined error range may be allowed. The subject area information provided by the subject area extraction unit 103 to the image composition unit 108 is, for example, a form of image data generated by assigning each pixel a value such as 1 if included in the subject area, and 0 otherwise. It may be.

一方、カメラ位置姿勢計測部105は、カメラ位置姿勢センサ104からの信号に基づいてビデオカメラ101の位置姿勢を検出し、これを画像生成部106へ送る。カメラ位置姿勢センサ104は、例えば磁気センサで構成され、図2に示すようにHMD109に装着されている。カメラ位置姿勢計測部105は、カメラ位置姿勢センサ104からの出力信号を入力し、カメラ101の3次元位置と姿勢を推定する。なお、カメラ位置姿勢センサ104は、磁気センサの他に、光学式センサ、超音波式センサ、機械式センサなど、用途に合わせて好適な手段を任意に選択してよい。   On the other hand, the camera position / orientation measurement unit 105 detects the position / orientation of the video camera 101 based on a signal from the camera position / orientation sensor 104, and sends this to the image generation unit 106. The camera position / orientation sensor 104 is constituted by a magnetic sensor, for example, and is attached to the HMD 109 as shown in FIG. The camera position / orientation measurement unit 105 receives an output signal from the camera position / orientation sensor 104 and estimates the three-dimensional position and orientation of the camera 101. The camera position / orientation sensor 104 may arbitrarily select a suitable means according to the application, such as an optical sensor, an ultrasonic sensor, or a mechanical sensor, in addition to the magnetic sensor.

画像生成部106では、カメラ位置姿勢計測部105から供給されるカメラの3次元位置と姿勢の情報を用いて、ビデオカメラ101で撮影された映像に合わせたCG画像が生成される。CG画像の生成においては、仮想空間データベース107に含まれるCGモデル(仮想物体)の幾何情報、色やテクスチャなどの属性情報、および照明情報が用いられる。3次元CG画像の生成は既知の技術であるので説明を省略する。生成されたCG画像は画像合成部108へ送られる。   In the image generation unit 106, a CG image that matches the video captured by the video camera 101 is generated using the information about the three-dimensional position and orientation of the camera supplied from the camera position / orientation measurement unit 105. In generating a CG image, geometric information of a CG model (virtual object) included in the virtual space database 107, attribute information such as color and texture, and illumination information are used. Since the generation of the three-dimensional CG image is a known technique, description thereof is omitted. The generated CG image is sent to the image composition unit 108.

画像合成部108では、画像入力部102より入力される映像に画像生成部106で生成したCG画像を重畳描画する。このとき、被写体領域抽出部103より送られて来た被写体領域(値が1の領域)においては、CG画像の描画を禁止し、ビデオカメラ101からの映像がそのまま表示されるようにする。こうして画像合成部108で生成された合成画像は、HMD109に送られ、表示される。   In the image composition unit 108, the CG image generated by the image generation unit 106 is superimposed and drawn on the video input from the image input unit 102. At this time, in the subject area (value of 1) sent from the subject area extraction unit 103, the drawing of the CG image is prohibited, and the video from the video camera 101 is displayed as it is. The composite image generated by the image composition unit 108 is sent to the HMD 109 and displayed.

なお、以上のような図1の構成において、ビデオカメラ101、カメラ位置姿勢センサ104はHMD109に装着され、他の構成は例えばビデオキャプチャ機能を有する汎用的なコンピュータ装置において、必要なソフトウェアを実行することで実現することができる。また、図1においては示していないが、本実施形態の映像合成装置には、オペレータが装置の設定などの操作を行うために必要な表示装置(モニタ)や、マウス、キーボード等の入力機器なども含まれる。   In the configuration of FIG. 1 as described above, the video camera 101 and the camera position / orientation sensor 104 are mounted on the HMD 109, and other configurations execute necessary software in a general-purpose computer device having a video capture function, for example. Can be realized. Although not shown in FIG. 1, the video composition apparatus according to the present embodiment includes a display device (monitor) necessary for an operator to perform operations such as device settings, and input devices such as a mouse and a keyboard. Is also included.

以下、このような構成を有する映像合成装置の動作及び処理について、図2及び図3を参照してより具体的に説明する。図2は図1のシステムを複合現実感アプリケーションに適用した状態を模式的に示す図であり、図3は図2のアプリケーションにおいて映像合成装置が行う画像合成処理を説明する図である。   Hereinafter, the operation and processing of the video composition apparatus having such a configuration will be described more specifically with reference to FIGS. FIG. 2 is a diagram schematically showing a state where the system of FIG. 1 is applied to the mixed reality application, and FIG. 3 is a diagram for explaining image composition processing performed by the video composition device in the application of FIG.

図2において、ユーザ201は、実写映像とCG画像を合成して表示するための表示装置であるHMD109を頭部203に装着し、椅子202に座っている。なお、ユーザ201は着座以外の任意の姿勢を取っていても良い。また、上述したようにHMD109にはビデオカメラ101やカメラ位置姿勢センサ104が搭載されている。なお、本実施形態において、CG画像より前景とすべき被写体はユーザ201の手204であるとし、背景とすべき現実の対象物はユーザの手204以外の現実物体(壁や鉢植え等)205である。   In FIG. 2, a user 201 is sitting on a chair 202 with the HMD 109, which is a display device for synthesizing and displaying a live-action video and a CG image, on the head 203. Note that the user 201 may take any posture other than sitting. As described above, the video camera 101 and the camera position / orientation sensor 104 are mounted on the HMD 109. In the present embodiment, the subject that should be the foreground from the CG image is the user's 201 hand 204, and the actual object that should be the background is a real object (such as a wall or potted plant) 205 other than the user's hand 204. is there.

HMD109に表示される画像は、図3の(a)のような現実空間の実写風景を背景に、図3の(b)のようなCG画像(仮想自動車内部画像206)を重畳する。このとき、CG画像の前景として(すなわち、CG画像に隠されないように)被写体(ユーザの手204)が表示されるようにCG画像を重畳し、図3の(c)に示すような目的とする合成画像を生成する。このように、体験者に臨場感の高い複合現実感体験させるためには、CG画像の前景となる被写体領域にはCG画像を描画しないことが重要である。   The image displayed on the HMD 109 superimposes a CG image (virtual car internal image 206) as shown in FIG. 3B against a background of a real scene in real space as shown in FIG. At this time, the CG image is superimposed so that the subject (the user's hand 204) is displayed as the foreground of the CG image (that is, not hidden by the CG image), and the purpose as shown in FIG. A composite image to be generated is generated. As described above, in order for the experience person to experience a mixed reality experience with a high sense of reality, it is important not to draw a CG image in the subject area that is the foreground of the CG image.

図4は被写体領域抽出部103による被写体領域の抽出を説明する図である。図4の(a)は、ビデオカメラ101より得られる実写画像の例であり、図3(a)と対応する。実写画像301において、ユーザ201自身の手204がビデオカメラ101の視野内に入っており、背景とすべき現実の風景と共に前景とすべき被写体である手204が画像中に存在する。被写体とすべき手204を検出するための被写体検出情報としての色情報は予め被写体色情報登録部110に登録されている(登録の手順の詳細は後述)。被写体領域抽出部103は、実写画像301の各画素について、その色情報を被写体の色情報と比較し、被写体領域に含まれると判定されるならば1(白)、それ以外では0(黒)とした二値画像を生成する。図4の(b)に示される被写体領域画像401はこのようにして実写画像301を解析して生成した画像であり、白で示した領域402が手の領域、すなわちCG画像の前景とすべき被写体領域を示す。こうして生成された被写体領域にはCG画像を合成しないことで、実写画像とCGを合成し、なおCG画像の前景として体験者の手を表示した合成画像(図3(c))を得ることができる。   FIG. 4 is a diagram for explaining extraction of a subject area by the subject area extraction unit 103. FIG. 4A is an example of a real image obtained from the video camera 101, and corresponds to FIG. In the live-action image 301, the user's 201 own hand 204 is within the field of view of the video camera 101, and the hand 204, which is the subject that should be the foreground, is present in the image together with the actual landscape that should be the background. Color information as subject detection information for detecting the hand 204 to be the subject is registered in advance in the subject color information registration unit 110 (details of the registration procedure will be described later). The subject area extraction unit 103 compares the color information of each pixel of the live-action image 301 with the color information of the subject, and determines 1 (white) if it is determined to be included in the subject area, and 0 (black) otherwise. A binary image is generated. The subject area image 401 shown in FIG. 4B is an image generated by analyzing the actual image 301 in this way, and the area 402 shown in white should be the hand area, that is, the foreground of the CG image. Indicates the subject area. By not synthesizing the CG image with the subject area generated in this way, it is possible to synthesize the photographed image and CG, and obtain a synthesized image (FIG. 3C) in which the hands of the experience person are displayed as the foreground of the CG image. it can.

なお、本実施形態において被写体領域抽出部103および被写体色情報登録部110で用いる所定の色空間とは多次元色空間であり、色情報はこの多次元色空間における座標値として記述することができる。一般によく知られている多次元色空間(表色系)としては、RGB、YIQ、YCbCr、YUV、HSV、Lu*v*、La*b*など様々なものが挙げられる(多次元色空間の例は、例えば日本規格協会、JIS色彩ハンドブックを参照されたい)。   In the present embodiment, the predetermined color space used by the subject area extraction unit 103 and the subject color information registration unit 110 is a multidimensional color space, and the color information can be described as coordinate values in the multidimensional color space. . Various well-known multi-dimensional color spaces (color systems) include RGB, YIQ, YCbCr, YUV, HSV, Lu * v *, La * b *, etc. (For example, see Japanese Standards Association, JIS Color Handbook).

対象とする被写体の色彩特性に合わせて適当な色空間を用いてよいが、照明条件の相違による被写体の色彩特性の変化を相殺するために、輝度情報と色相情報とに分離する形式の表色系を用い、被写体色情報として色相情報だけを用いることが望ましい。このような表色系の代表的なものとしてはYIQやYCbCrが一般的である。以下、本実施形態では、YCbCr表色系を用いるとする。   An appropriate color space may be used according to the color characteristics of the target subject, but in order to cancel out changes in the color characteristics of the subject due to differences in lighting conditions, the color specification is separated into luminance information and hue information. It is desirable to use only the hue information as subject color information. Typical examples of such a color system are YIQ and YCbCr. Hereinafter, in this embodiment, it is assumed that the YCbCr color system is used.

図6は本実施形態の映像合成装置全体の流れを説明するフローチャ−トである。なお、図6の処理の開始に先立って、上述した被写体色情報登録部110により、CG画像よりも前景とすべき被写体領域を抽出するための被写体色情報を登録しておく(ステップS0)。なお、被写体色情報登録部110による被写体色情報の登録方法の詳細については、図7〜図9により後述する。また、本実施形態では映像合成装置を実時間で動作させるために、被写体色情報の登録作業をシステムの起動前に行っている。しかしながら、装置の能力に余力がある場合は、映像合成処理を行いながら被写体色情報を更新可能に構成することも可能である。   FIG. 6 is a flowchart for explaining the overall flow of the video composition apparatus of this embodiment. Prior to the start of the processing in FIG. 6, the subject color information registration unit 110 described above registers subject color information for extracting a subject area to be a foreground from the CG image (step S0). Details of the subject color information registration method by the subject color information registration unit 110 will be described later with reference to FIGS. Also, in this embodiment, in order to operate the video composition device in real time, subject color information registration work is performed before the system is started. However, if the device has sufficient capacity, the subject color information can be updated while performing the video composition process.

被写体色情報登録がなされた状態で起動されると、ステップS1で初期化処理など起動時に必要な処理を行う。ステップS2及びS3は被写体領域抽出部103の処理である。まずステップS2では、ビデオカメラ101で撮像した画像内の各画素の色空間をRGB空間から所定の色空間(被写体色情報登録部110で登録された被写体色を表す色空間で、本実施形態ではYCbCr色空間)へ変換する。ステップS3では、変換された各画素が被写体色情報登録部110に登録された被写体色と一致するかを調べる。登録されている被写体色と一致する画素には1の値を、一致しない画素は0の値を割当て、図4(b)に示した2値のマスク画像(被写体領域画像)を生成する。   When activated in a state where subject color information has been registered, processing necessary for activation, such as initialization processing, is performed in step S1. Steps S <b> 2 and S <b> 3 are processes of the subject area extraction unit 103. First, in step S2, the color space of each pixel in the image captured by the video camera 101 is changed from an RGB space to a predetermined color space (a color space representing a subject color registered by the subject color information registration unit 110, in the present embodiment). YCbCr color space). In step S <b> 3, it is checked whether each converted pixel matches the subject color registered in the subject color information registration unit 110. A value of 1 is assigned to pixels that match the registered subject color, and a value of 0 is assigned to pixels that do not match, and the binary mask image (subject region image) shown in FIG. 4B is generated.

ステップS4では、画像生成部106が、カメラ位置姿勢計測部105から入力されたビデオカメラ101の位置姿勢及び仮想空間データベース107の描画情報に基づいて、当該位置姿勢から観察されるべきCG画像を生成する。そして、画像合成部108では、ステップS3で得られたマスク画像(被写体領域画像)でこのCG画像をマスク処理する。すなわち、ステップS4では、マスク画像により被写体領域をマスクされたコンピュータ映像が生成される。ステップS5では、ステップS4で生成されたマスク処理済みのCG画像とビデオカメラ101より得られる実写画像を合成し、HMD109に表示する。   In step S4, the image generation unit 106 generates a CG image to be observed from the position and orientation based on the position and orientation of the video camera 101 input from the camera position and orientation measurement unit 105 and the drawing information of the virtual space database 107. To do. Then, the image composition unit 108 performs mask processing on this CG image with the mask image (subject region image) obtained in step S3. That is, in step S4, a computer video in which the subject area is masked by the mask image is generated. In step S <b> 5, the mask-processed CG image generated in step S <b> 4 and the actual image obtained from the video camera 101 are combined and displayed on the HMD 109.

その後、ステップS6で動作を終了する指示がなされたかどうかがチェックされ、終了指示がなければステップS2に戻り、上述の処理を繰り返す。終了指示があれば、ステップS6より本処理を終了する。   Thereafter, it is checked in step S6 whether or not an instruction to end the operation has been given. If there is no end instruction, the process returns to step S2 and the above-described processing is repeated. If there is an end instruction, the process ends from step S6.

●(被写体色情報登録処理)
次に、被写体色情報登録部110による被写体色情報登録処理について、図5、図7及び図8を参照して説明する。
図5は被写体色情報登録部110の詳細を説明する図である。色変換部501は、ビデオカメラ101で撮影され、画像入力部102からディジタル画像データとして出力される画像データを所定の色空間(本実施形態ではYCbCr)の画像データに変換する。色空間が変換された画像データは背景色情報登録部502又は被写体色情報抽出部503へ与えられる。背景色情報登録部502は、色変換部501から受け取った画像データから背景色情報を登録する。被写体色情報抽出部503は、背景色情報登録部502に登録された背景色情報と、色変換部501から受け取った画像データから、被写体の色情報を抽出する。抽出した被写体色情報は、被写体色情報登録部504に格納される。
● (Subject color information registration process)
Next, subject color information registration processing by the subject color information registration unit 110 will be described with reference to FIGS.
FIG. 5 is a diagram for explaining the details of the subject color information registration unit 110. The color conversion unit 501 converts image data captured by the video camera 101 and output as digital image data from the image input unit 102 into image data in a predetermined color space (YCbCr in this embodiment). The image data in which the color space is converted is given to the background color information registration unit 502 or the subject color information extraction unit 503. The background color information registration unit 502 registers background color information from the image data received from the color conversion unit 501. The subject color information extraction unit 503 extracts the color information of the subject from the background color information registered in the background color information registration unit 502 and the image data received from the color conversion unit 501. The extracted subject color information is stored in the subject color information registration unit 504.

本実施形態においては、被写体が含まれない背景画像(図4(a)でユーザの手204が含まれない画像に対応)と、被写体が含まれる背景画像(図4(a)に相当)とを撮影し、これら二種類の画像のうち、被写体が含まれる背景画像にのみ含まれる色情報を検出して被写体色情報としている。   In the present embodiment, a background image that does not include the subject (corresponding to an image that does not include the user's hand 204 in FIG. 4A), and a background image that includes the subject (corresponds to FIG. 4A). The color information included only in the background image including the subject is detected from these two types of images as subject color information.

以下、図7及び図8をさらに参照し、被写体色情報登録処理についてさらに説明する。
まず、ステップS12で、ビデオカメラ101及び画像入力部102を通じ、被写体が含まれない背景画像(以下、この背景画像を背景色情報ということがある)を取得する。なお、ステップS12における背景画像取得の際は、背景画像に被写体の色情報がなるべく含まれないようにすることが重要である。
Hereinafter, the subject color information registration process will be further described with reference to FIGS.
First, in step S12, a background image that does not include a subject (hereinafter, this background image may be referred to as background color information) is acquired through the video camera 101 and the image input unit 102. When acquiring the background image in step S12, it is important that the background image contains as little color information of the subject as possible.

次に、ステップS12で取得した画像をステップS13で色変換部501によりYCbCr表色系へ変換する。色変換部501はこの背景画像データを背景色情報登録部502へ供給する。ステップS14で、背景色情報登録部502は、色変換部501が変換した画像データ画像中に含まれている画素の色を抽出する。そして、十分な数のサンプルを得るため、ステップS12からステップS14までの処理を所定回数繰り返す(ステップS15)。なお、ステップS12〜S14の繰り返し回数は任意である。そして、所定回数の繰り返しを終えると、ステップS15からステップS16へ進み、背景色情報登録部502は、ステップS14において抽出した色を背景色情報として登録する。   Next, the image acquired in step S12 is converted into the YCbCr color system by the color conversion unit 501 in step S13. The color conversion unit 501 supplies the background image data to the background color information registration unit 502. In step S14, the background color information registration unit 502 extracts the color of the pixel included in the image data image converted by the color conversion unit 501. Then, in order to obtain a sufficient number of samples, the processing from step S12 to step S14 is repeated a predetermined number of times (step S15). Note that the number of repetitions of steps S12 to S14 is arbitrary. When the predetermined number of repetitions is completed, the process proceeds from step S15 to step S16, and the background color information registration unit 502 registers the color extracted in step S14 as background color information.

以上のようにして背景色情報を登録したならば、続いて被写体色情報の登録を行なう。図8は被写体色情報の登録処理を説明するフローチャートである。
まず、ステップS22で、ビデオカメラ101及び画像入力部102を介してこんどは被写体を含んだ背景画像を取得する。そして、ステップS23で、ステップS22で取得した背景画像データを色変換部501によりYCbCr表色系へ変換し、被写体色情報抽出部503へ供給する。ステップS24で被写体色情報抽出部503は、色変換部501が変換した画像データ画像中に含まれている画素の色を抽出する。そして図7と同様にステップS22からステップS24までの処理を所定回数繰り返す(ステップS25)。なお、ここでの繰り返し回数もまた任意であるが、被写体の角度を変え、被写体への照明の当たり具合が変化するようにして撮像した複数の画像について処理を繰り返すことが好ましい。
If the background color information is registered as described above, then subject color information is registered. FIG. 8 is a flowchart for explaining subject color information registration processing.
First, in step S22, a background image including a subject is acquired through the video camera 101 and the image input unit 102. In step S 23, the background image data acquired in step S 22 is converted into the YCbCr color system by the color conversion unit 501 and supplied to the subject color information extraction unit 503. In step S24, the subject color information extraction unit 503 extracts the color of the pixel included in the image data image converted by the color conversion unit 501. Then, similarly to FIG. 7, the processing from step S22 to step S24 is repeated a predetermined number of times (step S25). Here, the number of repetitions is also arbitrary, but it is preferable to repeat the process for a plurality of images captured by changing the angle of the subject and changing the lighting condition of the subject.

所定回数の繰り返しを終えると、ステップS25からステップS26へ進み、ステップS24で抽出した色を一旦被写体色情報登録部504に格納する。そして、被写体色情報抽出部503は、背景色情報登録部502に登録されている背景色情報と、被写体色情報登録部504に登録されている色情報とを比較し、被写体色情報登録部504に格納されている色情報のうち、背景色情報として登録されていない色情報を被写体の色情報、すなわち被写体色情報として登録する(ステップS27)。   When the predetermined number of repetitions is completed, the process proceeds from step S25 to step S26, and the color extracted in step S24 is temporarily stored in the subject color information registration unit 504. Then, the subject color information extraction unit 503 compares the background color information registered in the background color information registration unit 502 with the color information registered in the subject color information registration unit 504, and the subject color information registration unit 504. Among the color information stored in the color information, color information not registered as background color information is registered as subject color information, that is, subject color information (step S27).

なお、ここで用いる2種類の背景画像は、体験者がHMD109を装着し、背景と被写体を見ている状態で、操作者が操作画面をモニタしながら撮影することができる。この背景画像は色を抽出して利用するため、2種類の画像を撮影する際のカメラ位置は多少異なっていても問題ないが、背景に被写体の色情報を多く含むような画像を背景として登録すると、その部分は被写体色情報から削除されてしまうため、被写体色情報の精度が低下し、後述するノイズ領域の原因となる。そのため、ここでの撮影においては、背景に鏡面反射が起きないような、例えば布のようなものを用い、黒か青の単色の背景となるようにすることが好ましい。   Note that the two types of background images used here can be taken while the operator wears the HMD 109 and looks at the background and subject while monitoring the operation screen. Since this background image is extracted and used, there is no problem even if the camera position is slightly different when shooting two types of images, but an image that contains a lot of subject color information in the background is registered as the background. Then, since that portion is deleted from the subject color information, the accuracy of the subject color information is lowered, causing a noise area described later. For this reason, it is preferable to use a cloth or the like that does not cause specular reflection in the background so that the background is a single black or blue background.

また、他の方法によって被写体色情報を求めても良い。例えば、上述の方法では、2種類の背景画像のうち、被写体を含んだ背景画像にのみ含まれる色を被写体色情報としたが、2種類の背景画像から被写体領域を求め、被写体領域に含まれる画素の色を被写体色情報とすることもできる。2種類の背景画像から被写体領域を求める方法としては、例えば動画像圧縮技術で用いられるような動き検出技術を用い、2種類の背景画像の対応領域を求めて差分をとるなど様々な方法を用いることができる。あるいは、カメラを固定して画素レベルでの背景差分を取り、被写体領域のみを切り出した後、その領域内の色情報を登録するといった方法を用いても良い。   The subject color information may be obtained by other methods. For example, in the above-described method, the color included only in the background image including the subject among the two types of background images is used as the subject color information. However, the subject region is obtained from the two types of background images and is included in the subject region. The color of the pixel can be used as subject color information. As a method for obtaining the subject area from the two types of background images, for example, various methods are used such as using a motion detection technique such as that used in the moving picture compression technique to obtain a corresponding area of the two types of background images and obtaining a difference. be able to. Alternatively, a method may be used in which the camera is fixed, the background difference at the pixel level is taken, only the subject area is cut out, and the color information in that area is registered.

●(被写体領域抽出処理)
次に、このようにして登録した被写体色情報を用い、撮影された画像から被写体領域を抽出する被写体領域抽出部103の処理を図9のフローチャートにより説明する。
● (Subject area extraction processing)
Next, the processing of the subject area extraction unit 103 that extracts the subject area from the photographed image using the subject color information registered in this manner will be described with reference to the flowchart of FIG.

画像入力部102から供給される画像データの各画素について図9に示す処理を行い、被写体の領域を抽出する。まず、ステップS31で、画像座標(i,j)(i,jはいずれも0以上の整数)の画素を表すRGB値(r(i,j),g(i,j),b(i,j))を、YCbCr空間の座標値に変換する色空間変換関数(color_conversion)へ代入、演算することにより、画像座標(i,j)のRGB値のYCbCr空間での座標値(Y,cb,cr)を得る。そして、ステップS32においてYCbCr空間での座標値(Y,cb,cr)を入力として、被写体色情報登録部110に登録されている被写体色情報を参照し、当該画素の色が、被写体色情報の領域に属するか否か(被写体色情報として登録されているか否か)を判定する。   The process shown in FIG. 9 is performed on each pixel of the image data supplied from the image input unit 102 to extract a subject area. First, in step S31, RGB values (r (i, j), g (i, j), b (i, j, i, j are integers greater than or equal to 0) representing image coordinates (i, j) are represented. j)) is substituted into a color space conversion function (color_conversion) that converts the coordinate value of YCbCr space into a color value conversion function (color_conversion), and the coordinate value (Y, cb, cr). In step S32, the coordinate value (Y, cb, cr) in the YCbCr space is input, and the subject color information registered in the subject color information registration unit 110 is referred to. It is determined whether it belongs to an area (whether it is registered as subject color information).

すなわち、被写体領域判定関数mask_funcは、入力された座標値(Y,cb,cr)が被写体色情報の領域に属する場合には1を、そうでない場合には0を返す。このステップS31及びS32の処理を、全画素について実行することにより(ステップS33)、被写体色情報に属するならば1、属さないならば0というように2値で表わされた被写体領域画像が生成される(図4(b))。なお、被写体領域画像は、0から1までの連続値による確率分布で表現してもよい。   That is, the subject area determination function mask_func returns 1 if the input coordinate value (Y, cb, cr) belongs to the area of the subject color information, and returns 0 otherwise. By executing the processing of steps S31 and S32 for all the pixels (step S33), a subject area image represented by a binary value such as 1 if it belongs to the subject color information and 0 if it does not belong is generated. (FIG. 4B). The subject area image may be expressed by a probability distribution with continuous values from 0 to 1.

●(映像合成処理)
画像合成部108では、画像入力部101から供給される実写画像(図3(a))と、画像生成部106から供給されるCG画像(図3(b))とを、被写体領域抽出部110から供給される被写体領域画像(図4(b))を用いて、目的とする合成画像(図3(c))を生成する。画像合成部108は、画像入力部102より入力される実写画像を画像表示のための画像メモリであるフレームバッファと、マスク処理のための画像メモリであるステンシルバッファを有している。
● (Video composition processing)
In the image composition unit 108, the actual image (FIG. 3A) supplied from the image input unit 101 and the CG image (FIG. 3B) supplied from the image generation unit 106 are converted into the subject region extraction unit 110. A target composite image (FIG. 3C) is generated using the subject area image (FIG. 4B) supplied from. The image composition unit 108 includes a frame buffer that is an image memory for displaying an actual captured image input from the image input unit 102 and a stencil buffer that is an image memory for mask processing.

画像合成部108での画像合成処理について、図12のフローチャートを用いて説明する。ステップS51では、画像入力部102より入力される実写画像real(i,j)をフレームバッファに転送する。ステップS52では、被写体領域抽出部103で生成された、被写体領域の画素の値”1”、他の領域の画素の値”0”の二値被写体領域画像stencil(i,j)をステンシルバッファに転送する。ステップS53では、画像生成部106によりCG画像CGI(i,j)を生成して、各座標(i,j)の画素についてステンシルバッファの値Stencil(i,j)を参照し、Stencil(i,j)=1、すなわち実写画像中の画素real(i,j)が被写体領域に含まれる場合には、対応するフレームバッファの画素buffer(i,j)を更新せず、Stencil(i,j)=0、すなわち実写画像中の画素real(i,j)が被写体領域に含まれていないときのみ、buffer(i,j)の値をCG画像の画素値CGI(i,j)によって置き換える。   The image composition processing in the image composition unit 108 will be described with reference to the flowchart of FIG. In step S51, the photographed image real (i, j) input from the image input unit 102 is transferred to the frame buffer. In step S52, the binary object region image stencil (i, j) of the pixel value “1” of the subject region and the pixel value “0” of the other region generated by the subject region extraction unit 103 is stored in the stencil buffer. Forward. In step S53, the CG image CGI (i, j) is generated by the image generation unit 106, the value Stencil (i, j) of the stencil buffer is referred to for each pixel at the coordinates (i, j), and Stencil (i, j, j) = 1, that is, when the real (i, j) pixel in the photographed image is included in the subject area, the pixel buffer (i, j) of the corresponding frame buffer is not updated, and Stencil (i, j) Only when the pixel real (i, j) in the photographed image is not included in the subject area, the value of buffer (i, j) is replaced with the pixel value CGI (i, j) of the CG image.

その結果、被写体領域では常に実写画像の画素値がフレームバッファに描き込まれ、被写体領域でない領域では、CGが重畳されている部分に関してはCG画像の画素値がフレームバッファに描き込まれる。また、被写体領域でなくかつCGが重畳されない領域は実写画像がフレームバッファに描き込まれる。フレームバッファに書き込まれた画像は合成画像としてHMD109に表示される。   As a result, the pixel value of the live-action image is always drawn in the frame buffer in the subject area, and the pixel value of the CG image is drawn in the frame buffer for the portion where the CG is superimposed in the non-subject area. In addition, a real image is drawn in the frame buffer in a region that is not a subject region and in which CG is not superimposed. The image written in the frame buffer is displayed on the HMD 109 as a composite image.

●(登録被写体色情報の修正処理)
理想的にはこれまで説明した処理により正しい合成画像が得られるはずであるが、実際には被写体色情報登録部110に登録された被写体色情報には、被写体の色情報に類似した、被写体とは異なる物体の色も含まれてしまうことがある。この場合、被写体領域画像(マスク画像)401には被写体領域以外にもマスク領域が存在することになる。すなわち、被写体色情報として、被写体以外の色が登録されていると、被写体領域外であるにもかかわらずCG画像の描画が禁止され、背景画像が出現してしまう領域が発生する。
● (Registered subject color information correction process)
Ideally, a correct composite image should be obtained by the processing described so far, but actually, subject color information registered in the subject color information registration unit 110 includes a subject similar to the subject color information. May also include different object colors. In this case, the subject region image (mask image) 401 includes a mask region in addition to the subject region. That is, if a color other than the subject is registered as the subject color information, the drawing of the CG image is prohibited despite the fact that it is outside the subject region, and a region where the background image appears appears.

あるいは、被写体の色であるにもかかわらず、被写体色情報として登録されていない色が存在すれば、被写体領域中にCG画像が描画されてしまう領域が発生する。本明細書においては、このように、被写体領域か非被写体領域かが正しく認識されなかった領域をノイズ領域と呼ぶ。   Alternatively, if there is a color that is not registered as subject color information in spite of the subject color, a region where a CG image is drawn is generated in the subject region. In this specification, a region in which the subject region or the non-subject region is not correctly recognized is referred to as a noise region.

ノイズ領域を減少又は除去するには、登録されている被写体色情報を修正する必要がある。そして本実施形態に係る映像合成装置は以下に説明するように容易に被写体色情報を修正することが可能である。   In order to reduce or eliminate the noise region, it is necessary to correct the registered subject color information. The video composition apparatus according to the present embodiment can easily correct the subject color information as described below.

図10は被写体色情報調整画像の例と、本実施形態における映像合成装置において実現される登録被写体色情報の修正処理の概要を示す図である。被写体色情報調整画像は、被写体領域画像を、CG描画領域(非マスク領域)と、被写体領域(マスク領域)とで2色に色分けし、半透明表示して実写画像に重ね合わせた画像である。なお、図10では図が煩雑にならないよう、本来は透けて見えている背景画像を図示していない。   FIG. 10 is a diagram showing an example of a subject color information adjustment image and an outline of a correction process for registered subject color information realized in the video composition apparatus according to the present embodiment. The subject color information adjustment image is an image in which a subject area image is color-coded into two colors, a CG drawing area (non-mask area) and a subject area (mask area), and is displayed semi-transparently and superimposed on a real image. . Note that FIG. 10 does not show a background image that is originally seen through, so that the drawing is not complicated.

被写体色情報調整画像1001には、被写体領域1003の外側と内側にノイズ領域1004及び1005が存在している。外側のノイズ領域1004は背景の一部を被写体領域と誤認識した領域であり、内側のノイズ領域1005は被写体領域であるにも関わらず背景であると誤認識した領域である。   The subject color information adjustment image 1001 includes noise regions 1004 and 1005 outside and inside the subject region 1003. The outer noise region 1004 is a region in which a part of the background is misrecognized as a subject region, and the inner noise region 1005 is a region misrecognized as a background despite being a subject region.

このノイズを減少又は除去するためには、被写体色情報登録部110に登録されている被写体色情報に修正を加える必要がある。本実施形態の映像合成装置において、被写体色情報を調整する際には、通常の合成画像生成処理において被写体情報抽出部103で生成する被写体領域画像を、2値画像ではなく2色画像として生成し、不透明度の情報を付加して半透明画像とする。そして、画像合成部108では、CG画像の合成は行わず、透明度を考慮して被写体領域画像と実写画像のみを合成した被写体色情報調整画像を生成する。この際、実写画像はユーザ201がHMD109を被った状態で取得しても良いし、ユーザは同じ状態で、カメラのみ固定して取得しても良い。   In order to reduce or eliminate this noise, it is necessary to modify the subject color information registered in the subject color information registration unit 110. In the video composition device of the present embodiment, when adjusting subject color information, a subject region image generated by the subject information extraction unit 103 in a normal composite image generation process is generated as a two-color image instead of a binary image. Then, opacity information is added to make a translucent image. Then, the image composition unit 108 does not synthesize the CG image, and generates a subject color information adjustment image in which only the subject region image and the actual image are synthesized in consideration of transparency. At this time, the photographed image may be acquired with the user 201 wearing the HMD 109, or the user may be acquired with only the camera fixed in the same state.

被写体色情報調整画像は、画像合成部108により、所定のGUI(Graphical User Interface)とともに映像合成装置のオペレータ用モニタに表示される。そして、オペレータは被写体色情報調整画像を見ながら、マウスを操作し、GUIを介してマウスカーソル1002で除去したいノイズ領域を塗り潰していく。具体的には、マウスカーソル1002をドラッグすることで、マウスカーソル1002がなぞった画素が塗りつぶされる。塗りつぶされた領域がオペレータに認識できるよう、被写体色情報調整画像のドラッグされた画素の色を、元の色から変更後の種別を表す色に変更することが好ましい。すなわち、被写体色情報調整画像において被写体領域が赤、それ以外の領域が青で表示され、被写体領域であるにもかかわらず検出されていなかったノイズ領域が塗りつぶされた場合には、塗りつぶされた画素の表示色を青から赤に変更する。また、ノイズ領域1004のように背景に大きな領域のノイズが生じている場合はマウスに割り当てられた別のボタンをクリックしドラッグすることにより被写体色情報からその色を削除することもできる。   The subject color information adjustment image is displayed on the operator monitor of the video composition device by the image composition unit 108 together with a predetermined GUI (Graphical User Interface). Then, the operator operates the mouse while viewing the subject color information adjustment image, and fills the noise area to be removed with the mouse cursor 1002 via the GUI. Specifically, by dragging the mouse cursor 1002, the pixels traced by the mouse cursor 1002 are filled. It is preferable to change the color of the dragged pixel of the subject color information adjustment image from the original color to a color representing the changed type so that the operator can recognize the filled area. That is, in the subject color information adjustment image, when the subject area is displayed in red and the other areas are displayed in blue, and the noise area that has not been detected although it is the subject area is filled, the filled pixels The display color of is changed from blue to red. Further, when a large area of noise is generated in the background like the noise area 1004, the color can be deleted from the subject color information by clicking and dragging another button assigned to the mouse.

被写体色情報調整画像において塗り潰された領域に対応する実写画像の画像座標(i,j)のRGB値(r(i,j),g(i,j),b(i,j))をYCbCr空間の座標値に変換する色空間変換関数(color_conversion)へ代入、演算することにより、画像座標(i,j)のRGB値のYCbCr空間での座標値(Y,cb,cr)を得る。塗りつぶされたノイズ領域が被写体領域内に存在していた場合には、得られたYCbCr空間での座標値(Y,cb,cr)を被写体色情報1003に追加登録し、被写体領域に生じるノイズを減少させる。また、被写体領域外に存在するノイズ領域を塗りつぶした場合には、得られたYCbCr空間での座標値(Y,cb,cr)を被写体色情報から削除する。このどちらの操作を行うかは、塗りつぶしを行う前に、被写体色情報の追加(被写体領域内のノイズ領域除去)か、削除(被写体領域外のノイズ領域除去)かを、操作画面中のメニューを選択することによって指定することができる。あるいは、マウスの左クリックは「追加」、右クリックは「削除」のように、入力デバイスのキーやボタンに追加、削除の選択機能を割り当てても良い。   The RGB values (r (i, j), g (i, j), b (i, j)) of the image coordinates (i, j) of the photographed image corresponding to the filled area in the subject color information adjustment image are set to YCbCr A coordinate value (Y, cb, cr) in the YCbCr space of the RGB value of the image coordinates (i, j) is obtained by substituting and calculating a color space conversion function (color_conversion) for converting to a space coordinate value. When the filled noise area exists in the subject area, the obtained coordinate value (Y, cb, cr) in the YCbCr space is additionally registered in the subject color information 1003, and noise generated in the subject area is registered. Decrease. In addition, when a noise area outside the subject area is filled, the obtained coordinate value (Y, cb, cr) in the YCbCr space is deleted from the subject color information. Which of these operations should be performed can be done by selecting whether to add subject color information (removal of the noise area within the subject area) or deletion (removal of the noise area outside the subject area) before painting. It can be specified by selecting. Alternatively, an addition / deletion selection function may be assigned to a key or button of an input device, such as “add” for a left mouse click and “delete” for a right click.

被写体色情報調整処理について、図11のフローチャートを用いてさらに説明する。まず、ビデオカメラ101より被写体および背景が同時に移された画像を取得する。このとき取得する画像としては、合成画像の背景や被写体にノイズ領域が観察される画像であることが好ましい(ステップS42)。ステップS43ではステップS42で取得した画像を元に、被写体色情報登録部504に登録された色情報から被写体領域のマスク画像を作成する。作成したマスク画像を被写体領域とそれ以外の領域(背景領域)の二つに分け、それぞれを色分けして実写画像に重ねて被写体色情報調整画像を作成し、GUIを用いてオペレータに提示する(ステップS44)。被写体色情報調整画像において、被写体領域画像を半透明画像とすることで、ノイズ領域が背景画像のどのような領域に対応しているのかを確認できるため、オペレータのノイズ領域塗りつぶし操作が容易になる。   The subject color information adjustment process will be further described with reference to the flowchart of FIG. First, an image in which the subject and the background are simultaneously transferred is acquired from the video camera 101. The image acquired at this time is preferably an image in which a noise region is observed in the background of the composite image or the subject (step S42). In step S43, a mask image of the subject area is created from the color information registered in the subject color information registration unit 504 based on the image acquired in step S42. The created mask image is divided into a subject region and another region (background region), and each is color-coded to create a subject color information adjustment image by superimposing it on a live-action image, which is presented to the operator using a GUI ( Step S44). In the subject color information adjustment image, by making the subject region image a semi-transparent image, it is possible to confirm what region of the background image the noise region corresponds to, so the operator can easily perform the noise region filling operation. .

ステップS45では、被写体色情報調整画像において、オペレータが被写体色情報として登録又は削除したい領域としてマウスカーソルで塗り潰した領域をGUIを介して取得し、塗りつぶされた領域に対応する実写画像のRGB値(r(i,j),g(i,j),b(i,j))を取得する。そして、ステップS46で、これらRGB値を被写体色空間情報の色空間であるYCbCr空間へ変換する。ステップS47では、ステップS46で変換されたYCbCr空間の座標値(色情報)を、被写体色情報登録部504に追加するか、登録内容から削除する。追加または削除の指定方法としては、上述したように塗りつぶし前にメニューから指定しておく方法以外にも、マウスボタンの左クリックした状態を追加指定、右クリックした状態を削除指定とする、などが考えられる。そして、ステップS45〜S47の操作を繰り返し被写体色情報の調整を十分に行う。ステップS48で調整終了指示があった場合には処理を終了する。   In step S45, in the subject color information adjustment image, an area that is filled with the mouse cursor as an area that the operator wants to register or delete as the subject color information is acquired via the GUI, and the RGB value of the photographed image corresponding to the filled area ( r (i, j), g (i, j), b (i, j)) are acquired. In step S46, these RGB values are converted into a YCbCr space that is the color space of the subject color space information. In step S47, the coordinate value (color information) of the YCbCr space converted in step S46 is added to the subject color information registration unit 504 or deleted from the registered contents. In addition to the method of specifying from the menu before filling as described above, the addition or deletion can be specified by adding the left-clicked state of the mouse button or specifying the right-clicked state of deletion. Conceivable. Then, the operations of steps S45 to S47 are repeated to sufficiently adjust subject color information. If there is an adjustment end instruction in step S48, the process ends.

以上説明したように、本実施形態によれば、CG画像の背景画像となるべき背景と、CG画像の前景となるべき被写体とを同時に撮影した撮影画像と、被写体が存在しない状態の撮影画像とから、被写体の色情報を容易かつ自動的に登録することができる。そのため、装置の使用環境が変わっても、その場で適切な被写体色情報を登録することが可能となる。   As described above, according to the present embodiment, a captured image obtained by simultaneously capturing a background to be a background image of a CG image and a subject to be a foreground of the CG image, and a captured image in a state where no subject exists. Thus, the color information of the subject can be registered easily and automatically. Therefore, even if the use environment of the apparatus changes, it is possible to register appropriate subject color information on the spot.

また、登録した色情報の修正を容易に行うことが可能であるため、より精度の高い合成画像の提供を容易に達成することができる。   Further, since it is possible to easily correct the registered color information, it is possible to easily provide a more accurate composite image.

●(他の実施形態)
なお、上述の実施形態においては、説明及び理解を容易にするため、ビデオカメラ、画像入力部及びHMDといった、被写体検出情報としての被写体色情報の取得、登録や、登録した被写体色情報の調整に係る構成を含んだ映像合成装置について説明した。しかし、これら構成は必須ではなく、ディジタル化された画像信号を受け取って、被写体検出情報としての被写体色情報の取得、登録や、登録した被写体色情報の調整を行うことが可能であればどのような構成であっても良い。
● (Other embodiments)
In the above-described embodiment, in order to facilitate explanation and understanding, acquisition, registration, and adjustment of registered subject color information as subject detection information such as a video camera, an image input unit, and an HMD are performed. A video composition apparatus including such a configuration has been described. However, these configurations are not essential, and any method can be used as long as it can receive a digitized image signal, acquire and register subject color information as subject detection information, and adjust registered subject color information. It may be a simple configuration.

また、上述の実施形態においては、1つの機器から構成される映像合成装置についてのみ説明したが、同等の機能を複数の機器から構成されるシステムによって実現しても良い。   Further, in the above-described embodiment, only the video synthesizing apparatus constituted by one device has been described. However, an equivalent function may be realized by a system constituted by a plurality of devices.

尚、前述した実施形態の機能を実現するソフトウェアのプログラムを、記録媒体から直接、或いは有線/無線通信を用いて当該プログラムを実行可能なコンピュータを有するシステム又は装置に供給し、そのシステム或いは装置のコンピュータが該供給されたプログラムを実行することによって同等の機能が達成される場合も本発明に含む。   A software program that realizes the functions of the above-described embodiments is supplied directly from a recording medium or to a system or apparatus having a computer that can execute the program using wired / wireless communication. The present invention includes a case where an equivalent function is achieved by a computer executing the supplied program.

従って、本発明の機能処理をコンピュータで実現するために、該コンピュータに供給、インストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明の機能処理を実現するためのコンピュータプログラム自体も本発明に含まれる。   Accordingly, the program code itself supplied and installed in the computer in order to implement the functional processing of the present invention by the computer also realizes the present invention. That is, the computer program itself for realizing the functional processing of the present invention is also included in the present invention.

その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、OSに供給するスクリプトデータ等、プログラムの形態を問わない。   In this case, the program may be in any form as long as it has a program function, such as an object code, a program executed by an interpreter, or script data supplied to the OS.

プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、磁気テープ等の磁気記録媒体、MO、CD−ROM、CD−R、CD−RW、DVD−ROM、DVD−R、DVD−RW等の光/光磁気記憶媒体、不揮発性の半導体メモリなどがある。   As a recording medium for supplying the program, for example, a magnetic recording medium such as a flexible disk, a hard disk, a magnetic tape, MO, CD-ROM, CD-R, CD-RW, DVD-ROM, DVD-R, DVD- There are optical / magneto-optical storage media such as RW, and non-volatile semiconductor memory.

有線/無線通信を用いたプログラムの供給方法としては、コンピュータネットワーク上のサーバに本発明を形成するコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイル等、クライアントコンピュータ上で本発明を形成するコンピュータプログラムとなりうるデータファイル(プログラムデータファイル)を記憶し、接続のあったクライアントコンピュータにプログラムデータファイルをダウンロードする方法などが挙げられる。この場合、プログラムデータファイルを複数のセグメントファイルに分割し、セグメントファイルを異なるサーバに配置することも可能である。   As a program supply method using wired / wireless communication, a computer program forming the present invention on a server on a computer network, or a computer forming the present invention on a client computer such as a compressed file including an automatic installation function A method of storing a data file (program data file) that can be a program and downloading the program data file to a connected client computer can be used. In this case, the program data file can be divided into a plurality of segment files, and the segment files can be arranged on different servers.

つまり、本発明の機能処理をコンピュータで実現するためのプログラムデータファイルを複数のユーザに対してダウンロードさせるサーバ装置も本発明に含む。   That is, the present invention includes a server device that allows a plurality of users to download a program data file for realizing the functional processing of the present invention on a computer.

また、本発明のプログラムを暗号化してCD−ROM等の記憶媒体に格納してユーザに配布し、所定の条件を満たしたユーザに対して暗号化を解く鍵情報を、例えばインターネットを介してホームページからダウンロードさせることによって供給し、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。   In addition, the program of the present invention is encrypted, stored in a storage medium such as a CD-ROM, distributed to the user, and key information for decrypting the encryption for the user who satisfies a predetermined condition is obtained via, for example, a homepage It is also possible to realize the program by downloading it from the computer and executing the encrypted program using the key information and installing it on the computer.

また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される他、そのプログラムの指示に基づき、コンピュータ上で稼動しているOSなどが、実際の処理の一部または全部を行ない、その処理によっても前述した実施形態の機能が実現され得る。   In addition to the functions of the above-described embodiments being realized by the computer executing the read program, the OS running on the computer based on the instruction of the program is a part of the actual processing. Alternatively, the functions of the above-described embodiment can be realized by performing all of them and performing the processing.

さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行ない、その処理によっても前述した実施形態の機能が実現され得る。   Furthermore, after the program read from the recording medium is written in a memory provided in a function expansion board inserted into the computer or a function expansion unit connected to the computer, the function expansion board or The CPU of the function expansion unit performs part or all of the actual processing, and the functions of the above-described embodiments can also be realized by the processing.

本発明の実施形態に係る映像合成装置の構成例を示すブロック図である。It is a block diagram which shows the structural example of the video synthesizing | combining apparatus which concerns on embodiment of this invention. 図1に示す映像合成装置の使用時の状態を模式的に示す図である。It is a figure which shows typically the state at the time of use of the video synthesizing | combining apparatus shown in FIG. 実施形態に係る映像合成装置が生成する合成画像と、その元となる画像との関係を説明する図である。It is a figure explaining the relationship between the synthesized image which the video synthesizing | combining apparatus which concerns on embodiment produces, and the image used as the origin. 実施形態に係る映像合成装置が生成する被写体領域画像について説明する図である。It is a figure explaining the to-be-photographed area | region image which the video synthesizing | combining apparatus which concerns on embodiment generates. 図1における被写体色情報登録部の構成例を示すブロック図である。FIG. 2 is a block diagram illustrating a configuration example of a subject color information registration unit in FIG. 1. 本発明の実施形態に係る映像合成装置の全体的な処理の流れを示すフローチャートである。It is a flowchart which shows the flow of the whole process of the video synthesizing | combining apparatus which concerns on embodiment of this invention. 実施形態における背景色情報登録の処理を説明するフローチャートである。It is a flowchart explaining the process of background color information registration in embodiment. 実施形態における被写体色情報登録の処理を説明するフローチャートである。It is a flowchart explaining the process of subject color information registration in the embodiment. 実施形態における被写体領域抽出処理を説明するフローチャートである。It is a flowchart explaining the subject area extraction processing in the embodiment. 実施形態における被写体色情報の調整処理について説明する図である。It is a figure explaining the adjustment process of the subject color information in the embodiment. 実施形態における被写体色情報調整処理を説明するフローチャートである。It is a flowchart explaining the subject color information adjustment process in the embodiment. 実施形態における画像合成処理を説明するフローチャートである。It is a flowchart explaining the image composition process in an embodiment.

Claims (8)

実写画像中に含まれる所定の被写体領域を検出するための被写体検出情報の調整方法であって、
実写画像を取得する実写画像取得工程と、
現在登録されている前記被写体検出情報を用いて、前記実写画像から前記所定の被写体領域を抽出し、前記実写画像中の前記所定の被写体領域と、それ以外の領域とが視覚的に異なって表わされる被写体領域画像を生成する被写体領域画像生成工程と、
前記被写体領域画像を半透明画像として前記実写画像上に重畳した調整用画像を生成する調整用画像生成工程と、
前記調整用画像をユーザインタフェースを介して提示する提示工程と、
前記ユーザインタフェースを介して指定された前記調整用画像の領域に対応する前記実写画像の領域の色情報から、追加又は削除すべき被写体検出情報を生成し、前記現在登録されている被写体検出情報を更新する更新工程と、
を有することを特徴とする被写体検出情報調整方法。
A method for adjusting subject detection information for detecting a predetermined subject region included in a live-action image,
A live-action image acquisition process for acquiring a live-action image;
Using the currently registered subject detection information, the predetermined subject region is extracted from the photographed image, and the prescribed subject region in the photographed image and other regions are represented visually differently. A subject area image generating step for generating a subject area image to be generated;
An adjustment image generating step for generating an adjustment image in which the subject region image is superimposed on the photographed image as a translucent image;
A presentation step of presenting the adjustment image via a user interface;
Object detection information to be added or deleted is generated from color information of the real image area corresponding to the adjustment image area specified via the user interface, and the currently registered object detection information is obtained. An update process to update;
A method for adjusting subject detection information, comprising:
前記被写体領域画像の、前記所定の被写体領域と、前記それ以外の領域とが、異なる色を有することを特徴とする請求項1記載の被写体検出情報調整方法。 The subject detection information adjustment method according to claim 1, wherein the predetermined subject region and the other region of the subject region image have different colors. 請求項1記載の被写体検出情報の調整方法の各工程をコンピュータに実行させるプログラム。 The program which makes a computer perform each process of the adjustment method of the to-be-photographed object detection information of Claim 1. 請求項3記載のプログラムを格納したコンピュータ読み取り可能な記録媒体。 A computer-readable recording medium storing the program according to claim 3. 実写画像中に含まれる所定の被写体領域を検出するための被写体検出情報の調整装置であって、
実写画像を取得する実写画像取得手段と、
現在登録されている前記被写体検出情報を用いて、前記実写画像から前記所定の被写体領域を抽出し、前記実写画像中の前記所定の被写体領域と、それ以外の領域とが視覚的に異なって表わされる被写体領域画像を生成する被写体領域画像生成手段と、
前記被写体領域画像を半透明画像として前記実写画像上に重畳した調整用画像を生成する調整用画像生成手段と、
前記調整用画像をユーザインタフェースを介して提示する提示手段と、
前記ユーザインタフェースを介して指定された前記調整用画像の領域に対応する前記実写画像の領域の色情報から、追加又は削除すべき被写体検出情報を生成し、前記現在登録されている被写体検出情報を更新する更新手段と、
を有することを特徴とする被写体検出情報調整装置。
An apparatus for adjusting subject detection information for detecting a predetermined subject area included in a live-action image,
A live-action image acquisition means for acquiring a live-action image;
Using the currently registered subject detection information, the predetermined subject region is extracted from the photographed image, and the prescribed subject region in the photographed image and other regions are represented visually differently. Subject area image generating means for generating a subject area image to be generated;
Adjustment image generating means for generating an adjustment image in which the subject region image is superimposed on the photographed image as a translucent image;
Presenting means for presenting the adjustment image via a user interface;
Object detection information to be added or deleted is generated from color information of the real image area corresponding to the area of the adjustment image designated via the user interface, and the currently registered object detection information is obtained. Update means for updating;
A subject detection information adjustment device characterized by comprising:
実写画像中に含まれる所定の被写体領域を検出するための被写体検出情報の調整方法であって、
登録されている被写体検出情報を用いて、入力実写画像から被写体領域の検出結果を表示させ、
ユーザ指示に基づき、前記検出結果からノイズ領域を選択し、
前記選択されたノイズ領域に基づき、前記被写体検出情報を調整することを特徴とする被写体検出情報調整方法。
A method for adjusting subject detection information for detecting a predetermined subject region included in a live-action image,
Using the registered subject detection information, display the detection result of the subject area from the input live-action image,
Based on the user instruction, select a noise region from the detection result,
A subject detection information adjustment method comprising adjusting the subject detection information based on the selected noise region.
前記被写体検出情報は色情報であり、
背景の実写画像と、背景および被写体が含まれる実写画像とを比較することにより、前記色情報を抽出することを特徴とする請求項6記載の被写体検出情報調整方法。
The subject detection information is color information,
The subject detection information adjustment method according to claim 6, wherein the color information is extracted by comparing a background image and a background image including a background and a subject.
前記被写体検出情報の調整は、前記選択されたノイズ領域に含まれる色情報を、前記被写体検出情報である色情報に対して追加もしくは除去する処理であることを特徴とする請求項6記載の被写体検出情報調整方法。   7. The subject according to claim 6, wherein the adjustment of the subject detection information is a process of adding or removing color information included in the selected noise region from the color information that is the subject detection information. Detection information adjustment method.
JP2004037188A 2003-09-30 2004-02-13 Method and apparatus for adjusting subject detection information Expired - Fee Related JP4328639B2 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2004037188A JP4328639B2 (en) 2004-02-13 2004-02-13 Method and apparatus for adjusting subject detection information
US10/948,143 US7574070B2 (en) 2003-09-30 2004-09-24 Correction of subject area detection information, and image combining apparatus and method using the correction

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004037188A JP4328639B2 (en) 2004-02-13 2004-02-13 Method and apparatus for adjusting subject detection information

Publications (3)

Publication Number Publication Date
JP2005228140A true JP2005228140A (en) 2005-08-25
JP2005228140A5 JP2005228140A5 (en) 2007-03-22
JP4328639B2 JP4328639B2 (en) 2009-09-09

Family

ID=35002803

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004037188A Expired - Fee Related JP4328639B2 (en) 2003-09-30 2004-02-13 Method and apparatus for adjusting subject detection information

Country Status (1)

Country Link
JP (1) JP4328639B2 (en)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007286851A (en) * 2006-04-14 2007-11-01 Canon Inc Image processing system, image processor, imaging device, and control method thereof
JP2008287410A (en) * 2007-05-16 2008-11-27 Canon Inc Image processing method and device
JP2009151496A (en) * 2007-12-19 2009-07-09 Canon Inc Image processor and processing method
JP2014067381A (en) * 2012-09-27 2014-04-17 Konami Digital Entertainment Co Ltd Service providing device, control method to be used for the same and computer program
KR20160097690A (en) * 2015-02-09 2016-08-18 한화테크윈 주식회사 Method for detecting object and surveillance system adopting the method
US9679415B2 (en) 2014-06-06 2017-06-13 Canon Kabushiki Kaisha Image synthesis method and image synthesis apparatus
US10445612B2 (en) 2015-10-26 2019-10-15 Canon Kabushiki Kaisha Information processing apparatus, information processing method, and storage medium
US10497103B2 (en) 2015-11-28 2019-12-03 Canon Kabushiki Kaisha Information processing apparatus, information processing system, information processing method, and recording medium
US11200706B2 (en) 2018-09-21 2021-12-14 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and storage medium
US11842519B2 (en) 2021-01-19 2023-12-12 Canon Kabushiki Kaisha Image processing apparatus for processing captured image, method therefor, and storage medium

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8345952B2 (en) 2006-04-14 2013-01-01 Canon Kabushiki Kaisha Image processing system, image processing apparatus, image sensing apparatus, and control method thereof
JP2007286851A (en) * 2006-04-14 2007-11-01 Canon Inc Image processing system, image processor, imaging device, and control method thereof
JP2008287410A (en) * 2007-05-16 2008-11-27 Canon Inc Image processing method and device
US8019176B2 (en) 2007-05-16 2011-09-13 Canon Kabushiki Kaisha Image processing method and image processing apparatus
JP2009151496A (en) * 2007-12-19 2009-07-09 Canon Inc Image processor and processing method
JP2014067381A (en) * 2012-09-27 2014-04-17 Konami Digital Entertainment Co Ltd Service providing device, control method to be used for the same and computer program
US9679415B2 (en) 2014-06-06 2017-06-13 Canon Kabushiki Kaisha Image synthesis method and image synthesis apparatus
KR20160097690A (en) * 2015-02-09 2016-08-18 한화테크윈 주식회사 Method for detecting object and surveillance system adopting the method
KR102366522B1 (en) 2015-02-09 2022-02-23 한화테크윈 주식회사 Method for detecting object and surveillance system adopting the method
US10445612B2 (en) 2015-10-26 2019-10-15 Canon Kabushiki Kaisha Information processing apparatus, information processing method, and storage medium
US10497103B2 (en) 2015-11-28 2019-12-03 Canon Kabushiki Kaisha Information processing apparatus, information processing system, information processing method, and recording medium
US11200706B2 (en) 2018-09-21 2021-12-14 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and storage medium
US11842519B2 (en) 2021-01-19 2023-12-12 Canon Kabushiki Kaisha Image processing apparatus for processing captured image, method therefor, and storage medium

Also Published As

Publication number Publication date
JP4328639B2 (en) 2009-09-09

Similar Documents

Publication Publication Date Title
US7574070B2 (en) Correction of subject area detection information, and image combining apparatus and method using the correction
JP6627861B2 (en) Image processing system, image processing method, and program
US7558403B2 (en) Information processing apparatus and information processing method
JP4810295B2 (en) Information processing apparatus and control method therefor, image processing apparatus, program, and storage medium
JP2003296759A (en) Information processing method and device
EP2089852A1 (en) Methods and systems for color correction of 3d images
US20110273731A1 (en) Printer with attention based image customization
JP4328639B2 (en) Method and apparatus for adjusting subject detection information
TWI464705B (en) A method for generating a composite image
CN106682652B (en) Structure surface disease inspection and analysis method based on augmented reality
JP4481236B2 (en) Program, information storage medium, photo printing apparatus and photo printing method
JP6708407B2 (en) Image processing apparatus, image processing method and program
CN115486091A (en) System and method for video processing using virtual reality devices
JP2008146260A (en) Image generation device and image generation method
JP2013070342A (en) Image processing device, image processing method, and program
JP4323910B2 (en) Image composition apparatus and method
JP2004355494A (en) Display interface method and device
JP4745724B2 (en) Image processing method and image processing apparatus
JP4562183B2 (en) Information processing method and information processing apparatus
JP2023013538A (en) Image processing apparatus, image processing method, and program
JP2016042661A (en) Information processing unit, system, information processing method, and program
JP2008299670A (en) Image area extraction device and its control method, composite reality presentation system and computer program
US11842519B2 (en) Image processing apparatus for processing captured image, method therefor, and storage medium
JP2020057038A (en) Pixel-region-to-be-changed extraction device, image processing system, pixel-region-to-be-changed extraction method, image processing method, and program
JP7204397B2 (en) Image processing device, image processing method, and program

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070205

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070205

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090323

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090518

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090608

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090615

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120619

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4328639

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120619

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130619

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees