JP2005228140A - Method for adjusting object region detection information - Google Patents
Method for adjusting object region detection information Download PDFInfo
- Publication number
- JP2005228140A JP2005228140A JP2004037188A JP2004037188A JP2005228140A JP 2005228140 A JP2005228140 A JP 2005228140A JP 2004037188 A JP2004037188 A JP 2004037188A JP 2004037188 A JP2004037188 A JP 2004037188A JP 2005228140 A JP2005228140 A JP 2005228140A
- Authority
- JP
- Japan
- Prior art keywords
- image
- subject
- detection information
- color information
- region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- Studio Circuits (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、実写画像から所定の被写体領域を検出するために用いられる被写体領域検出情報の生成方法及び調整方法に関し、特に実写画像とコンピュータグラフィックスを、前記実写画像中の所定の被写体領域を考慮して合成する際に有用な被写体領域検出情報の調整方法に関する。 The present invention relates to a method for generating and adjusting subject area detection information used for detecting a predetermined subject area from a photographed image, and more particularly to a photographed image and computer graphics, taking a predetermined subject area in the photographed image into consideration. The present invention relates to a method for adjusting subject area detection information that is useful when combining images.
実写風景を背景として、その上にコンピュータグラフィックス(以下、CGと記述)を重畳して提示し、体験者に対して、あたかもその場に仮想の物体が存在するかのような体験を行わせる複合現実感(Mixed Reality:MR)の技術がある。このMR技術を用いて臨場感豊かな体験を実現するには、背景となる実写風景の上にただ単純にCGを重畳して表示するだけではなく、体験者が実際にCGで描画される仮想物体(以下、単に仮想物体と言うことがある)に触ったり操作する(しているように体感させる)といったインタラクションが重要になってくる。そして、このようなインタラクションを実現するめには、仮想物体よりも手前(前景)に仮想物体を操作する体験者の手など(以下、被写体という)を表示することが必要である。なぜなら、仮想物体よりも手前にあるべき被写体が仮想物体によって隠されてしまうと、仮想物体との距離感や現実感が破綻し、臨場感を損ねてしまうからである。 Computer graphics (hereinafter referred to as CG) are superimposed on the background of live-action scenery and presented to the experiencer as if a virtual object existed on the spot. There is a mixed reality (MR) technology. In order to realize a rich experience using this MR technology, not only simply superimposing and displaying the CG on the live-action scene as the background, but also the virtual that the user actually draws in CG. Interactions such as touching and operating an object (hereinafter sometimes simply referred to as a virtual object) are becoming important. In order to realize such interaction, it is necessary to display the hands of an experienced person who operates the virtual object (hereinafter referred to as a subject) in front of the virtual object (foreground). This is because if the subject that should be in front of the virtual object is hidden by the virtual object, the sense of distance from the virtual object and the sense of reality will break down, impairing the sense of reality.
このような課題を解決するために、出願人は特許文献1において、最前景とすべき被写体の画像をCG画像によって隠さないようにする技術を提案した。この技術は、背景と被写体とを実写画像として取得し、この実写画像から、予め手作業でシステムに登録した、CG画像より手前に表示すべき被写体を、被写体検出情報としての色情報を有する領域を被写体領域として抽出し、被写体領域にはCG画像の描画を禁止するものである。この技術により、最前景となるべき被写体がCG画像で隠されることなく、仮想物体よりも手前にあるように表示され、臨場感の高い複合現実感体験を行うことが可能となる。 In order to solve such a problem, the applicant proposed in Japanese Patent Application Laid-Open No. H11-228707 a technique for preventing the image of the subject to be the foreground from being hidden by the CG image. This technique obtains a background and a subject as a real image, and from this real image, an object that has been registered in the system manually and has a color information as subject detection information that is to be displayed in front of the CG image. Is extracted as a subject region, and drawing of a CG image is prohibited in the subject region. With this technique, the subject that should be the foreground is displayed so as to be in front of the virtual object without being hidden by the CG image, and a mixed reality experience with a high presence can be performed.
しかしながら、特許文献1では、CG画像の描画を禁止する被写体領域を検出するための被写体の色情報を手作業でシステムに登録する必要があった。そして、手作業による色情報の登録には知識と慣れが必要であり、誰でもが簡単にできる作業ではない。 However, in Patent Document 1, it is necessary to manually register subject color information for detecting a subject area for which CG image drawing is prohibited in the system. In addition, manual registration of color information requires knowledge and familiarity and is not an easy task for anyone.
このような技術的背景から、経験や知識のある者が手作業で被写体検出情報の登録を行うのではなく、体験者やシステムのオペレータといった知識、経験のない者でも、比較的簡単な操作で被写体検出情報を登録可能とする技術が要望されている。 Because of this technical background, people with experience and knowledge do not manually register subject detection information, but even those with no knowledge or experience, such as experienced people or system operators, can perform relatively simple operations. There is a demand for a technique that enables registration of subject detection information.
また、簡単な操作で被写体検出情報を登録できたとしても、特に照明条件の変化などにより、実写画像における被写体の色情報が事前に登録された色情報と変化した場合は、誤認識する可能性がある。すなわち、例えば誤って被写体であると認識された領域では本来CG描画を行うべき領域についてもCGの描画が禁止され、隠されるべき背景画像が見えてしまうし、逆に誤って背景(被写体でない)と認識された領域では、本来CG描画を禁止すべき被写体領域上にCGが描画されてしまう。そのため、正確な被写体領域検出を行うには被写体検出情報を調整する必要がある。 Even if subject detection information can be registered with a simple operation, it may be erroneously recognized if the subject color information in a live-action image changes from pre-registered color information due to changes in lighting conditions, etc. There is. That is, for example, in a region that is mistakenly recognized as a subject, CG rendering is prohibited even in a region where CG rendering should be originally performed, and a background image to be hidden can be seen. In the area recognized as CG, the CG is drawn on the subject area where CG drawing should be prohibited. Therefore, it is necessary to adjust subject detection information in order to perform accurate subject region detection.
このように、被写体領域の誤認識に起因したCG画像中の背景画像や、被写体領域中のCG画像といったノイズ領域を削減又は除去するための、被写体検出情報の調整技術もまた要望されていた。 Thus, there has also been a demand for a technique for adjusting subject detection information for reducing or removing a noise region such as a background image in a CG image or a CG image in the subject region resulting from erroneous recognition of the subject region.
本発明はこれら従来技術の課題及び技術的要望に鑑みてなされたものであり、その主な目的の1つは、実写画像中の被写体領域を検出するための被写体検出情報を簡便な操作で登録可能とすることにある。
また、本発明の別の主な目的は、登録された被写体検出情報を直感的かつ容易に修正可能とすることにある。
The present invention has been made in view of these problems and technical demands of the prior art, and one of its main purposes is to register subject detection information for detecting a subject area in a live-action image with a simple operation. It is to make it possible.
Another main object of the present invention is to make it possible to intuitively and easily correct registered subject detection information.
上述の目的は、実写画像中に含まれる所定の被写体領域を検出するための被写体検出情報の調整方法であって、実写画像を取得する実写画像取得工程と、現在登録されている被写体検出情報を用いて、実写画像から所定の被写体領域を抽出し、実写画像中の所定の被写体領域と、それ以外の領域とが視覚的に異なって表わされる被写体領域画像を生成する被写体領域画像生成工程と、被写体領域画像を半透明画像として実写画像上に重畳した調整用画像を生成する調整用画像生成工程と、調整用画像をユーザインタフェースを介して提示する提示工程と、ユーザインタフェースを介して指定された調整用画像の領域に対応する実写画像の領域の色情報から、追加又は削除すべき被写体検出情報を生成し、現在登録されている被写体検出情報を更新する更新工程と、を有することを特徴とする被写体検出情報調整方法によって達成される。 The above-described object is a method for adjusting subject detection information for detecting a predetermined subject area included in a live-action image, and includes a live-action image acquisition step for acquiring a real-shot image and currently registered subject detection information. Using a subject area image generating step for extracting a predetermined subject area from the live-action image and generating a subject area image in which the predetermined subject area in the live-action image is visually expressed differently from the other areas; An adjustment image generation step for generating an adjustment image by superimposing a subject area image on a live-action image as a translucent image, a presentation step for presenting the adjustment image via a user interface, and a specification specified via the user interface Object detection information to be added or deleted is generated from the color information of the real image area corresponding to the adjustment image area, and the currently registered object detection information is obtained. An updating step of new to be achieved by the subject detection information adjustment method characterized by having a.
また、上述の目的は、実写画像中に含まれる所定の被写体領域を検出するための被写体検出情報の調整装置であって、実写画像を取得する実写画像取得手段と、現在登録されている被写体検出情報を用いて、実写画像から所定の被写体領域を抽出し、実写画像中の所定の被写体領域と、それ以外の領域とが視覚的に異なって表わされる被写体領域画像を生成する被写体領域画像生成手段と、被写体領域画像を半透明画像として実写画像上に重畳した調整用画像を生成する調整用画像生成手段と、調整用画像をユーザインタフェースを介して提示する提示手段と、ユーザインタフェースを介して指定された調整用画像の領域に対応する実写画像の領域の色情報から、追加又は削除すべき被写体検出情報を生成し、現在登録されている被写体検出情報を更新する更新手段と、を有することを特徴とする被写体検出情報調整装置によっても達成される。 The above-described object is an apparatus for adjusting subject detection information for detecting a predetermined subject area included in a live-action image, and includes a real-image acquisition means for acquiring a real-shot image, and a currently registered subject detection. A subject area image generating means for extracting a predetermined subject area from a photographed image using information and generating a subject area image in which the prescribed subject area in the photographed image is visually different from other areas. An adjustment image generation means for generating an adjustment image obtained by superimposing the subject area image as a translucent image on the real image, a presentation means for presenting the adjustment image via the user interface, and designation via the user interface The subject detection information to be added or deleted is generated from the color information of the real image area corresponding to the adjusted image area, and the currently registered subject detection is performed. Also achieved by the subject detection information adjusting apparatus comprising: the updating means for updating the broadcast, the.
また、上述の目的は、実写画像中に含まれる所定の被写体領域を検出するための被写体検出情報の調整方法であって、登録されている被写体検出情報を用いて、入力実写画像から被写体領域の検出結果を表示させ、ユーザ指示に基づき、検出結果からノイズ領域を選択し、選択されたノイズ領域に基づき、被写体検出情報を調整することを特徴とする被写体検出情報調整方法によっても達成される。 The above-described object is a method for adjusting subject detection information for detecting a predetermined subject region included in a live-action image, and uses the registered subject detection information to detect the subject region from an input live-action image. This is also achieved by a subject detection information adjustment method that displays a detection result, selects a noise region from the detection result based on a user instruction, and adjusts subject detection information based on the selected noise region.
また、上述の別の主な目的は、本発明の被写体検出情報調整方法をコンピュータに実行させるプログラム、又はこのプログラムを格納したコンピュータ読み取り可能な記録媒体によっても達成される。 The other main object described above is also achieved by a program that causes a computer to execute the subject detection information adjustment method of the present invention, or a computer-readable recording medium that stores this program.
以上の構成によれば、被写体領域を検出するための被写体検出情報を自動的に登録することができる。また、登録された被写体検出情報を簡易な操作で調整することができる。 According to the above configuration, subject detection information for detecting a subject region can be automatically registered. Also, the registered subject detection information can be adjusted with a simple operation.
以下、添付図面を参照して本発明をその好適な実施形態に基づいて詳細に説明する。
図1は、本発明の一実施形態としての映像合成装置の構成例を示すブロック図、図2は図1のシステムを複合現実感アプリケーションに適用した状態を模式的に示す図である。
Hereinafter, the present invention will be described in detail based on preferred embodiments with reference to the accompanying drawings.
FIG. 1 is a block diagram showing a configuration example of a video composition apparatus as an embodiment of the present invention, and FIG. 2 is a diagram schematically showing a state in which the system of FIG. 1 is applied to a mixed reality application.
図1において、小型のビデオカメラ101は現実空間を撮影する。本実施形態においてビデオカメラ101は、映像合成装置のユーザ(複合現実感の体験者)201が装着する頭部搭載型画像表示装置(Head Mounted Display、以下HMDという)109の、ユーザの目に近い部分に、ユーザの視界方向と一致する向きに固定されている(図2参照)。画像入力部102は、ビデオカメラ101より撮影された画像(映像)を入力する。ビデオカメラ101で撮影された画像の信号は、画像入力部102によって処理され、ディジタル画像データとして後述する被写体領域抽出部103と画像合成部108に供給され、画像生成部106で生成されたCG画像と合成されてユーザのHMD109に表示される。
In FIG. 1, a
被写体領域抽出部103は画像入力部102から入力されたディジタル画像データの中から、被写体色情報登録部110に登録された色に対応するデータを抽出し、その抽出結果を被写体領域情報として画像合成部108へ送る。すなわち、被写体領域抽出部103は、画像入力部102から供給されたディジタル画像データの各画素の色情報を被写体色情報登録部110に登録してある被写体の色情報と比較し、これと一致する場合には当該画素は被写体の領域であると判断する。なお、この判断においては、完全一致のみならず、予め定めた誤差範囲を許容して判断しても良い。被写体領域抽出部103が画像合成部108に与える被写体領域情報としては、例えば被写体領域に含まれるならば1、そうでないならば0のような値を各画素に割り当てることにより生成した画像データの形態であってよい。
The subject
一方、カメラ位置姿勢計測部105は、カメラ位置姿勢センサ104からの信号に基づいてビデオカメラ101の位置姿勢を検出し、これを画像生成部106へ送る。カメラ位置姿勢センサ104は、例えば磁気センサで構成され、図2に示すようにHMD109に装着されている。カメラ位置姿勢計測部105は、カメラ位置姿勢センサ104からの出力信号を入力し、カメラ101の3次元位置と姿勢を推定する。なお、カメラ位置姿勢センサ104は、磁気センサの他に、光学式センサ、超音波式センサ、機械式センサなど、用途に合わせて好適な手段を任意に選択してよい。
On the other hand, the camera position /
画像生成部106では、カメラ位置姿勢計測部105から供給されるカメラの3次元位置と姿勢の情報を用いて、ビデオカメラ101で撮影された映像に合わせたCG画像が生成される。CG画像の生成においては、仮想空間データベース107に含まれるCGモデル(仮想物体)の幾何情報、色やテクスチャなどの属性情報、および照明情報が用いられる。3次元CG画像の生成は既知の技術であるので説明を省略する。生成されたCG画像は画像合成部108へ送られる。
In the
画像合成部108では、画像入力部102より入力される映像に画像生成部106で生成したCG画像を重畳描画する。このとき、被写体領域抽出部103より送られて来た被写体領域(値が1の領域)においては、CG画像の描画を禁止し、ビデオカメラ101からの映像がそのまま表示されるようにする。こうして画像合成部108で生成された合成画像は、HMD109に送られ、表示される。
In the
なお、以上のような図1の構成において、ビデオカメラ101、カメラ位置姿勢センサ104はHMD109に装着され、他の構成は例えばビデオキャプチャ機能を有する汎用的なコンピュータ装置において、必要なソフトウェアを実行することで実現することができる。また、図1においては示していないが、本実施形態の映像合成装置には、オペレータが装置の設定などの操作を行うために必要な表示装置(モニタ)や、マウス、キーボード等の入力機器なども含まれる。
In the configuration of FIG. 1 as described above, the
以下、このような構成を有する映像合成装置の動作及び処理について、図2及び図3を参照してより具体的に説明する。図2は図1のシステムを複合現実感アプリケーションに適用した状態を模式的に示す図であり、図3は図2のアプリケーションにおいて映像合成装置が行う画像合成処理を説明する図である。 Hereinafter, the operation and processing of the video composition apparatus having such a configuration will be described more specifically with reference to FIGS. FIG. 2 is a diagram schematically showing a state where the system of FIG. 1 is applied to the mixed reality application, and FIG. 3 is a diagram for explaining image composition processing performed by the video composition device in the application of FIG.
図2において、ユーザ201は、実写映像とCG画像を合成して表示するための表示装置であるHMD109を頭部203に装着し、椅子202に座っている。なお、ユーザ201は着座以外の任意の姿勢を取っていても良い。また、上述したようにHMD109にはビデオカメラ101やカメラ位置姿勢センサ104が搭載されている。なお、本実施形態において、CG画像より前景とすべき被写体はユーザ201の手204であるとし、背景とすべき現実の対象物はユーザの手204以外の現実物体(壁や鉢植え等)205である。
In FIG. 2, a
HMD109に表示される画像は、図3の(a)のような現実空間の実写風景を背景に、図3の(b)のようなCG画像(仮想自動車内部画像206)を重畳する。このとき、CG画像の前景として(すなわち、CG画像に隠されないように)被写体(ユーザの手204)が表示されるようにCG画像を重畳し、図3の(c)に示すような目的とする合成画像を生成する。このように、体験者に臨場感の高い複合現実感体験させるためには、CG画像の前景となる被写体領域にはCG画像を描画しないことが重要である。
The image displayed on the
図4は被写体領域抽出部103による被写体領域の抽出を説明する図である。図4の(a)は、ビデオカメラ101より得られる実写画像の例であり、図3(a)と対応する。実写画像301において、ユーザ201自身の手204がビデオカメラ101の視野内に入っており、背景とすべき現実の風景と共に前景とすべき被写体である手204が画像中に存在する。被写体とすべき手204を検出するための被写体検出情報としての色情報は予め被写体色情報登録部110に登録されている(登録の手順の詳細は後述)。被写体領域抽出部103は、実写画像301の各画素について、その色情報を被写体の色情報と比較し、被写体領域に含まれると判定されるならば1(白)、それ以外では0(黒)とした二値画像を生成する。図4の(b)に示される被写体領域画像401はこのようにして実写画像301を解析して生成した画像であり、白で示した領域402が手の領域、すなわちCG画像の前景とすべき被写体領域を示す。こうして生成された被写体領域にはCG画像を合成しないことで、実写画像とCGを合成し、なおCG画像の前景として体験者の手を表示した合成画像(図3(c))を得ることができる。
FIG. 4 is a diagram for explaining extraction of a subject area by the subject
なお、本実施形態において被写体領域抽出部103および被写体色情報登録部110で用いる所定の色空間とは多次元色空間であり、色情報はこの多次元色空間における座標値として記述することができる。一般によく知られている多次元色空間(表色系)としては、RGB、YIQ、YCbCr、YUV、HSV、Lu*v*、La*b*など様々なものが挙げられる(多次元色空間の例は、例えば日本規格協会、JIS色彩ハンドブックを参照されたい)。
In the present embodiment, the predetermined color space used by the subject
対象とする被写体の色彩特性に合わせて適当な色空間を用いてよいが、照明条件の相違による被写体の色彩特性の変化を相殺するために、輝度情報と色相情報とに分離する形式の表色系を用い、被写体色情報として色相情報だけを用いることが望ましい。このような表色系の代表的なものとしてはYIQやYCbCrが一般的である。以下、本実施形態では、YCbCr表色系を用いるとする。 An appropriate color space may be used according to the color characteristics of the target subject, but in order to cancel out changes in the color characteristics of the subject due to differences in lighting conditions, the color specification is separated into luminance information and hue information. It is desirable to use only the hue information as subject color information. Typical examples of such a color system are YIQ and YCbCr. Hereinafter, in this embodiment, it is assumed that the YCbCr color system is used.
図6は本実施形態の映像合成装置全体の流れを説明するフローチャ−トである。なお、図6の処理の開始に先立って、上述した被写体色情報登録部110により、CG画像よりも前景とすべき被写体領域を抽出するための被写体色情報を登録しておく(ステップS0)。なお、被写体色情報登録部110による被写体色情報の登録方法の詳細については、図7〜図9により後述する。また、本実施形態では映像合成装置を実時間で動作させるために、被写体色情報の登録作業をシステムの起動前に行っている。しかしながら、装置の能力に余力がある場合は、映像合成処理を行いながら被写体色情報を更新可能に構成することも可能である。
FIG. 6 is a flowchart for explaining the overall flow of the video composition apparatus of this embodiment. Prior to the start of the processing in FIG. 6, the subject color
被写体色情報登録がなされた状態で起動されると、ステップS1で初期化処理など起動時に必要な処理を行う。ステップS2及びS3は被写体領域抽出部103の処理である。まずステップS2では、ビデオカメラ101で撮像した画像内の各画素の色空間をRGB空間から所定の色空間(被写体色情報登録部110で登録された被写体色を表す色空間で、本実施形態ではYCbCr色空間)へ変換する。ステップS3では、変換された各画素が被写体色情報登録部110に登録された被写体色と一致するかを調べる。登録されている被写体色と一致する画素には1の値を、一致しない画素は0の値を割当て、図4(b)に示した2値のマスク画像(被写体領域画像)を生成する。
When activated in a state where subject color information has been registered, processing necessary for activation, such as initialization processing, is performed in step S1. Steps S <b> 2 and S <b> 3 are processes of the subject
ステップS4では、画像生成部106が、カメラ位置姿勢計測部105から入力されたビデオカメラ101の位置姿勢及び仮想空間データベース107の描画情報に基づいて、当該位置姿勢から観察されるべきCG画像を生成する。そして、画像合成部108では、ステップS3で得られたマスク画像(被写体領域画像)でこのCG画像をマスク処理する。すなわち、ステップS4では、マスク画像により被写体領域をマスクされたコンピュータ映像が生成される。ステップS5では、ステップS4で生成されたマスク処理済みのCG画像とビデオカメラ101より得られる実写画像を合成し、HMD109に表示する。
In step S4, the
その後、ステップS6で動作を終了する指示がなされたかどうかがチェックされ、終了指示がなければステップS2に戻り、上述の処理を繰り返す。終了指示があれば、ステップS6より本処理を終了する。 Thereafter, it is checked in step S6 whether or not an instruction to end the operation has been given. If there is no end instruction, the process returns to step S2 and the above-described processing is repeated. If there is an end instruction, the process ends from step S6.
●(被写体色情報登録処理)
次に、被写体色情報登録部110による被写体色情報登録処理について、図5、図7及び図8を参照して説明する。
図5は被写体色情報登録部110の詳細を説明する図である。色変換部501は、ビデオカメラ101で撮影され、画像入力部102からディジタル画像データとして出力される画像データを所定の色空間(本実施形態ではYCbCr)の画像データに変換する。色空間が変換された画像データは背景色情報登録部502又は被写体色情報抽出部503へ与えられる。背景色情報登録部502は、色変換部501から受け取った画像データから背景色情報を登録する。被写体色情報抽出部503は、背景色情報登録部502に登録された背景色情報と、色変換部501から受け取った画像データから、被写体の色情報を抽出する。抽出した被写体色情報は、被写体色情報登録部504に格納される。
● (Subject color information registration process)
Next, subject color information registration processing by the subject color
FIG. 5 is a diagram for explaining the details of the subject color
本実施形態においては、被写体が含まれない背景画像(図4(a)でユーザの手204が含まれない画像に対応)と、被写体が含まれる背景画像(図4(a)に相当)とを撮影し、これら二種類の画像のうち、被写体が含まれる背景画像にのみ含まれる色情報を検出して被写体色情報としている。
In the present embodiment, a background image that does not include the subject (corresponding to an image that does not include the user's
以下、図7及び図8をさらに参照し、被写体色情報登録処理についてさらに説明する。
まず、ステップS12で、ビデオカメラ101及び画像入力部102を通じ、被写体が含まれない背景画像(以下、この背景画像を背景色情報ということがある)を取得する。なお、ステップS12における背景画像取得の際は、背景画像に被写体の色情報がなるべく含まれないようにすることが重要である。
Hereinafter, the subject color information registration process will be further described with reference to FIGS.
First, in step S12, a background image that does not include a subject (hereinafter, this background image may be referred to as background color information) is acquired through the
次に、ステップS12で取得した画像をステップS13で色変換部501によりYCbCr表色系へ変換する。色変換部501はこの背景画像データを背景色情報登録部502へ供給する。ステップS14で、背景色情報登録部502は、色変換部501が変換した画像データ画像中に含まれている画素の色を抽出する。そして、十分な数のサンプルを得るため、ステップS12からステップS14までの処理を所定回数繰り返す(ステップS15)。なお、ステップS12〜S14の繰り返し回数は任意である。そして、所定回数の繰り返しを終えると、ステップS15からステップS16へ進み、背景色情報登録部502は、ステップS14において抽出した色を背景色情報として登録する。
Next, the image acquired in step S12 is converted into the YCbCr color system by the
以上のようにして背景色情報を登録したならば、続いて被写体色情報の登録を行なう。図8は被写体色情報の登録処理を説明するフローチャートである。
まず、ステップS22で、ビデオカメラ101及び画像入力部102を介してこんどは被写体を含んだ背景画像を取得する。そして、ステップS23で、ステップS22で取得した背景画像データを色変換部501によりYCbCr表色系へ変換し、被写体色情報抽出部503へ供給する。ステップS24で被写体色情報抽出部503は、色変換部501が変換した画像データ画像中に含まれている画素の色を抽出する。そして図7と同様にステップS22からステップS24までの処理を所定回数繰り返す(ステップS25)。なお、ここでの繰り返し回数もまた任意であるが、被写体の角度を変え、被写体への照明の当たり具合が変化するようにして撮像した複数の画像について処理を繰り返すことが好ましい。
If the background color information is registered as described above, then subject color information is registered. FIG. 8 is a flowchart for explaining subject color information registration processing.
First, in step S22, a background image including a subject is acquired through the
所定回数の繰り返しを終えると、ステップS25からステップS26へ進み、ステップS24で抽出した色を一旦被写体色情報登録部504に格納する。そして、被写体色情報抽出部503は、背景色情報登録部502に登録されている背景色情報と、被写体色情報登録部504に登録されている色情報とを比較し、被写体色情報登録部504に格納されている色情報のうち、背景色情報として登録されていない色情報を被写体の色情報、すなわち被写体色情報として登録する(ステップS27)。
When the predetermined number of repetitions is completed, the process proceeds from step S25 to step S26, and the color extracted in step S24 is temporarily stored in the subject color
なお、ここで用いる2種類の背景画像は、体験者がHMD109を装着し、背景と被写体を見ている状態で、操作者が操作画面をモニタしながら撮影することができる。この背景画像は色を抽出して利用するため、2種類の画像を撮影する際のカメラ位置は多少異なっていても問題ないが、背景に被写体の色情報を多く含むような画像を背景として登録すると、その部分は被写体色情報から削除されてしまうため、被写体色情報の精度が低下し、後述するノイズ領域の原因となる。そのため、ここでの撮影においては、背景に鏡面反射が起きないような、例えば布のようなものを用い、黒か青の単色の背景となるようにすることが好ましい。
Note that the two types of background images used here can be taken while the operator wears the
また、他の方法によって被写体色情報を求めても良い。例えば、上述の方法では、2種類の背景画像のうち、被写体を含んだ背景画像にのみ含まれる色を被写体色情報としたが、2種類の背景画像から被写体領域を求め、被写体領域に含まれる画素の色を被写体色情報とすることもできる。2種類の背景画像から被写体領域を求める方法としては、例えば動画像圧縮技術で用いられるような動き検出技術を用い、2種類の背景画像の対応領域を求めて差分をとるなど様々な方法を用いることができる。あるいは、カメラを固定して画素レベルでの背景差分を取り、被写体領域のみを切り出した後、その領域内の色情報を登録するといった方法を用いても良い。 The subject color information may be obtained by other methods. For example, in the above-described method, the color included only in the background image including the subject among the two types of background images is used as the subject color information. However, the subject region is obtained from the two types of background images and is included in the subject region. The color of the pixel can be used as subject color information. As a method for obtaining the subject area from the two types of background images, for example, various methods are used such as using a motion detection technique such as that used in the moving picture compression technique to obtain a corresponding area of the two types of background images and obtaining a difference. be able to. Alternatively, a method may be used in which the camera is fixed, the background difference at the pixel level is taken, only the subject area is cut out, and the color information in that area is registered.
●(被写体領域抽出処理)
次に、このようにして登録した被写体色情報を用い、撮影された画像から被写体領域を抽出する被写体領域抽出部103の処理を図9のフローチャートにより説明する。
● (Subject area extraction processing)
Next, the processing of the subject
画像入力部102から供給される画像データの各画素について図9に示す処理を行い、被写体の領域を抽出する。まず、ステップS31で、画像座標(i,j)(i,jはいずれも0以上の整数)の画素を表すRGB値(r(i,j),g(i,j),b(i,j))を、YCbCr空間の座標値に変換する色空間変換関数(color_conversion)へ代入、演算することにより、画像座標(i,j)のRGB値のYCbCr空間での座標値(Y,cb,cr)を得る。そして、ステップS32においてYCbCr空間での座標値(Y,cb,cr)を入力として、被写体色情報登録部110に登録されている被写体色情報を参照し、当該画素の色が、被写体色情報の領域に属するか否か(被写体色情報として登録されているか否か)を判定する。
The process shown in FIG. 9 is performed on each pixel of the image data supplied from the
すなわち、被写体領域判定関数mask_funcは、入力された座標値(Y,cb,cr)が被写体色情報の領域に属する場合には1を、そうでない場合には0を返す。このステップS31及びS32の処理を、全画素について実行することにより(ステップS33)、被写体色情報に属するならば1、属さないならば0というように2値で表わされた被写体領域画像が生成される(図4(b))。なお、被写体領域画像は、0から1までの連続値による確率分布で表現してもよい。 That is, the subject area determination function mask_func returns 1 if the input coordinate value (Y, cb, cr) belongs to the area of the subject color information, and returns 0 otherwise. By executing the processing of steps S31 and S32 for all the pixels (step S33), a subject area image represented by a binary value such as 1 if it belongs to the subject color information and 0 if it does not belong is generated. (FIG. 4B). The subject area image may be expressed by a probability distribution with continuous values from 0 to 1.
●(映像合成処理)
画像合成部108では、画像入力部101から供給される実写画像(図3(a))と、画像生成部106から供給されるCG画像(図3(b))とを、被写体領域抽出部110から供給される被写体領域画像(図4(b))を用いて、目的とする合成画像(図3(c))を生成する。画像合成部108は、画像入力部102より入力される実写画像を画像表示のための画像メモリであるフレームバッファと、マスク処理のための画像メモリであるステンシルバッファを有している。
● (Video composition processing)
In the
画像合成部108での画像合成処理について、図12のフローチャートを用いて説明する。ステップS51では、画像入力部102より入力される実写画像real(i,j)をフレームバッファに転送する。ステップS52では、被写体領域抽出部103で生成された、被写体領域の画素の値”1”、他の領域の画素の値”0”の二値被写体領域画像stencil(i,j)をステンシルバッファに転送する。ステップS53では、画像生成部106によりCG画像CGI(i,j)を生成して、各座標(i,j)の画素についてステンシルバッファの値Stencil(i,j)を参照し、Stencil(i,j)=1、すなわち実写画像中の画素real(i,j)が被写体領域に含まれる場合には、対応するフレームバッファの画素buffer(i,j)を更新せず、Stencil(i,j)=0、すなわち実写画像中の画素real(i,j)が被写体領域に含まれていないときのみ、buffer(i,j)の値をCG画像の画素値CGI(i,j)によって置き換える。
The image composition processing in the
その結果、被写体領域では常に実写画像の画素値がフレームバッファに描き込まれ、被写体領域でない領域では、CGが重畳されている部分に関してはCG画像の画素値がフレームバッファに描き込まれる。また、被写体領域でなくかつCGが重畳されない領域は実写画像がフレームバッファに描き込まれる。フレームバッファに書き込まれた画像は合成画像としてHMD109に表示される。
As a result, the pixel value of the live-action image is always drawn in the frame buffer in the subject area, and the pixel value of the CG image is drawn in the frame buffer for the portion where the CG is superimposed in the non-subject area. In addition, a real image is drawn in the frame buffer in a region that is not a subject region and in which CG is not superimposed. The image written in the frame buffer is displayed on the
●(登録被写体色情報の修正処理)
理想的にはこれまで説明した処理により正しい合成画像が得られるはずであるが、実際には被写体色情報登録部110に登録された被写体色情報には、被写体の色情報に類似した、被写体とは異なる物体の色も含まれてしまうことがある。この場合、被写体領域画像(マスク画像)401には被写体領域以外にもマスク領域が存在することになる。すなわち、被写体色情報として、被写体以外の色が登録されていると、被写体領域外であるにもかかわらずCG画像の描画が禁止され、背景画像が出現してしまう領域が発生する。
● (Registered subject color information correction process)
Ideally, a correct composite image should be obtained by the processing described so far, but actually, subject color information registered in the subject color
あるいは、被写体の色であるにもかかわらず、被写体色情報として登録されていない色が存在すれば、被写体領域中にCG画像が描画されてしまう領域が発生する。本明細書においては、このように、被写体領域か非被写体領域かが正しく認識されなかった領域をノイズ領域と呼ぶ。 Alternatively, if there is a color that is not registered as subject color information in spite of the subject color, a region where a CG image is drawn is generated in the subject region. In this specification, a region in which the subject region or the non-subject region is not correctly recognized is referred to as a noise region.
ノイズ領域を減少又は除去するには、登録されている被写体色情報を修正する必要がある。そして本実施形態に係る映像合成装置は以下に説明するように容易に被写体色情報を修正することが可能である。 In order to reduce or eliminate the noise region, it is necessary to correct the registered subject color information. The video composition apparatus according to the present embodiment can easily correct the subject color information as described below.
図10は被写体色情報調整画像の例と、本実施形態における映像合成装置において実現される登録被写体色情報の修正処理の概要を示す図である。被写体色情報調整画像は、被写体領域画像を、CG描画領域(非マスク領域)と、被写体領域(マスク領域)とで2色に色分けし、半透明表示して実写画像に重ね合わせた画像である。なお、図10では図が煩雑にならないよう、本来は透けて見えている背景画像を図示していない。 FIG. 10 is a diagram showing an example of a subject color information adjustment image and an outline of a correction process for registered subject color information realized in the video composition apparatus according to the present embodiment. The subject color information adjustment image is an image in which a subject area image is color-coded into two colors, a CG drawing area (non-mask area) and a subject area (mask area), and is displayed semi-transparently and superimposed on a real image. . Note that FIG. 10 does not show a background image that is originally seen through, so that the drawing is not complicated.
被写体色情報調整画像1001には、被写体領域1003の外側と内側にノイズ領域1004及び1005が存在している。外側のノイズ領域1004は背景の一部を被写体領域と誤認識した領域であり、内側のノイズ領域1005は被写体領域であるにも関わらず背景であると誤認識した領域である。
The subject color
このノイズを減少又は除去するためには、被写体色情報登録部110に登録されている被写体色情報に修正を加える必要がある。本実施形態の映像合成装置において、被写体色情報を調整する際には、通常の合成画像生成処理において被写体情報抽出部103で生成する被写体領域画像を、2値画像ではなく2色画像として生成し、不透明度の情報を付加して半透明画像とする。そして、画像合成部108では、CG画像の合成は行わず、透明度を考慮して被写体領域画像と実写画像のみを合成した被写体色情報調整画像を生成する。この際、実写画像はユーザ201がHMD109を被った状態で取得しても良いし、ユーザは同じ状態で、カメラのみ固定して取得しても良い。
In order to reduce or eliminate this noise, it is necessary to modify the subject color information registered in the subject color
被写体色情報調整画像は、画像合成部108により、所定のGUI(Graphical User Interface)とともに映像合成装置のオペレータ用モニタに表示される。そして、オペレータは被写体色情報調整画像を見ながら、マウスを操作し、GUIを介してマウスカーソル1002で除去したいノイズ領域を塗り潰していく。具体的には、マウスカーソル1002をドラッグすることで、マウスカーソル1002がなぞった画素が塗りつぶされる。塗りつぶされた領域がオペレータに認識できるよう、被写体色情報調整画像のドラッグされた画素の色を、元の色から変更後の種別を表す色に変更することが好ましい。すなわち、被写体色情報調整画像において被写体領域が赤、それ以外の領域が青で表示され、被写体領域であるにもかかわらず検出されていなかったノイズ領域が塗りつぶされた場合には、塗りつぶされた画素の表示色を青から赤に変更する。また、ノイズ領域1004のように背景に大きな領域のノイズが生じている場合はマウスに割り当てられた別のボタンをクリックしドラッグすることにより被写体色情報からその色を削除することもできる。
The subject color information adjustment image is displayed on the operator monitor of the video composition device by the
被写体色情報調整画像において塗り潰された領域に対応する実写画像の画像座標(i,j)のRGB値(r(i,j),g(i,j),b(i,j))をYCbCr空間の座標値に変換する色空間変換関数(color_conversion)へ代入、演算することにより、画像座標(i,j)のRGB値のYCbCr空間での座標値(Y,cb,cr)を得る。塗りつぶされたノイズ領域が被写体領域内に存在していた場合には、得られたYCbCr空間での座標値(Y,cb,cr)を被写体色情報1003に追加登録し、被写体領域に生じるノイズを減少させる。また、被写体領域外に存在するノイズ領域を塗りつぶした場合には、得られたYCbCr空間での座標値(Y,cb,cr)を被写体色情報から削除する。このどちらの操作を行うかは、塗りつぶしを行う前に、被写体色情報の追加(被写体領域内のノイズ領域除去)か、削除(被写体領域外のノイズ領域除去)かを、操作画面中のメニューを選択することによって指定することができる。あるいは、マウスの左クリックは「追加」、右クリックは「削除」のように、入力デバイスのキーやボタンに追加、削除の選択機能を割り当てても良い。
The RGB values (r (i, j), g (i, j), b (i, j)) of the image coordinates (i, j) of the photographed image corresponding to the filled area in the subject color information adjustment image are set to YCbCr A coordinate value (Y, cb, cr) in the YCbCr space of the RGB value of the image coordinates (i, j) is obtained by substituting and calculating a color space conversion function (color_conversion) for converting to a space coordinate value. When the filled noise area exists in the subject area, the obtained coordinate value (Y, cb, cr) in the YCbCr space is additionally registered in the
被写体色情報調整処理について、図11のフローチャートを用いてさらに説明する。まず、ビデオカメラ101より被写体および背景が同時に移された画像を取得する。このとき取得する画像としては、合成画像の背景や被写体にノイズ領域が観察される画像であることが好ましい(ステップS42)。ステップS43ではステップS42で取得した画像を元に、被写体色情報登録部504に登録された色情報から被写体領域のマスク画像を作成する。作成したマスク画像を被写体領域とそれ以外の領域(背景領域)の二つに分け、それぞれを色分けして実写画像に重ねて被写体色情報調整画像を作成し、GUIを用いてオペレータに提示する(ステップS44)。被写体色情報調整画像において、被写体領域画像を半透明画像とすることで、ノイズ領域が背景画像のどのような領域に対応しているのかを確認できるため、オペレータのノイズ領域塗りつぶし操作が容易になる。
The subject color information adjustment process will be further described with reference to the flowchart of FIG. First, an image in which the subject and the background are simultaneously transferred is acquired from the
ステップS45では、被写体色情報調整画像において、オペレータが被写体色情報として登録又は削除したい領域としてマウスカーソルで塗り潰した領域をGUIを介して取得し、塗りつぶされた領域に対応する実写画像のRGB値(r(i,j),g(i,j),b(i,j))を取得する。そして、ステップS46で、これらRGB値を被写体色空間情報の色空間であるYCbCr空間へ変換する。ステップS47では、ステップS46で変換されたYCbCr空間の座標値(色情報)を、被写体色情報登録部504に追加するか、登録内容から削除する。追加または削除の指定方法としては、上述したように塗りつぶし前にメニューから指定しておく方法以外にも、マウスボタンの左クリックした状態を追加指定、右クリックした状態を削除指定とする、などが考えられる。そして、ステップS45〜S47の操作を繰り返し被写体色情報の調整を十分に行う。ステップS48で調整終了指示があった場合には処理を終了する。
In step S45, in the subject color information adjustment image, an area that is filled with the mouse cursor as an area that the operator wants to register or delete as the subject color information is acquired via the GUI, and the RGB value of the photographed image corresponding to the filled area ( r (i, j), g (i, j), b (i, j)) are acquired. In step S46, these RGB values are converted into a YCbCr space that is the color space of the subject color space information. In step S47, the coordinate value (color information) of the YCbCr space converted in step S46 is added to the subject color
以上説明したように、本実施形態によれば、CG画像の背景画像となるべき背景と、CG画像の前景となるべき被写体とを同時に撮影した撮影画像と、被写体が存在しない状態の撮影画像とから、被写体の色情報を容易かつ自動的に登録することができる。そのため、装置の使用環境が変わっても、その場で適切な被写体色情報を登録することが可能となる。 As described above, according to the present embodiment, a captured image obtained by simultaneously capturing a background to be a background image of a CG image and a subject to be a foreground of the CG image, and a captured image in a state where no subject exists. Thus, the color information of the subject can be registered easily and automatically. Therefore, even if the use environment of the apparatus changes, it is possible to register appropriate subject color information on the spot.
また、登録した色情報の修正を容易に行うことが可能であるため、より精度の高い合成画像の提供を容易に達成することができる。 Further, since it is possible to easily correct the registered color information, it is possible to easily provide a more accurate composite image.
●(他の実施形態)
なお、上述の実施形態においては、説明及び理解を容易にするため、ビデオカメラ、画像入力部及びHMDといった、被写体検出情報としての被写体色情報の取得、登録や、登録した被写体色情報の調整に係る構成を含んだ映像合成装置について説明した。しかし、これら構成は必須ではなく、ディジタル化された画像信号を受け取って、被写体検出情報としての被写体色情報の取得、登録や、登録した被写体色情報の調整を行うことが可能であればどのような構成であっても良い。
● (Other embodiments)
In the above-described embodiment, in order to facilitate explanation and understanding, acquisition, registration, and adjustment of registered subject color information as subject detection information such as a video camera, an image input unit, and an HMD are performed. A video composition apparatus including such a configuration has been described. However, these configurations are not essential, and any method can be used as long as it can receive a digitized image signal, acquire and register subject color information as subject detection information, and adjust registered subject color information. It may be a simple configuration.
また、上述の実施形態においては、1つの機器から構成される映像合成装置についてのみ説明したが、同等の機能を複数の機器から構成されるシステムによって実現しても良い。 Further, in the above-described embodiment, only the video synthesizing apparatus constituted by one device has been described. However, an equivalent function may be realized by a system constituted by a plurality of devices.
尚、前述した実施形態の機能を実現するソフトウェアのプログラムを、記録媒体から直接、或いは有線/無線通信を用いて当該プログラムを実行可能なコンピュータを有するシステム又は装置に供給し、そのシステム或いは装置のコンピュータが該供給されたプログラムを実行することによって同等の機能が達成される場合も本発明に含む。 A software program that realizes the functions of the above-described embodiments is supplied directly from a recording medium or to a system or apparatus having a computer that can execute the program using wired / wireless communication. The present invention includes a case where an equivalent function is achieved by a computer executing the supplied program.
従って、本発明の機能処理をコンピュータで実現するために、該コンピュータに供給、インストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明の機能処理を実現するためのコンピュータプログラム自体も本発明に含まれる。 Accordingly, the program code itself supplied and installed in the computer in order to implement the functional processing of the present invention by the computer also realizes the present invention. That is, the computer program itself for realizing the functional processing of the present invention is also included in the present invention.
その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、OSに供給するスクリプトデータ等、プログラムの形態を問わない。 In this case, the program may be in any form as long as it has a program function, such as an object code, a program executed by an interpreter, or script data supplied to the OS.
プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、磁気テープ等の磁気記録媒体、MO、CD−ROM、CD−R、CD−RW、DVD−ROM、DVD−R、DVD−RW等の光/光磁気記憶媒体、不揮発性の半導体メモリなどがある。 As a recording medium for supplying the program, for example, a magnetic recording medium such as a flexible disk, a hard disk, a magnetic tape, MO, CD-ROM, CD-R, CD-RW, DVD-ROM, DVD-R, DVD- There are optical / magneto-optical storage media such as RW, and non-volatile semiconductor memory.
有線/無線通信を用いたプログラムの供給方法としては、コンピュータネットワーク上のサーバに本発明を形成するコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイル等、クライアントコンピュータ上で本発明を形成するコンピュータプログラムとなりうるデータファイル(プログラムデータファイル)を記憶し、接続のあったクライアントコンピュータにプログラムデータファイルをダウンロードする方法などが挙げられる。この場合、プログラムデータファイルを複数のセグメントファイルに分割し、セグメントファイルを異なるサーバに配置することも可能である。 As a program supply method using wired / wireless communication, a computer program forming the present invention on a server on a computer network, or a computer forming the present invention on a client computer such as a compressed file including an automatic installation function A method of storing a data file (program data file) that can be a program and downloading the program data file to a connected client computer can be used. In this case, the program data file can be divided into a plurality of segment files, and the segment files can be arranged on different servers.
つまり、本発明の機能処理をコンピュータで実現するためのプログラムデータファイルを複数のユーザに対してダウンロードさせるサーバ装置も本発明に含む。 That is, the present invention includes a server device that allows a plurality of users to download a program data file for realizing the functional processing of the present invention on a computer.
また、本発明のプログラムを暗号化してCD−ROM等の記憶媒体に格納してユーザに配布し、所定の条件を満たしたユーザに対して暗号化を解く鍵情報を、例えばインターネットを介してホームページからダウンロードさせることによって供給し、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。 In addition, the program of the present invention is encrypted, stored in a storage medium such as a CD-ROM, distributed to the user, and key information for decrypting the encryption for the user who satisfies a predetermined condition is obtained via, for example, a homepage It is also possible to realize the program by downloading it from the computer and executing the encrypted program using the key information and installing it on the computer.
また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される他、そのプログラムの指示に基づき、コンピュータ上で稼動しているOSなどが、実際の処理の一部または全部を行ない、その処理によっても前述した実施形態の機能が実現され得る。 In addition to the functions of the above-described embodiments being realized by the computer executing the read program, the OS running on the computer based on the instruction of the program is a part of the actual processing. Alternatively, the functions of the above-described embodiment can be realized by performing all of them and performing the processing.
さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行ない、その処理によっても前述した実施形態の機能が実現され得る。 Furthermore, after the program read from the recording medium is written in a memory provided in a function expansion board inserted into the computer or a function expansion unit connected to the computer, the function expansion board or The CPU of the function expansion unit performs part or all of the actual processing, and the functions of the above-described embodiments can also be realized by the processing.
Claims (8)
実写画像を取得する実写画像取得工程と、
現在登録されている前記被写体検出情報を用いて、前記実写画像から前記所定の被写体領域を抽出し、前記実写画像中の前記所定の被写体領域と、それ以外の領域とが視覚的に異なって表わされる被写体領域画像を生成する被写体領域画像生成工程と、
前記被写体領域画像を半透明画像として前記実写画像上に重畳した調整用画像を生成する調整用画像生成工程と、
前記調整用画像をユーザインタフェースを介して提示する提示工程と、
前記ユーザインタフェースを介して指定された前記調整用画像の領域に対応する前記実写画像の領域の色情報から、追加又は削除すべき被写体検出情報を生成し、前記現在登録されている被写体検出情報を更新する更新工程と、
を有することを特徴とする被写体検出情報調整方法。 A method for adjusting subject detection information for detecting a predetermined subject region included in a live-action image,
A live-action image acquisition process for acquiring a live-action image;
Using the currently registered subject detection information, the predetermined subject region is extracted from the photographed image, and the prescribed subject region in the photographed image and other regions are represented visually differently. A subject area image generating step for generating a subject area image to be generated;
An adjustment image generating step for generating an adjustment image in which the subject region image is superimposed on the photographed image as a translucent image;
A presentation step of presenting the adjustment image via a user interface;
Object detection information to be added or deleted is generated from color information of the real image area corresponding to the adjustment image area specified via the user interface, and the currently registered object detection information is obtained. An update process to update;
A method for adjusting subject detection information, comprising:
実写画像を取得する実写画像取得手段と、
現在登録されている前記被写体検出情報を用いて、前記実写画像から前記所定の被写体領域を抽出し、前記実写画像中の前記所定の被写体領域と、それ以外の領域とが視覚的に異なって表わされる被写体領域画像を生成する被写体領域画像生成手段と、
前記被写体領域画像を半透明画像として前記実写画像上に重畳した調整用画像を生成する調整用画像生成手段と、
前記調整用画像をユーザインタフェースを介して提示する提示手段と、
前記ユーザインタフェースを介して指定された前記調整用画像の領域に対応する前記実写画像の領域の色情報から、追加又は削除すべき被写体検出情報を生成し、前記現在登録されている被写体検出情報を更新する更新手段と、
を有することを特徴とする被写体検出情報調整装置。 An apparatus for adjusting subject detection information for detecting a predetermined subject area included in a live-action image,
A live-action image acquisition means for acquiring a live-action image;
Using the currently registered subject detection information, the predetermined subject region is extracted from the photographed image, and the prescribed subject region in the photographed image and other regions are represented visually differently. Subject area image generating means for generating a subject area image to be generated;
Adjustment image generating means for generating an adjustment image in which the subject region image is superimposed on the photographed image as a translucent image;
Presenting means for presenting the adjustment image via a user interface;
Object detection information to be added or deleted is generated from color information of the real image area corresponding to the area of the adjustment image designated via the user interface, and the currently registered object detection information is obtained. Update means for updating;
A subject detection information adjustment device characterized by comprising:
登録されている被写体検出情報を用いて、入力実写画像から被写体領域の検出結果を表示させ、
ユーザ指示に基づき、前記検出結果からノイズ領域を選択し、
前記選択されたノイズ領域に基づき、前記被写体検出情報を調整することを特徴とする被写体検出情報調整方法。 A method for adjusting subject detection information for detecting a predetermined subject region included in a live-action image,
Using the registered subject detection information, display the detection result of the subject area from the input live-action image,
Based on the user instruction, select a noise region from the detection result,
A subject detection information adjustment method comprising adjusting the subject detection information based on the selected noise region.
背景の実写画像と、背景および被写体が含まれる実写画像とを比較することにより、前記色情報を抽出することを特徴とする請求項6記載の被写体検出情報調整方法。 The subject detection information is color information,
The subject detection information adjustment method according to claim 6, wherein the color information is extracted by comparing a background image and a background image including a background and a subject.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004037188A JP4328639B2 (en) | 2004-02-13 | 2004-02-13 | Method and apparatus for adjusting subject detection information |
US10/948,143 US7574070B2 (en) | 2003-09-30 | 2004-09-24 | Correction of subject area detection information, and image combining apparatus and method using the correction |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004037188A JP4328639B2 (en) | 2004-02-13 | 2004-02-13 | Method and apparatus for adjusting subject detection information |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2005228140A true JP2005228140A (en) | 2005-08-25 |
JP2005228140A5 JP2005228140A5 (en) | 2007-03-22 |
JP4328639B2 JP4328639B2 (en) | 2009-09-09 |
Family
ID=35002803
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004037188A Expired - Fee Related JP4328639B2 (en) | 2003-09-30 | 2004-02-13 | Method and apparatus for adjusting subject detection information |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4328639B2 (en) |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007286851A (en) * | 2006-04-14 | 2007-11-01 | Canon Inc | Image processing system, image processor, imaging device, and control method thereof |
JP2008287410A (en) * | 2007-05-16 | 2008-11-27 | Canon Inc | Image processing method and device |
JP2009151496A (en) * | 2007-12-19 | 2009-07-09 | Canon Inc | Image processor and processing method |
JP2014067381A (en) * | 2012-09-27 | 2014-04-17 | Konami Digital Entertainment Co Ltd | Service providing device, control method to be used for the same and computer program |
KR20160097690A (en) * | 2015-02-09 | 2016-08-18 | 한화테크윈 주식회사 | Method for detecting object and surveillance system adopting the method |
US9679415B2 (en) | 2014-06-06 | 2017-06-13 | Canon Kabushiki Kaisha | Image synthesis method and image synthesis apparatus |
US10445612B2 (en) | 2015-10-26 | 2019-10-15 | Canon Kabushiki Kaisha | Information processing apparatus, information processing method, and storage medium |
US10497103B2 (en) | 2015-11-28 | 2019-12-03 | Canon Kabushiki Kaisha | Information processing apparatus, information processing system, information processing method, and recording medium |
US11200706B2 (en) | 2018-09-21 | 2021-12-14 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, and storage medium |
US11842519B2 (en) | 2021-01-19 | 2023-12-12 | Canon Kabushiki Kaisha | Image processing apparatus for processing captured image, method therefor, and storage medium |
-
2004
- 2004-02-13 JP JP2004037188A patent/JP4328639B2/en not_active Expired - Fee Related
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8345952B2 (en) | 2006-04-14 | 2013-01-01 | Canon Kabushiki Kaisha | Image processing system, image processing apparatus, image sensing apparatus, and control method thereof |
JP2007286851A (en) * | 2006-04-14 | 2007-11-01 | Canon Inc | Image processing system, image processor, imaging device, and control method thereof |
JP2008287410A (en) * | 2007-05-16 | 2008-11-27 | Canon Inc | Image processing method and device |
US8019176B2 (en) | 2007-05-16 | 2011-09-13 | Canon Kabushiki Kaisha | Image processing method and image processing apparatus |
JP2009151496A (en) * | 2007-12-19 | 2009-07-09 | Canon Inc | Image processor and processing method |
JP2014067381A (en) * | 2012-09-27 | 2014-04-17 | Konami Digital Entertainment Co Ltd | Service providing device, control method to be used for the same and computer program |
US9679415B2 (en) | 2014-06-06 | 2017-06-13 | Canon Kabushiki Kaisha | Image synthesis method and image synthesis apparatus |
KR20160097690A (en) * | 2015-02-09 | 2016-08-18 | 한화테크윈 주식회사 | Method for detecting object and surveillance system adopting the method |
KR102366522B1 (en) | 2015-02-09 | 2022-02-23 | 한화테크윈 주식회사 | Method for detecting object and surveillance system adopting the method |
US10445612B2 (en) | 2015-10-26 | 2019-10-15 | Canon Kabushiki Kaisha | Information processing apparatus, information processing method, and storage medium |
US10497103B2 (en) | 2015-11-28 | 2019-12-03 | Canon Kabushiki Kaisha | Information processing apparatus, information processing system, information processing method, and recording medium |
US11200706B2 (en) | 2018-09-21 | 2021-12-14 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, and storage medium |
US11842519B2 (en) | 2021-01-19 | 2023-12-12 | Canon Kabushiki Kaisha | Image processing apparatus for processing captured image, method therefor, and storage medium |
Also Published As
Publication number | Publication date |
---|---|
JP4328639B2 (en) | 2009-09-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7574070B2 (en) | Correction of subject area detection information, and image combining apparatus and method using the correction | |
JP6627861B2 (en) | Image processing system, image processing method, and program | |
US7558403B2 (en) | Information processing apparatus and information processing method | |
JP4810295B2 (en) | Information processing apparatus and control method therefor, image processing apparatus, program, and storage medium | |
JP2003296759A (en) | Information processing method and device | |
EP2089852A1 (en) | Methods and systems for color correction of 3d images | |
US20110273731A1 (en) | Printer with attention based image customization | |
JP4328639B2 (en) | Method and apparatus for adjusting subject detection information | |
TWI464705B (en) | A method for generating a composite image | |
CN106682652B (en) | Structure surface disease inspection and analysis method based on augmented reality | |
JP4481236B2 (en) | Program, information storage medium, photo printing apparatus and photo printing method | |
JP6708407B2 (en) | Image processing apparatus, image processing method and program | |
CN115486091A (en) | System and method for video processing using virtual reality devices | |
JP2008146260A (en) | Image generation device and image generation method | |
JP2013070342A (en) | Image processing device, image processing method, and program | |
JP4323910B2 (en) | Image composition apparatus and method | |
JP2004355494A (en) | Display interface method and device | |
JP4745724B2 (en) | Image processing method and image processing apparatus | |
JP4562183B2 (en) | Information processing method and information processing apparatus | |
JP2023013538A (en) | Image processing apparatus, image processing method, and program | |
JP2016042661A (en) | Information processing unit, system, information processing method, and program | |
JP2008299670A (en) | Image area extraction device and its control method, composite reality presentation system and computer program | |
US11842519B2 (en) | Image processing apparatus for processing captured image, method therefor, and storage medium | |
JP2020057038A (en) | Pixel-region-to-be-changed extraction device, image processing system, pixel-region-to-be-changed extraction method, image processing method, and program | |
JP7204397B2 (en) | Image processing device, image processing method, and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070205 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070205 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090323 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090518 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090608 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090615 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120619 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4328639 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120619 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130619 Year of fee payment: 4 |
|
LAPS | Cancellation because of no payment of annual fees |