JP2018195190A - Image processing apparatus and image processing method - Google Patents
Image processing apparatus and image processing method Download PDFInfo
- Publication number
- JP2018195190A JP2018195190A JP2017100074A JP2017100074A JP2018195190A JP 2018195190 A JP2018195190 A JP 2018195190A JP 2017100074 A JP2017100074 A JP 2017100074A JP 2017100074 A JP2017100074 A JP 2017100074A JP 2018195190 A JP2018195190 A JP 2018195190A
- Authority
- JP
- Japan
- Prior art keywords
- image
- region
- foreground
- image processing
- specifying
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、入力画像内の前景領域を特定するための技術に関するものである。 The present invention relates to a technique for specifying a foreground region in an input image.
昨今、複数のカメラを異なる位置に設置して多視点で同期撮影し、該撮影により得られた複数視点画像を用いて任意の仮想視点コンテンツを生成する技術が注目されている。このようにして複数視点画像から任意の仮想視点コンテンツを生成する技術によれば、例えば、サッカーやバスケットボールのハイライトシーンを様々な角度から視聴閲覧することが出来るため、通常の画像と比較してユーザに高臨場感を与えることができる。 In recent years, attention has been paid to a technique of installing a plurality of cameras at different positions, performing synchronous shooting from multiple viewpoints, and generating an arbitrary virtual viewpoint content using a plurality of viewpoint images obtained by the shooting. In this way, according to the technology for generating an arbitrary virtual viewpoint content from a plurality of viewpoint images, for example, a soccer or basketball highlight scene can be viewed and viewed from various angles. High sense of presence can be given to the user.
一方、複数視点画像に基づく任意の仮想視点コンテンツの生成及び閲覧は、複数のカメラが撮影した画像をサーバなどの画像処理部に集約し、該画像処理部にてレンダリングなどの処理を施し、最後にユーザ端末に伝送をおこなうことで実現できる。仮想視点の映像を生成する技術についてはさまざまな手法が開発されている。例えば、複数のカメラ映像から選手などの前景を分離し、3次元座標を算出し、平面に再投影して仮想視点映像を生成する技術がある。 On the other hand, the generation and browsing of arbitrary virtual viewpoint content based on a plurality of viewpoint images is performed by consolidating images taken by a plurality of cameras into an image processing unit such as a server, and performing processing such as rendering in the image processing unit. This can be realized by transmitting to the user terminal. Various techniques have been developed for technologies for generating virtual viewpoint images. For example, there is a technique in which a foreground such as a player is separated from a plurality of camera images, three-dimensional coordinates are calculated, and reprojected onto a plane to generate a virtual viewpoint image.
ここで、前景を分離する手法については、例えば、背景差分法と呼ばれるものが一般的に知られている。まず過去の一定時間の画像の情報に基づいて背景情報を生成し、現在の画像との差分を検出して前景として分離する手法である。前景の分離についてはその他にも、特徴量や機械学習を用いる手法などが知られている。また特許文献1では、空間周波数に基づく注目点の推定と、色情報に基づく前景形状の推定処理を組み合わせて、前景分離の性能を改善する方法が開示されている。 Here, as a method for separating the foreground, for example, a so-called background subtraction method is generally known. First, background information is generated based on image information for a certain period of time in the past, and a difference from the current image is detected and separated as a foreground. As for foreground separation, other methods such as a feature amount and machine learning are known. Patent Document 1 discloses a method for improving the performance of foreground separation by combining estimation of a point of interest based on spatial frequency and foreground shape estimation processing based on color information.
しかし、一つの特徴量を用いた前景形状推定は性能に限界があった。例えば色情報に基づく手法では、前景と背景の色が近い場合に性能が低下する場合があった。 However, foreground shape estimation using one feature has a limit in performance. For example, in the method based on color information, the performance may deteriorate when the foreground and background colors are close.
本発明はこのような問題に鑑みてなされたものであり、入力画像内における前景領域の特定の精度を改善するための技術を提供する。 The present invention has been made in view of such problems, and provides a technique for improving the accuracy of specifying a foreground region in an input image.
本発明の一様態は、入力画像と背景画像との間の第1の特徴量に基づく差分を用いて、該入力画像における第1領域を特定する第1の特定手段と、前記入力画像と前記背景画像との間の第2の特徴量に基づく差分を用いて、該入力画像における第2領域を特定する第2の特定手段と、前記第1の特定手段により特定された前記第1領域及び前記第2の特定手段により特定された前記第2領域に基づいて、前記入力画像における所定の被写体に対応する前景領域を決定する決定手段とを備えることを特徴とする。 According to an aspect of the present invention, a first specifying unit that specifies a first region in an input image using a difference based on a first feature amount between the input image and the background image, the input image, Using a difference based on a second feature amount with respect to a background image, a second specifying means for specifying a second area in the input image, the first area specified by the first specifying means, and And determining means for determining a foreground area corresponding to a predetermined subject in the input image based on the second area specified by the second specifying means.
本発明の構成によれば、入力画像内における前景領域の特定の精度を改善することができる。 According to the configuration of the present invention, the specific accuracy of the foreground area in the input image can be improved.
以下、添付図面を参照し、本発明の実施形態について説明する。なお、以下説明する実施形態は、本発明を具体的に実施した場合の一例を示すもので、特許請求の範囲に記載した構成の具体的な実施例の1つである。 Embodiments of the present invention will be described below with reference to the accompanying drawings. The embodiment described below shows an example when the present invention is specifically implemented, and is one of the specific examples of the configurations described in the claims.
[第1の実施形態]
本実施形態に係るシステムの構成例について、図1を用いて説明する。図1に示す如く、本実施形態に係るシステムは、伝送路を介してリング状に接続されている複数のカメラ102と、該複数のカメラ102のうち少なくとも一部のカメラ102による撮像画像に基づいて仮想視点画像を生成する画像処理装置103と、を有する。
[First Embodiment]
A configuration example of a system according to the present embodiment will be described with reference to FIG. As shown in FIG. 1, the system according to the present embodiment is based on a plurality of cameras 102 connected in a ring shape via a transmission path and images captured by at least some of the plurality of cameras 102. And an image processing device 103 that generates a virtual viewpoint image.
複数のカメラ102は競技場101の周囲に設置されており、それぞれのカメラ102は互いに異なる方向から競技場101の動画像を撮像している。複数のカメラ102のうち1つは画像処理装置103に接続されており、それぞれのカメラ102による撮像画像(動画像を構成する各フレームの画像)は、伝送路や他のカメラ102等を介して画像処理装置103に転送される。これにより画像処理装置103には、複数のカメラ102による撮像画像がフレーム単位で入力されることになる。 The plurality of cameras 102 are installed around the stadium 101, and each camera 102 captures a moving image of the stadium 101 from different directions. One of the plurality of cameras 102 is connected to the image processing apparatus 103, and an image captured by each camera 102 (an image of each frame constituting a moving image) is transmitted via a transmission path, another camera 102, or the like. The image is transferred to the image processing apparatus 103. As a result, images captured by the plurality of cameras 102 are input to the image processing apparatus 103 in units of frames.
画像処理装置103は、それぞれのカメラ102による撮像画像のうち、ユーザにより指定された仮想的な視点から見た競技場101の画像(仮想視点画像)を生成するために必要な撮像画像群に基づいて、該仮想視点画像を生成する。なお、競技場101では例えばサッカーなどの競技が行われており、競技場101の中に被写体としての人物104がいるものとする。ただし、撮影対象は競技場101における競技に限らず、例えばステージにおける演技などであってもよい。また、視点はユーザにより指定されるものに限らず、自動的に決定されるものであってもよい。 The image processing device 103 is based on a group of captured images necessary for generating an image (virtual viewpoint image) of the stadium 101 viewed from a virtual viewpoint designated by the user, among the captured images of the respective cameras 102. Then, the virtual viewpoint image is generated. It is assumed that a competition such as soccer is being performed in the stadium 101, and a person 104 as a subject is present in the stadium 101. However, the subject to be photographed is not limited to the competition in the stadium 101, but may be, for example, performance on the stage. Further, the viewpoint is not limited to that specified by the user, but may be determined automatically.
なお、競技場101の周囲に配置された複数のカメラ102による撮像画像を画像処理装置103が取得することができるのであれば、システムの構成は図1に示した構成に限らない。例えば、各カメラ102と画像処理装置103とが直接接続されていてもよい。また例えば、各カメラ102に撮像画像を記憶するための取り外し可能な記憶装置が備えられており、当該記憶装置をカメラ102から取り外して画像処理装置103に接続することで撮像画像を画像処理装置103に取得させてもよい。 Note that the configuration of the system is not limited to the configuration illustrated in FIG. 1 as long as the image processing apparatus 103 can acquire images captured by the plurality of cameras 102 arranged around the stadium 101. For example, each camera 102 and the image processing apparatus 103 may be directly connected. Further, for example, each camera 102 is provided with a removable storage device for storing the captured image. The storage device is detached from the camera 102 and connected to the image processing device 103, whereby the captured image is displayed on the image processing device 103. May be acquired.
次に、画像処理装置103の機能構成例について、図2のブロック図を用いて説明する。本実施形態では、画像処理装置103における画像処理は、画像処理装置103に内蔵されたASIC(application specific integrated circuit)やFPGA(field programmable gate array)などのハードウェアにより処理される。然るに本実施形態では、図2に示した各機能部(各モジュール)は、ハードウェアとしてASICやFPGAの内部に実装されている。 Next, a functional configuration example of the image processing apparatus 103 will be described with reference to the block diagram of FIG. In the present embodiment, the image processing in the image processing apparatus 103 is processed by hardware such as an application specific integrated circuit (ASIC) or a field programmable gate array (FPGA) incorporated in the image processing apparatus 103. However, in the present embodiment, each functional unit (each module) illustrated in FIG. 2 is mounted as hardware inside an ASIC or FPGA.
データ受信部201は、それぞれのカメラ102が撮像した撮像画像を取得し、該取得した撮像画像を記録部202に格納する。撮像画像には、該撮像画像を撮像したカメラ102に固有の識別情報が添付されているものとする。記録部202は、例えばハードディスクや、SSD(solid state drive)、またはそれらの組み合わせなどで構成される。そしてデータ受信部201は、記録部202に格納されている撮像画像群のうち、ユーザ指定などにより入力された仮想視点位置に応じてこれから生成する仮想視点画像の生成処理のために必要となる撮像画像群を記録部202から読み出す。そしてデータ受信部201は、記録部202から読み出した撮像画像群を、背景生成部203、前景分離部205、前景分離部206、生成部209に対して出力する。 The data receiving unit 201 acquires captured images captured by the respective cameras 102 and stores the acquired captured images in the recording unit 202. It is assumed that identification information unique to the camera 102 that captured the captured image is attached to the captured image. The recording unit 202 is configured by, for example, a hard disk, an SSD (solid state drive), or a combination thereof. Then, the data reception unit 201 captures images necessary for the generation processing of a virtual viewpoint image to be generated from the group of captured images stored in the recording unit 202 according to the virtual viewpoint position input by user designation or the like. An image group is read from the recording unit 202. Then, the data receiving unit 201 outputs the captured image group read from the recording unit 202 to the background generation unit 203, the foreground separation unit 205, the foreground separation unit 206, and the generation unit 209.
背景バッファ204には、カメラ102ごとに、該カメラ102に固有の識別情報と、該カメラ102が過去に撮像した撮像画像から生成した背景画像(以下では登録背景画像と称する)と、が関連づけて格納されている。本実施形態において背景画像とは、撮像画像から人物などの所定の被写体の画像(前景画像)が取り除かれた画像である。例えば、競技場101におけるサッカーの試合がカメラ102により撮影される場合に、選手やボールなどの画像が前景画像となり、選手やボールなどを含まない競技場101の地面の画像が背景画像となる。 In the background buffer 204, for each camera 102, identification information unique to the camera 102 is associated with a background image (hereinafter referred to as a registered background image) generated from a captured image captured by the camera 102 in the past. Stored. In the present embodiment, the background image is an image obtained by removing an image (foreground image) of a predetermined subject such as a person from the captured image. For example, when a soccer game on the stadium 101 is photographed by the camera 102, an image of a player or a ball becomes a foreground image, and an image of the ground of the stadium 101 that does not include a player or a ball becomes a background image.
背景生成部203は、データ受信部201から入力された撮像画像に添付されている識別情報と同じ識別情報と関連づけて背景バッファ204に格納されている登録背景画像を該背景バッファ204から読み出す。そして背景生成部203は、同じ識別情報に対応する撮像画像と登録背景画像とに基づいて、該撮像画像における背景を表す背景画像を生成し、該識別情報と関連づけて背景バッファ204に格納されている登録背景画像を該生成した背景画像を用いて更新する。撮像画像と登録背景画像とに基づいて該撮像画像の背景を表す背景画像を生成するための方法には様々な方法を適用することができる。例えば背景生成部203は、撮像画像と登録背景画像との差分画像(撮像画像と登録背景画像とで同位置の画素位置における画素値の差分をとった画像)を用いて、該撮像画像における背景を表す背景画像を生成しても良い。また、混合ガウスモデルによる背景画像生成方法を用いても良い。混合ガウスモデルについては一般的によく知られている手法であるので詳細な説明は省く。そして背景生成部203は、生成した背景画像を、前景分離部205及び前景分離部206に対して出力する。 The background generation unit 203 reads from the background buffer 204 the registered background image stored in the background buffer 204 in association with the same identification information as the identification information attached to the captured image input from the data reception unit 201. The background generation unit 203 generates a background image representing the background in the captured image based on the captured image corresponding to the same identification information and the registered background image, and is stored in the background buffer 204 in association with the identification information. The registered background image is updated using the generated background image. Various methods can be applied to the method for generating the background image representing the background of the captured image based on the captured image and the registered background image. For example, the background generation unit 203 uses a difference image between the captured image and the registered background image (an image obtained by calculating a difference in pixel values at the same pixel position between the captured image and the registered background image), and uses the background in the captured image. A background image may be generated. A background image generation method using a mixed Gaussian model may be used. The mixed Gaussian model is a well-known method and will not be described in detail. Then, the background generation unit 203 outputs the generated background image to the foreground separation unit 205 and the foreground separation unit 206.
前景分離部205は、データ受信部201から入力した撮像画像と、該撮像画像における背景を表す背景画像として背景生成部203が生成した背景画像と、の画素ごとの第1の特徴量の差分に基づいて、該撮像画像における前景領域を推定する。本実施形態において前景領域とは、撮影画像内における人物などの所定の被写体が位置する領域である。なお、前景領域は人物に対応する領域に限らず、例えば移動物体に対応する領域や、あらかじめ指定された被写体に対応する領域としてもよい。前景分離部205が行う処理について、同処理のフローチャートを示す図3(A)を用いて説明する。前景分離部205は第1の特徴量として色情報を用いる。本実施形態において或る画素についての第1の特徴量は、当該画素の画素値に応じて決まる。 The foreground separation unit 205 determines the difference between the first feature amount for each pixel of the captured image input from the data reception unit 201 and the background image generated by the background generation unit 203 as a background image representing the background in the captured image. Based on this, the foreground area in the captured image is estimated. In the present embodiment, the foreground area is an area where a predetermined subject such as a person in the captured image is located. Note that the foreground area is not limited to an area corresponding to a person, and may be an area corresponding to a moving object or an area corresponding to a subject specified in advance. Processing performed by the foreground separation unit 205 will be described with reference to FIG. The foreground separation unit 205 uses color information as the first feature amount. In the present embodiment, the first feature amount for a certain pixel is determined according to the pixel value of the pixel.
ステップS301では、前景分離部205は、撮像画像(入力画像)と背景画像との色情報に基づく差分画像を生成する。ステップS301で生成される差分画像は、差分画像中の画素位置(x、y)における画素値が、撮像画像中の画素位置(x、y)における色情報と、背景画像中の画素位置(x、y)における色情報と、の差分を表す画像である。例えば、撮像画像中の画素位置(x、y)におけるR,G,Bのそれぞれの画素値をPR,PG,PBとし、背景画像中の画素位置(x、y)におけるR,G,Bのそれぞれの画素値をPR’,PG’,PB’とする。このとき、差分画像中の画素位置(x、y)における画素値Δは、Δ=|PR−PR’|+|PG−PG’|+|PB−PB’|を計算することで決定される。もちろん、撮像画像と背景画像との色情報についての差分画像の求め方は、このような方法に限るものではない。例えば、色情報はRGBであっても良いし、YUV色空間やその他の色空間における各色成分であっても良く、特定の色成分に限らない。 In step S301, the foreground separation unit 205 generates a difference image based on color information between the captured image (input image) and the background image. In the difference image generated in step S301, the pixel value at the pixel position (x, y) in the difference image has the color information at the pixel position (x, y) in the captured image and the pixel position (x in the background image). , Y) is an image representing a difference from the color information. For example, the pixel values of R, G, B at the pixel position (x, y) in the captured image are PR, PG, PB, and R, G, B at the pixel position (x, y) in the background image The pixel values are PR ′, PG ′, and PB ′. At this time, the pixel value Δ at the pixel position (x, y) in the difference image is determined by calculating Δ = | PR−PR ′ | + | PG−PG ′ | + | PB−PB ′ |. . Of course, the method of obtaining the difference image for the color information between the captured image and the background image is not limited to such a method. For example, the color information may be RGB, may be each color component in the YUV color space or other color space, and is not limited to a specific color component.
ステップS302では、前景分離部205は、差分画像に対して画素値の平滑化処理を行う。平滑化処理を行うことで、画素の欠落やノイズを除去する。平滑化については最も簡単なものとして単純平均処理があるが、性能を向上するために、例えばガウシアンフィルタやバイラテラルフィルタなどが知られており、どのようなフィルタを用いてもよい。 In step S302, the foreground separation unit 205 performs pixel value smoothing processing on the difference image. By performing the smoothing process, pixel loss and noise are removed. For smoothing, there is a simple average process as the simplest one, but in order to improve the performance, for example, a Gaussian filter, a bilateral filter, etc. are known, and any filter may be used.
ステップS303では、前景分離部205は、ステップS302で平滑化処理を行った差分画像における各画素について、該画素の画素値が閾値よりも大きいか否かを判断する。そしてこの判断の結果、前景分離部205は、差分画像において画素値が閾値よりも大きい画素については、ステップS304において該画素に対し、「前景領域を構成する画素(前景画素)」を表すビット値「1」を割り当てる。一方、前景分離部205は、差分画像において画素値が閾値以下の画素については、ステップS305において該画素に対し、「背景領域を構成する画素(背景画素)」を表すビット値「0」を割り当てる。このような処理により、差分画像の各画素に対応するビット値を画素値とする二値画像を生成することができる。二値画像中の画素位置(x、y)における画素値が「1」である場合、撮像画像中の画素位置(x、y)における画素が前景画素と推定された画素であることを示す。一方、二値画像中の画素位置(x、y)における画素値が「0」である場合、撮像画像中の画素位置(x、y)における画素が背景画素と推定された画素であることを示す。このように前景分離部205は、撮像画像と背景画像との色情報の差分に基づく二値画像を、撮像画像上における前景領域の推定結果を表す情報として生成する。 In step S303, the foreground separation unit 205 determines whether or not the pixel value of each pixel in the difference image subjected to the smoothing process in step S302 is greater than a threshold value. As a result of this determination, the foreground separation unit 205 determines, for a pixel whose pixel value is larger than the threshold value in the difference image, a bit value representing “a pixel constituting the foreground region (foreground pixel)” for the pixel in step S304. Assign “1”. On the other hand, the foreground separation unit 205 assigns a bit value “0” representing “a pixel constituting the background region (background pixel)” to the pixel having a pixel value equal to or smaller than the threshold in the difference image in step S305. . By such processing, a binary image having a bit value corresponding to each pixel of the difference image as a pixel value can be generated. When the pixel value at the pixel position (x, y) in the binary image is “1”, this indicates that the pixel at the pixel position (x, y) in the captured image is a pixel estimated as the foreground pixel. On the other hand, when the pixel value at the pixel position (x, y) in the binary image is “0”, the pixel at the pixel position (x, y) in the captured image is a pixel estimated as the background pixel. Show. As described above, the foreground separation unit 205 generates a binary image based on the difference in color information between the captured image and the background image as information representing the estimation result of the foreground region on the captured image.
なお、ステップS303からS305において生成されるこの二値画像では、実際には前景に対応する領域の内部に細かな画素の欠落が発生したり、実際には背景に対応する領域に細かなノイズが発生したりする。そのため次のステップS306では、前景分離部205は、この二値画像に対して上記のような平滑化処理を行うことで、画素の欠落やノイズを除去する。なお、平滑化処理は、二値画像全体に対して行っても良いし、画素値が「1」である画素の領域及びその近傍に対して行っても良い。 Note that in the binary image generated in steps S303 to S305, in actuality, a small pixel dropout occurs in the area corresponding to the foreground, or in fact, there is fine noise in the area corresponding to the background. Occur. For this reason, in the next step S306, the foreground separation unit 205 performs the smoothing process as described above on the binary image, thereby removing missing pixels and noise. The smoothing process may be performed on the entire binary image, or may be performed on a pixel region having a pixel value “1” and its vicinity.
そして前景分離部205は、図3(A)のフローチャートに従った処理を行うことで生成した二値画像(第1の二値画像)を、後段の前景領域調整部207に対して送出する。なお、前景分離部205は、データ受信部201から撮像画像が入力されるたびに図3(A)のフローチャートに従った処理を行う。 Then, the foreground separation unit 205 sends the binary image (first binary image) generated by performing the processing according to the flowchart of FIG. 3A to the subsequent foreground region adjustment unit 207. The foreground separation unit 205 performs processing according to the flowchart of FIG. 3A every time a captured image is input from the data reception unit 201.
前景分離部206は、データ受信部201から入力した撮像画像と、該撮像画像における背景領域を表す背景画像として背景生成部203が生成した背景画像と、の画素ごとの第2の特徴量の差分に基づいて、該撮像画像における前景領域を推定する。前景分離部206が行う処理について、同処理のフローチャートを示す図3(B)を用いて説明する。前景分離部206は第2の特徴量としてテクスチャ情報を用いる。すなわち、本実施形態において或る画素についての第2の特徴量は、当該画素の画素値と当該画素の周囲の画素の画素値とに応じて決まる。 The foreground separation unit 206 is a second feature amount difference for each pixel between the captured image input from the data reception unit 201 and the background image generated by the background generation unit 203 as a background image representing the background area in the captured image. Based on the above, the foreground region in the captured image is estimated. Processing performed by the foreground separation unit 206 will be described with reference to FIG. 3B showing a flowchart of the processing. The foreground separation unit 206 uses texture information as the second feature amount. That is, in the present embodiment, the second feature amount for a certain pixel is determined according to the pixel value of the pixel and the pixel values of pixels around the pixel.
ステップS307では、前景分離部206は、撮像画像(入力画像)と背景画像とのテクスチャ情報に基づく差分画像を生成する。ステップS307で生成される差分画像中の画素位置(x、y)における画素値は、例えば次のようにして求める。撮像画像中の画素位置(x、y)を中心とする画像領域(例えば3×3画素の画像領域)と、背景画像中の画素位置(x、y)を中心とする画像領域(例えば3×3画素の画像領域)と、の間で同じ画素位置の画素同士で輝度値の差分(絶対値)を求め、求めた差分の合計値Sを、差分画像中の画素位置(x、y)における画素値とする。画素の輝度値は、Lab色空間におけるLの成分値である。画素の画素値がRGBの色空間におけるものであれば、R成分の画素値、G成分の画素値、B成分の画素値から周知の方法でもってLの成分値を求めることができる。なお、画素の輝度値はL成分に限らず、YUVやYCbCr等のY成分の値であっても良い。 In step S307, the foreground separation unit 206 generates a difference image based on texture information between the captured image (input image) and the background image. The pixel value at the pixel position (x, y) in the difference image generated in step S307 is obtained as follows, for example. An image area centered on the pixel position (x, y) in the captured image (for example, an image area of 3 × 3 pixels) and an image area centered on the pixel position (x, y) in the background image (for example, 3 × A difference (absolute value) of luminance values between pixels at the same pixel position between the three pixel image areas) and the total value S of the obtained differences at the pixel position (x, y) in the difference image The pixel value. The luminance value of the pixel is an L component value in the Lab color space. If the pixel value of the pixel is in the RGB color space, the L component value can be obtained by a known method from the R component pixel value, the G component pixel value, and the B component pixel value. The luminance value of the pixel is not limited to the L component, and may be a Y component value such as YUV or YCbCr.
なお、テクスチャ情報に基づく特徴量としては、そのほかにも例えば、HOG(Histograms of Oriented Gradients)特徴量やLBP(Local Binary Pattern)特徴量などを用いてもよい。 In addition, for example, HOG (Histograms of Oriented Gradients) feature quantity, LBP (Local Binary Pattern) feature quantity, or the like may be used as the feature quantity based on texture information.
ステップS308では、前景分離部206は上記のステップS302と同様にして、差分画像に対して画素値の平滑化処理を行う。ステップS309では、前景分離部206は、ステップS308で平滑化処理を行った差分画像における各画素について、該画素の画素値が閾値よりも大きいか否かを判断する。そしてこの判断の結果、前景分離部206は、差分画像において画素値が閾値よりも大きい画素については、ステップS310において該画素に対し、「前景領域を構成する画素(前景画素)」を表すビット値「1」を割り当てる。一方、前景分離部206は、差分画像において画素値が閾値以下の画素については、ステップS311において該画素に対し、「背景領域を構成する画素(背景画素)」を表すビット値「0」を割り当てる。このような処理により、上記のステップS304,S305と同様に、差分画像の各画素に対応するビット値を画素値とする二値画像を生成することができる。このように前景分離部206は、撮像画像と背景画像とのテクスチャ情報の差分に基づく二値画像を、撮像画像上における前景領域の推定結果を表す情報として生成する。 In step S308, the foreground separation unit 206 performs pixel value smoothing processing on the difference image in the same manner as in step S302. In step S309, the foreground separation unit 206 determines whether or not the pixel value of the pixel in the difference image subjected to the smoothing process in step S308 is greater than a threshold value. As a result of this determination, the foreground separation unit 206 determines, for the pixel whose pixel value is larger than the threshold value in the difference image, a bit value representing “a pixel constituting the foreground region (foreground pixel)” for the pixel in step S310. Assign “1”. On the other hand, the foreground separation unit 206 assigns a bit value “0” representing “a pixel forming the background region (background pixel)” to the pixel having a pixel value equal to or smaller than the threshold in the difference image in step S311. . By such processing, a binary image having a bit value corresponding to each pixel of the difference image as a pixel value can be generated in the same manner as in steps S304 and S305 described above. As described above, the foreground separation unit 206 generates a binary image based on the difference in texture information between the captured image and the background image as information representing the estimation result of the foreground region on the captured image.
ステップS312では、前景分離部206は、上記のステップS306と同様にして、この二値画像に対して上記のような平滑化処理を行うことで、画素の欠落やノイズを除去する。 In step S312, the foreground separation unit 206 performs the above-described smoothing process on the binary image in the same manner as in step S306, thereby removing pixel omissions and noise.
そして前景分離部206は、図3(B)のフローチャートに従った処理を行うことで生成した二値画像(第2の二値画像)を、後段の前景領域調整部207に対して送出する。なお、前景分離部206は、データ受信部201から撮像画像が入力されるたびに図3(B)のフローチャートに従った処理を行う。 The foreground separation unit 206 transmits the binary image (second binary image) generated by performing the processing according to the flowchart of FIG. 3B to the foreground region adjustment unit 207 in the subsequent stage. Note that the foreground separation unit 206 performs processing according to the flowchart of FIG. 3B every time a captured image is input from the data reception unit 201.
図3(A)のフローチャートに従って生成された二値画像の一例を図5(A)に示す。図5(A)に示す如く、二値画像上では前景(人物104)が人の形として検出されているが、ここでは例として、検出された前景の領域の一部に大きな欠落があるものとする。色情報の差分に基づいて前景領域の推定を行う際、特に前景と背景の色が近い場合にこのような欠落が発生することがある。 An example of a binary image generated according to the flowchart of FIG. 3A is shown in FIG. As shown in FIG. 5A, the foreground (person 104) is detected as a human shape on the binary image, but here, as an example, a part of the detected foreground area has a large omission. And When the foreground area is estimated based on the difference in color information, such omission may occur particularly when the foreground and background colors are close.
図3(B)のフローチャートに従って生成された二値画像の一例を図5(B)に示す。図5(B)に示す如く、二値画像上では検出された前景(人物104)の領域の境界部が滑らかでなく、また前景の領域の内部に小さな欠落が見られる。テクスチャ情報の差分に基づいて前景領域の推定を行う際には、このように前景と背景との境界が粗くなりやすい傾向がある。 An example of a binary image generated according to the flowchart of FIG. 3B is shown in FIG. As shown in FIG. 5B, the boundary portion of the detected foreground (person 104) region is not smooth on the binary image, and a small omission is seen inside the foreground region. When the foreground region is estimated based on the difference in texture information, the boundary between the foreground and the background tends to be rough as described above.
前景領域調整部207では、前景分離部206によって生成された第2の二値画像における前景領域を調整する。第2の二値画像における前景領域の調整処理の一例について、図4(A)のフローチャートを用いて説明する。 The foreground area adjustment unit 207 adjusts the foreground area in the second binary image generated by the foreground separation unit 206. An example of the foreground region adjustment process in the second binary image will be described with reference to the flowchart of FIG.
ステップS401で前景領域調整部207は、第1の二値画像及び第2の二値画像のそれぞれに対してラベリング処理を行うことで、第1の二値画像及び第2の二値画像のそれぞれにおける前景領域(画素値が「1」の画素の領域)に対してラベルを付与する。ラベリング処理では、同じ画素値「1」を有し且つ繋がった画素のかたまりを一つの前景領域(同一の被写体に対応する領域)として検出し、前景領域ごとにラベル(番号)を付加する。 In step S401, the foreground area adjustment unit 207 performs a labeling process on each of the first binary image and the second binary image, thereby each of the first binary image and the second binary image. A label is assigned to the foreground region (a pixel region having a pixel value “1”). In the labeling process, a group of connected pixels having the same pixel value “1” is detected as one foreground area (area corresponding to the same subject), and a label (number) is added to each foreground area.
以下では説明を簡単にするために、第1の二値画像における着目前景領域と、第2の二値画像における前景領域群のうち着目前景領域に最も近い前景領域と、には同じラベル番号が付加されているものとする。しかし、第1の二値画像における着目前景領域と、第2の二値画像における前景領域群のうち着目前景領域に最も近い前景領域と、の対応関係が導出可能であれば、それぞれの二値画像において近接する前景領域に同じラベル番号を付加することに限らない。 For the sake of simplicity, the same label number is assigned to the foreground region of interest in the first binary image and the foreground region closest to the foreground region of interest among the foreground region group in the second binary image. It shall be added. However, if the correspondence between the foreground region of interest in the first binary image and the foreground region closest to the foreground region of interest in the foreground region group in the second binary image can be derived, the respective binary values It is not limited to adding the same label number to the foreground region adjacent in the image.
そしてステップS403における処理を、第1の二値画像(第2の二値画像)におけるそれぞれのラベル番号について行う(ラベル数に応じた回数繰り返す)ことで、それぞれのラベル番号に対応する前景領域についてステップS403の処理を行う。 Then, the processing in step S403 is performed for each label number in the first binary image (second binary image) (repeated by the number corresponding to the number of labels), so that the foreground area corresponding to each label number is processed. The process of step S403 is performed.
ステップS403では、前景領域調整部207は、未選択のラベル番号を1つ選択ラベル番号として選択し、第2の二値画像において該選択ラベル番号が付加された前景領域に対して収縮処理を行うことで、該前景領域を調整する。収縮処理にはモルフォロジー演算と呼ばれる処理を用いる。モルフォロジー演算については一般的によく知られているので説明は省く。またこのときの収縮量は、第1の二値画像と第2の二値画像とを重ねたときに、第2の二値画像における前景領域が第1の二値画像における前景領域のほぼ内側になるように、予め一定の値として決められている。図5(B)の前景領域に対する収縮処理の結果の例を図5(C)に示す。 In step S403, the foreground area adjustment unit 207 selects one unselected label number as the selected label number, and performs contraction processing on the foreground area to which the selected label number is added in the second binary image. Thus, the foreground area is adjusted. For the shrinking process, a process called morphological operation is used. Morphological operations are generally well known and will not be described. Further, the contraction amount at this time is such that when the first binary image and the second binary image are overlapped, the foreground area in the second binary image is substantially inside the foreground area in the first binary image. It is determined in advance as a constant value. FIG. 5C shows an example of the result of the contraction process for the foreground region in FIG.
第2の二値画像における前景領域の調整処理の他の例について、図4(B)のフローチャートを用いて説明する。ステップS405では前景領域調整部207は、上記のステップS401と同様にして、第1の二値画像及び第2の二値画像のそれぞれに対するラベリング処理を行う。 Another example of the foreground area adjustment process in the second binary image will be described with reference to the flowchart in FIG. In step S405, the foreground area adjustment unit 207 performs a labeling process on each of the first binary image and the second binary image, similarly to step S401 described above.
ステップS407〜S411における処理を、第1の二値画像(第2の二値画像)におけるそれぞれのラベル番号について行う(ラベル数に応じた回数繰り返す)ことで、それぞれのラベル番号に対応する前景領域についてステップS407〜S411の処理を行う。 By performing the processing in steps S407 to S411 for each label number in the first binary image (second binary image) (repeating the number of times according to the number of labels), the foreground region corresponding to each label number The processes of steps S407 to S411 are performed.
ステップS407では、前景領域調整部207は、未選択のラベル番号を1つ選択ラベル番号として選択し、第1の二値画像における前景領域群のうち、選択ラベル番号に対応する前景領域の面積S1(例えば、該前景領域に含まれている画素の数)を特定する。 In step S407, the foreground area adjustment unit 207 selects one unselected label number as the selected label number, and out of the foreground area group in the first binary image, the area S1 of the foreground area corresponding to the selected label number. (For example, the number of pixels included in the foreground area) is specified.
ステップS408では、前景領域調整部207は、第2の二値画像における前景領域群のうち、選択ラベル番号に対応する前景領域の面積S2(例えば、該前景領域に含まれている画素の数)を特定する。 In step S408, the foreground area adjustment unit 207 selects the area S2 of the foreground area corresponding to the selected label number in the foreground area group in the second binary image (for example, the number of pixels included in the foreground area). Is identified.
ステップS409では、前景領域調整部207は、面積S1に対する面積S2の比率(S2/S1)を求める。そしてステップS410では、前景領域調整部207は、S2/S1<θという条件を満たすか否かを判断する。ここでθは、予め決められた閾値である。この判断の結果、S2/S1<θであれば、処理はステップS407に戻る。一方、S2/S1≧θであれば、処理はステップS411に進む。 In step S409, the foreground area adjustment unit 207 obtains the ratio of the area S2 to the area S1 (S2 / S1). In step S410, the foreground area adjustment unit 207 determines whether or not a condition of S2 / S1 <θ is satisfied. Here, θ is a predetermined threshold value. As a result of this determination, if S2 / S1 <θ, the process returns to step S407. On the other hand, if S2 / S1 ≧ θ, the process proceeds to step S411.
ステップS411では、前景領域調整部207は、上記のステップS403と同様にして、第2の二値画像において選択ラベル番号が付加された前景領域に対して収縮処理を行うことで、該前景領域を調整する。なお、調整量(収縮量)は予め定められていてもよいし、例えばS1の値とS2の値とに基づいて決定されてもよい。 In step S411, the foreground area adjustment unit 207 performs the contraction process on the foreground area to which the selection label number is added in the second binary image in the same manner as in step S403 described above, thereby reducing the foreground area. adjust. The adjustment amount (shrinkage amount) may be determined in advance, or may be determined based on, for example, the value of S1 and the value of S2.
以上の処理によって、第2の二値画像における前景領域の面積が、第1の二値画像における前景領域の面積に対して一定比率以下となっている。そのため結果的に、第1の二値画像と第2の二値画像とを重ねたときに、第2の二値画像における前景領域の境界が第1の二値画像における前景領域のほぼ内側となることが期待できる。 With the above processing, the area of the foreground region in the second binary image is equal to or less than a certain ratio with respect to the area of the foreground region in the first binary image. Therefore, as a result, when the first binary image and the second binary image are overlaid, the boundary of the foreground region in the second binary image is substantially inside the foreground region in the first binary image. Can be expected.
さらに、前景領域調整部207における前景領域の調整方法の他の例としては、前景領域の境界部の長さを比較する方法がある。ステップS407では、第1の二値画像における前景領域の境界部の長さをS11として求め、ステップS408では、第2の二値画像における前景領域の境界部の長さをS12として求める。そしてステップS409以降では、S1,S2の代わりにそれぞれS11,S12を用いて処理を行う。 Furthermore, as another example of the foreground area adjustment method in the foreground area adjustment unit 207, there is a method of comparing the lengths of the boundary portions of the foreground area. In step S407, the length of the boundary portion of the foreground region in the first binary image is obtained as S11, and in step S408, the length of the boundary portion of the foreground region in the second binary image is obtained as S12. In step S409 and subsequent steps, processing is performed using S11 and S12, respectively, instead of S1 and S2.
前景領域決定部208は、第1の二値画像における前景領域(第1領域)と、前景領域調整部207による調整済み(収縮済み)の第2の二値画像における前景領域(第2領域)と、に基づいて、撮像画像における前景領域を決定する。前景領域決定部208による前景領域の決定処理について、図3(C)のフローチャートに従って説明する。 The foreground area determination unit 208 includes a foreground area (first area) in the first binary image and a foreground area (second area) in the second binary image that has been adjusted (shrinked) by the foreground area adjustment unit 207. Based on the above, the foreground region in the captured image is determined. The foreground area determination processing by the foreground area determination unit 208 will be described with reference to the flowchart of FIG.
ステップS313では、前景領域決定部208は、第1の二値画像と第2の二値画像とで同位置の画素ごとに画素値のOR演算を行う。このようなOR演算を行うことで得られる二値画像(第3の二値画像)中の画素位置(x、y)における画素値が「1」である場合、撮像画像中の画素位置(x、y)における画素が前景画素と推定された画素であることを示す。一方、第3の二値画像中の画素位置(x、y)における画素値が「0」である場合、撮像画像中の画素位置(x、y)における画素が背景画素と推定された画素であることを示す。すなわち、第3の二値画像において画素値が「1」の領域とは、第1の二値画像における前景領域と第2の二値画像における前景領域との和である。言い換えると、前景領域決定部208により決定される前景領域は、前景分離部205により特定される前景領域と前景分離部206により特定される前景領域との少なくとも何れかに含まれる画素により構成される。なお、第1の二値画像及び第2の二値画像の全体領域についてOR演算を行うことに限らず、例えば、同じラベル番号の前景領域ごとにOR演算を行うようにしても良い。 In step S313, the foreground region determination unit 208 performs an OR operation on the pixel values for each pixel at the same position in the first binary image and the second binary image. When the pixel value at the pixel position (x, y) in the binary image (third binary image) obtained by performing such an OR operation is “1”, the pixel position (x , Y) indicates that the pixel estimated as the foreground pixel. On the other hand, when the pixel value at the pixel position (x, y) in the third binary image is “0”, the pixel at the pixel position (x, y) in the captured image is a pixel estimated as the background pixel. Indicates that there is. That is, the region having a pixel value “1” in the third binary image is the sum of the foreground region in the first binary image and the foreground region in the second binary image. In other words, the foreground area determined by the foreground area determination unit 208 is configured by pixels included in at least one of the foreground area specified by the foreground separation unit 205 and the foreground area specified by the foreground separation unit 206. . Note that the OR operation is not limited to the entire region of the first binary image and the second binary image, and for example, the OR operation may be performed for each foreground region having the same label number.
図5(A)の前景領域と図5(C)の前景領域とを用いて前景領域決定部208により得られる前景領域を図5(D)に示す。図5(D)に示す如く、図5(A)の前景領域と比べると、前景領域の欠落が埋まり、前景形状の品質が改善されている。また図5(B)の前景領域と比べると、図5(B)の前景領域の境界部が図5(A)の前景領域の内側となるよう調整したために、前景領域の境界部の粗い部分が少なくなっており、前景形状の品質が改善されている。 FIG. 5D shows a foreground area obtained by the foreground area determination unit 208 using the foreground area in FIG. 5A and the foreground area in FIG. As shown in FIG. 5D, compared to the foreground area of FIG. 5A, the missing foreground area is filled and the quality of the foreground shape is improved. Compared with the foreground area in FIG. 5B, the boundary portion of the foreground area in FIG. 5B is adjusted to be inside the foreground area in FIG. And the quality of the foreground shape is improved.
生成部209は、データ受信部201から入力された撮像画像と、背景バッファ204に格納されている背景画像と、前景領域決定部208によって生成された第3の二値画像と、を用いて仮想視点画像を生成する。仮想視点画像の生成方法としては、例えばVisualHullなどの方法が知られている。例えば生成部209は、ユーザにより指定された視点に対応する仮想視点画像の生成に要する背景画像を背景バッファ204から読み出し、該読み出した背景画像を2次元平面上に投影することで、該2次元平面上に仮想視点における背景を生成する。また生成部209は、データ受信部201から入力された撮像画像について前景領域決定部208が生成した第3の二値画像中の画素値が「1」の画素群に対応する該撮像画像上の画素群の領域を前景領域として特定する。そして生成部209は、データ受信部201から入力されたそれぞれの撮像画像から、該撮像画像について特定した前景領域を抽出し、該抽出した前景領域に基づいて前景(例えば人物104)の3次元モデルを生成する。そして生成部209は、該生成した3次元モデルを、ユーザにより指定された視点に応じて上記の2次元平面上に投影することで、該2次元平面上に仮想視点画像を生成する。VisualHullについてはよく知られた手法なので詳細な説明は省く。 The generation unit 209 uses the captured image input from the data reception unit 201, the background image stored in the background buffer 204, and the third binary image generated by the foreground region determination unit 208. Generate a viewpoint image. As a method for generating a virtual viewpoint image, for example, a method such as VisualHull is known. For example, the generation unit 209 reads the background image necessary for generating the virtual viewpoint image corresponding to the viewpoint designated by the user from the background buffer 204, and projects the read background image on the two-dimensional plane, thereby A background at a virtual viewpoint is generated on a plane. In addition, the generation unit 209 has a pixel value in the third binary image generated by the foreground region determination unit 208 for the captured image input from the data reception unit 201 on the captured image corresponding to the pixel group having the pixel value “1”. The area of the pixel group is specified as the foreground area. Then, the generation unit 209 extracts the foreground area specified for the captured image from each captured image input from the data reception unit 201, and based on the extracted foreground area, a three-dimensional model of the foreground (for example, the person 104). Is generated. Then, the generation unit 209 generates a virtual viewpoint image on the two-dimensional plane by projecting the generated three-dimensional model onto the two-dimensional plane according to the viewpoint designated by the user. Since VisualHull is a well-known technique, a detailed description thereof will be omitted.
そして生成部209は、生成した仮想視点画像を出力するのであるが、出力先については特定の出力先に限らない。例えば、画像処理装置103に接続されている表示装置に表示しても良いし、記憶装置に記録するようにしても良い。また、ネットワークを介して外部の端末に対して送信しても良い。 The generation unit 209 outputs the generated virtual viewpoint image, but the output destination is not limited to a specific output destination. For example, the image may be displayed on a display device connected to the image processing apparatus 103 or may be recorded in a storage device. Moreover, you may transmit to an external terminal via a network.
このように、本実施形態によれば、特性の異なる複数の前景分離手法による前景分離を行って、その結果に対して調整を行った後合成するという手順で、前景形状の品質を改善することができる。すなわち、入力画像内における前景領域の特定の精度を改善できる。その結果、生成される仮想視点画像の画質を向上させることができる。 As described above, according to the present embodiment, the quality of the foreground shape is improved by performing the foreground separation using a plurality of foreground separation methods having different characteristics and performing the adjustment after adjusting the result. Can do. That is, the accuracy of specifying the foreground area in the input image can be improved. As a result, the image quality of the generated virtual viewpoint image can be improved.
[第2の実施形態]
第1の実施形態では、第2の特徴量として画像のテクスチャ情報を用いたが、本実施形態では画像の輝度情報を用いる。すなわち、本実施形態において或る画素についての第2の特徴量は、当該画素の画素値に応じて決まる。以下では第1の実施形態との差分について重点的に説明し、以下で特に触れない限りは、第1の実施形態と同様であるものとする。
[Second Embodiment]
In the first embodiment, the texture information of the image is used as the second feature amount, but the luminance information of the image is used in the present embodiment. That is, in the present embodiment, the second feature amount for a certain pixel is determined according to the pixel value of the pixel. In the following, differences from the first embodiment will be described mainly, and unless otherwise noted, the same as the first embodiment.
画像処理装置103の機能構成例について、図6のブロック図を用いて説明する。図6において図2に示した機能部と同じ機能部には同じ参照番号を付しており、該機能部に係る説明は省略する。本実施形態でも第1の実施形態と同様、画像処理装置103における画像処理は、画像処理装置103に内蔵されたASICやFPGAなどのハードウェアにより処理される。然るに本実施形態では、図6に示した各機能部(各モジュール)は、ハードウェアとしてASICやFPGAの内部に実装されている。 A functional configuration example of the image processing apparatus 103 will be described with reference to the block diagram of FIG. In FIG. 6, the same functional units as those shown in FIG. 2 are denoted by the same reference numerals, and description thereof will be omitted. Also in this embodiment, as in the first embodiment, the image processing in the image processing apparatus 103 is processed by hardware such as an ASIC or FPGA built in the image processing apparatus 103. However, in the present embodiment, each functional unit (each module) illustrated in FIG. 6 is mounted as hardware inside an ASIC or FPGA.
前景分離部606は、データ受信部201から入力した撮像画像と、該撮像画像における背景領域を表す背景画像として背景生成部203が生成した背景画像と、の輝度情報の差分に基づいて、該撮像画像における前景領域を推定する。前景分離部606が行う処理について、同処理のフローチャートを示す図7を用いて説明する。図7において図3(B)と同じ処理ステップには同じステップ番号を付しており、該処理ステップに係る説明は省略する。 The foreground separation unit 606 performs the imaging based on the difference in luminance information between the captured image input from the data reception unit 201 and the background image generated by the background generation unit 203 as a background image representing the background area in the captured image. Estimate the foreground region in the image. Processing performed by the foreground separation unit 606 will be described with reference to FIG. 7 showing a flowchart of the processing. In FIG. 7, the same processing steps as those in FIG. 3B are denoted by the same step numbers, and description of the processing steps is omitted.
ステップS707では、前景分離部606は、撮像画像(入力画像)と背景画像との輝度情報に基づく差分画像を生成する。ステップS707で生成される差分画像は、差分画像中の画素位置(x、y)における画素値が、撮像画像中の画素位置(x、y)における輝度値と、背景画像中の画素位置(x、y)における輝度値と、の差分を表す画像である。 In step S707, the foreground separation unit 606 generates a difference image based on luminance information between the captured image (input image) and the background image. In the difference image generated in step S707, the pixel value at the pixel position (x, y) in the difference image has the luminance value at the pixel position (x, y) in the captured image and the pixel position (x in the background image). , Y) is an image representing a difference between the luminance value and y).
ステップS709では、前景分離部606は、ステップS308で平滑化処理を行った差分画像における各画素について、該画素の画素値が閾値よりも大きいか否かを判断する。そしてこの判断の結果、前景分離部606は、差分画像において画素値が閾値よりも大きい画素については、ステップS710において該画素に対し、「前景領域を構成する画素(前景画素)」を表すビット値「1」を割り当てる。一方、前景分離部606は、差分画像において画素値が閾値以下の画素については、ステップS711において該画素に対し、「背景領域を構成する画素(背景画素)」を表すビット値「0」を割り当てる。このような処理により、差分画像の各画素に対応するビット値を画素値とする二値画像を生成することができる。 In step S709, the foreground separation unit 606 determines whether the pixel value of the pixel in the difference image subjected to the smoothing process in step S308 is greater than a threshold value. As a result of this determination, the foreground separation unit 606, for a pixel whose pixel value is larger than the threshold value in the difference image, for the pixel in step S710, represents a bit value representing “a pixel constituting the foreground region (foreground pixel)”. Assign “1”. On the other hand, the foreground separation unit 606 assigns a bit value “0” representing “a pixel constituting the background region (background pixel)” to the pixel having a pixel value equal to or smaller than the threshold in the difference image in step S711. . By such processing, a binary image having a bit value corresponding to each pixel of the difference image as a pixel value can be generated.
本実施形態によれば、第2の二値画像における前景領域の面積が、第1の二値画像における前景領域の面積に対して一定比率以下となっている。そのため結果的に、第1の二値画像と第2の二値画像とを重ねたときに、第2の二値画像における前景領域の境界がほぼ内側となることが期待できる。 According to this embodiment, the area of the foreground region in the second binary image is equal to or less than a certain ratio with respect to the area of the foreground region in the first binary image. Therefore, as a result, when the first binary image and the second binary image are overlapped, it can be expected that the boundary of the foreground region in the second binary image is almost inside.
<変形例>
上記の各実施形態では、第1の二値画像における前景領域のサイズに鑑みて第2の二値画像における前景領域の収縮を行ったが、状況に応じて、第2の二値画像における前景領域のサイズに鑑みて第1の二値画像における前景領域の収縮又は拡張を行うようにしても良い。
<Modification>
In each of the above embodiments, the foreground area in the second binary image is contracted in view of the size of the foreground area in the first binary image. However, depending on the situation, the foreground in the second binary image is reduced. In view of the size of the area, the foreground area in the first binary image may be contracted or expanded.
また、第1及び第2の実施形態では、仮想視点画像を生成するべく前景分離を行っているが、第1及び第2の実施形態で説明した前景分離は、他の用途における画像処理において実行しても良い。 In the first and second embodiments, foreground separation is performed to generate a virtual viewpoint image, but the foreground separation described in the first and second embodiments is performed in image processing in other applications. You may do it.
また、上記の各実施形態では、前景分離処理と仮想視点画像の生成処理とを同一の画像処理装置103が実行する場合について説明したが、これに限らない。例えば、システム内には複数のカメラ102に対応する複数の画像処理装置103が存在し、各画像処理装置は対応するカメラ102の撮像画像に対する前景分離処理を行ってもよい。そして、複数の画像処理装置103のそれぞれが、自装置による前景分離処理の結果を、仮想視点画像の生成処理を行う生成装置に出力してもよい。 In each of the above embodiments, the case where the same image processing apparatus 103 executes the foreground separation process and the virtual viewpoint image generation process has been described, but the present invention is not limited thereto. For example, there may be a plurality of image processing apparatuses 103 corresponding to the plurality of cameras 102 in the system, and each image processing apparatus may perform foreground separation processing on the captured image of the corresponding camera 102. Then, each of the plurality of image processing apparatuses 103 may output the result of the foreground separation process performed by the own apparatus to a generation apparatus that performs a virtual viewpoint image generation process.
また、本変形例を含む上記の実施形態の一部若しくは全部を適宜組み合わせても構わないし、本変形例を含む上記の実施形態の一部若しくは全部を選択的に使用しても構わない。 Moreover, you may combine suitably a part or all of said embodiment containing this modification, and you may selectively use a part or all of said embodiment containing this modification.
[その他の実施形態]
第1及び第2の実施形態では、図2及び図6に示した各機能部は何れもハードウェアで構成されているものとして説明した。しかし、記録部202、背景バッファ204、データ受信部201以外の機能部はソフトウェア(コンピュータプログラム)で実装しても良い。そのような場合、記録部202及び背景バッファ204として機能するメモリを有し、データ受信部201として機能するインターフェース(I/F)を有し、上記ソフトウェアを実行可能なコンピュータ装置を画像処理装置103に適用することができる。
[Other Embodiments]
In the first and second embodiments, the functional units illustrated in FIGS. 2 and 6 have been described as being configured by hardware. However, functional units other than the recording unit 202, the background buffer 204, and the data receiving unit 201 may be implemented by software (computer program). In such a case, a computer device having a memory functioning as the recording unit 202 and the background buffer 204, an interface (I / F) functioning as the data receiving unit 201, and capable of executing the software is an image processing device 103. Can be applied to.
画像処理装置103に適用可能なコンピュータ装置のハードウェア構成例について、図8のブロック図を用いて説明する。なお、図8に示したハードウェア構成は、画像処理装置103に適用可能なコンピュータ装置のハードウェア構成の一例に過ぎない。 A hardware configuration example of a computer apparatus applicable to the image processing apparatus 103 will be described with reference to the block diagram of FIG. Note that the hardware configuration shown in FIG. 8 is merely an example of the hardware configuration of a computer device applicable to the image processing apparatus 103.
CPU801は、RAM802やROM803に格納されているコンピュータプログラムやデータを用いて処理を実行する。これによりCPU801は、コンピュータ装置全体の動作制御を行うと共に、画像処理装置103が行うものとして上述した各処理を実行若しくは制御する。 The CPU 801 executes processing using computer programs and data stored in the RAM 802 and the ROM 803. As a result, the CPU 801 controls the operation of the entire computer apparatus and executes or controls each process described above as being performed by the image processing apparatus 103.
RAM802は、ROM803や外部記憶装置806からロードされたコンピュータプログラムやデータ、I/F807を介して外部から受信したデータ(例えば撮像画像群)、を格納するためのエリアを有する。更にRAM802は、CPU801が各種の処理を実行する際に用いるワークエリアを有する。このようにRAM802は、各種のエリアを適宜提供することができる。ROM803には、書換不要のコンピュータプログラムやデータが格納されている。 The RAM 802 has an area for storing computer programs and data loaded from the ROM 803 and the external storage device 806 and data received from the outside via the I / F 807 (for example, a captured image group). Further, the RAM 802 has a work area used when the CPU 801 executes various processes. As described above, the RAM 802 can appropriately provide various areas. The ROM 803 stores computer programs and data that do not require rewriting.
操作部804は、キーボードやマウスなどのユーザインターフェースにより構成されており、ユーザが操作することで各種の指示をCPU801に対して入力することができる。例えばユーザは操作部804を操作することで、仮想視点の位置を指定することができる。 The operation unit 804 is configured by a user interface such as a keyboard and a mouse, and can input various instructions to the CPU 801 by a user operation. For example, the user can designate the position of the virtual viewpoint by operating the operation unit 804.
表示装置805は、CRTや液晶画面などにより構成されており、CPU801による処理結果を画像や文字などでもって表示することができる。例えば、表示装置805には、仮想視点の位置を指定するためのGUI(グラフィカルユーザインターフェース)や、生成部209が生成した仮想視点画像を表示することができる。なお、操作部804と表示装置805とを一体化させてタッチパネル画面を構成しても良い。 The display device 805 is configured by a CRT, a liquid crystal screen, or the like, and can display a processing result by the CPU 801 using an image, text, or the like. For example, the display device 805 can display a GUI (graphical user interface) for designating the position of the virtual viewpoint or the virtual viewpoint image generated by the generation unit 209. Note that the operation unit 804 and the display device 805 may be integrated to form a touch panel screen.
外部記憶装置806は、ハードディスクドライブ装置に代表される大容量情報記憶装置である。外部記憶装置806には、OS(オペレーティングシステム)や、図2及び図6において記録部202、背景バッファ204、データ受信部201を除く各機能部の機能をCPU801に実現させるためのコンピュータプログラムやデータが保存されている。外部記憶装置806に保存されているデータには、上記の説明において既知の情報として取り扱ったもの、例えば、上記の閾値や、RGBをLabやYUVに変換するためのルックアップテーブル、等のデータが含まれている。外部記憶装置806に保存されているコンピュータプログラムやデータは、CPU801による制御に従って適宜RAM802にロードされ、CPU801による処理対象となる。なお、上記の記録部202や背景バッファ204は、RAM802や外部記憶装置806を用いて実装することができる。 The external storage device 806 is a mass information storage device represented by a hard disk drive device. The external storage device 806 includes an OS (operating system) and computer programs and data for causing the CPU 801 to implement the functions of the functional units other than the recording unit 202, the background buffer 204, and the data receiving unit 201 in FIGS. Is saved. The data stored in the external storage device 806 includes data handled as known information in the above description, such as the above-described threshold value, a lookup table for converting RGB into Lab or YUV, and the like. include. Computer programs and data stored in the external storage device 806 are appropriately loaded into the RAM 802 under the control of the CPU 801 and are processed by the CPU 801. Note that the recording unit 202 and the background buffer 204 described above can be mounted using a RAM 802 or an external storage device 806.
I/F807は、上記のデータ受信部201として機能するものであり、それぞれのカメラ102による撮像画像を受信するためのインターフェースとして機能するものである。また、それぞれのカメラ102に対する制御信号は、I/F807を介してコンピュータ装置からそれぞれのカメラ102に対して送信される。上記のCPU801、RAM802、ROM803、操作部804、表示装置805、外部記憶装置806、I/F807は何れもバス808に接続されている。 The I / F 807 functions as the data receiving unit 201 described above, and functions as an interface for receiving images captured by the respective cameras 102. In addition, a control signal for each camera 102 is transmitted from the computer device to each camera 102 via the I / F 807. The CPU 801, RAM 802, ROM 803, operation unit 804, display device 805, external storage device 806, and I / F 807 are all connected to the bus 808.
なお本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。 In the present invention, a program that realizes one or more functions of the above-described embodiments is supplied to a system or apparatus via a network or a storage medium, and one or more processors in the computer of the system or apparatus read the program. It can also be realized by processing to be executed. It can also be realized by a circuit (for example, ASIC) that realizes one or more functions.
201:データ受信部 202:記録部 203:背景生成部 204:背景バッファ 205:前景分離部 206:前景分離部 207:前景領域調整部 208:前景領域決定部 209:生成部 201: Data reception unit 202: Recording unit 203: Background generation unit 204: Background buffer 205: Foreground separation unit 206: Foreground separation unit 207: Foreground region adjustment unit 208: Foreground region determination unit 209: Generation unit
Claims (12)
前記入力画像と前記背景画像との間の第2の特徴量に基づく差分を用いて、該入力画像における第2領域を特定する第2の特定手段と、
前記第1の特定手段により特定された前記第1領域及び前記第2の特定手段により特定された前記第2領域に基づいて、前記入力画像における所定の被写体に対応する前景領域を決定する決定手段と
を備えることを特徴とする画像処理装置。 First specifying means for specifying a first region in the input image using a difference based on a first feature amount between the input image and the background image;
Using a difference based on a second feature amount between the input image and the background image, second specifying means for specifying a second region in the input image;
Determination means for determining a foreground area corresponding to a predetermined subject in the input image based on the first area specified by the first specifying means and the second area specified by the second specifying means. An image processing apparatus comprising:
請求項8又は9に記載の画像処理装置と
を有することを特徴とするシステム。 A plurality of imaging devices connected in a ring shape;
A system comprising: the image processing apparatus according to claim 8.
前記画像処理装置の第1の特定手段が、入力画像と背景画像との間の第1の特徴量に基づく差分を用いて、該入力画像における第1領域を特定する第1の特定工程と、
前記画像処理装置の第2の特定手段が、前記入力画像と前記背景画像との間の第2の特徴量に基づく差分を用いて、該入力画像における第2領域を特定する第2の特定工程と、
前記画像処理装置の決定手段が、前記第1の特定工程で特定された前記第1領域及び前記第2の特定工程で特定された前記第2領域に基づいて、前記入力画像における所定の被写体に対応する前景領域を決定する決定工程と
を備えることを特徴とする画像処理方法。 An image processing method performed by an image processing apparatus,
A first specifying step in which a first specifying unit of the image processing device specifies a first region in the input image using a difference based on a first feature amount between the input image and a background image;
A second specifying step in which a second specifying unit of the image processing apparatus specifies a second region in the input image using a difference based on a second feature amount between the input image and the background image; When,
A determination unit of the image processing device applies a predetermined subject in the input image based on the first region specified in the first specifying step and the second region specified in the second specifying step. And a determining step for determining a corresponding foreground region.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017100074A JP7012457B2 (en) | 2017-05-19 | 2017-05-19 | Image processing device, image processing method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017100074A JP7012457B2 (en) | 2017-05-19 | 2017-05-19 | Image processing device, image processing method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018195190A true JP2018195190A (en) | 2018-12-06 |
JP7012457B2 JP7012457B2 (en) | 2022-01-28 |
Family
ID=64571624
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017100074A Active JP7012457B2 (en) | 2017-05-19 | 2017-05-19 | Image processing device, image processing method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7012457B2 (en) |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007164804A (en) * | 2007-01-22 | 2007-06-28 | Asia Air Survey Co Ltd | Mobile object detecting system, mobile object detecting device, mobile object detection method and mobile object detecting program |
JP2009010594A (en) * | 2007-06-27 | 2009-01-15 | Secom Co Ltd | Image sensor |
JP2009074836A (en) * | 2007-09-19 | 2009-04-09 | Advanced Telecommunication Research Institute International | Image processing device, image processing method, and image processing program |
JP2010081244A (en) * | 2008-09-25 | 2010-04-08 | Casio Computer Co Ltd | Imaging device, imaging method, and image processing program |
JP2011053951A (en) * | 2009-09-02 | 2011-03-17 | Canon Inc | Image processing apparatus |
JP2012048484A (en) * | 2010-08-26 | 2012-03-08 | Canon Inc | Image processing apparatus, image processing method, and program |
JP2014219718A (en) * | 2013-05-01 | 2014-11-20 | 三菱電機株式会社 | Monitoring image processor |
JP2017021753A (en) * | 2015-07-15 | 2017-01-26 | 国立大学法人九州大学 | Graph display device, graph display program and computer readable storage medium with graph display program stored |
-
2017
- 2017-05-19 JP JP2017100074A patent/JP7012457B2/en active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007164804A (en) * | 2007-01-22 | 2007-06-28 | Asia Air Survey Co Ltd | Mobile object detecting system, mobile object detecting device, mobile object detection method and mobile object detecting program |
JP2009010594A (en) * | 2007-06-27 | 2009-01-15 | Secom Co Ltd | Image sensor |
JP2009074836A (en) * | 2007-09-19 | 2009-04-09 | Advanced Telecommunication Research Institute International | Image processing device, image processing method, and image processing program |
JP2010081244A (en) * | 2008-09-25 | 2010-04-08 | Casio Computer Co Ltd | Imaging device, imaging method, and image processing program |
JP2011053951A (en) * | 2009-09-02 | 2011-03-17 | Canon Inc | Image processing apparatus |
JP2012048484A (en) * | 2010-08-26 | 2012-03-08 | Canon Inc | Image processing apparatus, image processing method, and program |
JP2014219718A (en) * | 2013-05-01 | 2014-11-20 | 三菱電機株式会社 | Monitoring image processor |
JP2017021753A (en) * | 2015-07-15 | 2017-01-26 | 国立大学法人九州大学 | Graph display device, graph display program and computer readable storage medium with graph display program stored |
Non-Patent Citations (1)
Title |
---|
橋本 敦史、外3名: ""テクスチャと色の相補的な利用に基づく調理作業中の台上物体領域抽出"", 情報処理学会研究報告 エンタテインメントコンピューティング(EC), JPN6021021943, 15 June 2010 (2010-06-15), JP, pages 1 - 6, ISSN: 0004575074 * |
Also Published As
Publication number | Publication date |
---|---|
JP7012457B2 (en) | 2022-01-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10701332B2 (en) | Image processing apparatus, image processing method, image processing system, and storage medium | |
EP3537378B1 (en) | Image processing apparatus and method for object boundary stabilization in an image of a sequence of images | |
JP6438403B2 (en) | Generation of depth maps from planar images based on combined depth cues | |
US10841555B2 (en) | Image processing apparatus, image processing method, and storage medium | |
US10818018B2 (en) | Image processing apparatus, image processing method, and non-transitory computer-readable storage medium | |
JP6882868B2 (en) | Image processing equipment, image processing method, system | |
JP6546611B2 (en) | Image processing apparatus, image processing method and image processing program | |
US11189041B2 (en) | Image processing apparatus, control method of image processing apparatus, and non-transitory computer-readable storage medium | |
JP2020129276A (en) | Image processing device, image processing method, and program | |
JP7027049B2 (en) | Image processing equipment, image processing methods and programs | |
US11074742B2 (en) | Image processing apparatus, image processing method, and storage medium | |
US11076140B2 (en) | Information processing apparatus and method of controlling the same | |
JP7374582B2 (en) | Image processing device, image generation method and program | |
EP3723365A1 (en) | Image processing apparatus, system that generates virtual viewpoint video image, control method of image processing apparatus and storage medium | |
JP7012457B2 (en) | Image processing device, image processing method | |
JP7271115B2 (en) | Image processing device, background image generation method and program | |
US20240169552A1 (en) | Image processing apparatus, image processing method, and storage medium | |
JP2020102124A (en) | Image generator, method for generating image, and program | |
US11200706B2 (en) | Image processing apparatus, image processing method, and storage medium | |
JP6759300B2 (en) | Information processing equipment, information processing methods and programs | |
JP7329964B2 (en) | Image processing device, image processing method and program | |
JP2022103836A (en) | Information processing device, information processing method, and program | |
JP2024076886A (en) | Image processing device and image processing method | |
JP2024085780A (en) | Image processing device and image processing method | |
RU2560086C1 (en) | System and method for video temporary complement |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200508 |
|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20210103 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210113 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210531 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210611 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210729 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20210823 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211124 |
|
C60 | Trial request (containing other claim documents, opposition documents) |
Free format text: JAPANESE INTERMEDIATE CODE: C60 Effective date: 20211124 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20211206 |
|
C21 | Notice of transfer of a case for reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C21 Effective date: 20211210 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20211220 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220118 |