JP2011229101A - Image processing apparatus, image processing system, data processing method, program, and recording medium - Google Patents
Image processing apparatus, image processing system, data processing method, program, and recording medium Download PDFInfo
- Publication number
- JP2011229101A JP2011229101A JP2010099548A JP2010099548A JP2011229101A JP 2011229101 A JP2011229101 A JP 2011229101A JP 2010099548 A JP2010099548 A JP 2010099548A JP 2010099548 A JP2010099548 A JP 2010099548A JP 2011229101 A JP2011229101 A JP 2011229101A
- Authority
- JP
- Japan
- Prior art keywords
- image
- frame
- foreground object
- image frame
- processing apparatus
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Abstract
Description
本発明は、撮影画像を処理する画像処理装置に関し、より詳細には、描画画像を含む画像フレームからキーフレームを抽出して出力する画像処理装置、画像処理システム、データ処理方法、プログラムおよび記録媒体に関する。 The present invention relates to an image processing apparatus that processes a captured image, and more specifically, an image processing apparatus, an image processing system, a data processing method, a program, and a recording medium that extract and output a key frame from an image frame including a drawn image. About.
近年、企業や教育機関、行政機関等では、会議や講義等において、ホワイトボードや黒板等の描画対象物に描かれた文字や数字、図形等の描画を含む描画画像を取得する種々の技術が利用されている。このような技術には、例えば、スキャナ装置および印刷装置を備え、ホワイトボードの描画画像を走査して印刷するホワイトボード装置や、描画対象物に描かれた描画画像をデジタルビデオカメラ等の撮影装置で撮影して取得するシステムがある。 In recent years, companies, educational institutions, administrative institutions, etc. have various techniques for acquiring drawn images including drawing of characters, numbers, figures, etc. drawn on drawing objects such as whiteboards and blackboards at meetings and lectures. It's being used. In such a technique, for example, a whiteboard device that includes a scanner device and a printing device and scans and prints a drawing image on a whiteboard, and a photographing device such as a digital video camera that draws a drawing image drawn on a drawing object There is a system to capture and acquire in.
このような描画画像の取得技術として、特許文献１は、ホワイトボードを撮影して得られた撮影画像を空間的および時間的に解析し、ペンストロークセルの数の時間的な変化量が特定の閾値以上となったときに、ペンストロークセルの数が最大となった時点の撮影画像の画像フレームを、保存すべき描画画像が書き込まれた画像フレームであるキーフレームとして取得するホワイトボードキャプチャシステムを開示する。 As such a drawing image acquisition technique, Patent Document 1 analyzes a captured image obtained by capturing a whiteboard spatially and temporally, and a temporal change amount of the number of pen stroke cells is specified. A whiteboard capture system that acquires the image frame of the captured image at the time when the number of pen stroke cells becomes the maximum when the threshold value is exceeded as a key frame that is an image frame in which a drawing image to be stored is written Disclose.
このホワイトボードキャプチャシステムは、ペンストロークセルの数が最大となったとき、すなわち、ホワイトボードに書き込まれた描画画像の量が最大となったときの画像フレームをキーフレームとして抽出する。また、当該ホワイトボードキャプチャシステムは、ペンストロークセルの数の変化量が特定の閾値以上になったときにのみ画像フレームを取得することにより、人物等の前景オブジェクトが撮影画像に映ることによって生じるペンストローク数の変動による不要な画像フレームの取得を防止する。 The whiteboard capture system extracts, as a key frame, an image frame when the number of pen stroke cells is maximized, that is, when the amount of a drawn image written on the whiteboard is maximized. In addition, the whiteboard capture system obtains an image frame only when the amount of change in the number of pen stroke cells is equal to or greater than a specific threshold, thereby causing a pen generated when a foreground object such as a person appears in a captured image. Acquisition of unnecessary image frames due to fluctuations in the number of strokes is prevented.
しかしながら、特許文献１に示すホワイトボードキャプチャシステムは、前景オブジェクトによってペンストロークの数が変動し、その変化量が所定の閾値を超えた場合には、本来キーフレームではない画像フレームをキーフレームとして取得してしまうという問題があった。また、ホワイトボードに書き込まれた描画画像を消した場合に、その消された描画画像によるペンストロークの数の変化量が所定の閾値よりも少ないときには、本来キーフレームとして取得すべき画像フレームが取得されないという問題もあった。 However, the whiteboard capture system disclosed in Patent Document 1 acquires an image frame that is not a key frame as a key frame when the number of pen strokes varies depending on the foreground object and the amount of change exceeds a predetermined threshold. There was a problem of doing. In addition, when a drawing image written on the whiteboard is erased, if the amount of change in the number of pen strokes by the erased drawing image is less than a predetermined threshold, an image frame that should originally be obtained as a key frame is obtained. There was also a problem that it was not done.
本発明は上記の課題を解決するものであり、キーフレームの抽出精度を向上させ、本来出力すべきキーフレームのみを確実に抽出可能な画像処理装置、画像処理システム、データ処理方法、プログラムおよび記録媒体を提供することを目的とする。 The present invention solves the above-described problem, and improves the accuracy of key frame extraction and can reliably extract only key frames that should be output, image processing system, data processing method, program, and recording The purpose is to provide a medium.
本発明の画像処理装置は、撮影画像を構成する複数の画像フレームから前景オブジェクトが含まれる画像フレームを検出する前景オブジェクト検出手段と、複数の画像フレームを、同一の描画画像を有し、且つ前景オブジェクトが含まれない画像フレーム群にグループ化して、画像フレーム群の代表フレームを決定するグループ化手段と、表示装置に表示すべき画像フレームであるキーフレームを代表フレームから決定するキーフレーム決定手段とを含み、当該キーフレームを表示装置に出力する。これにより、前景オブジェクトが含まれた不要なキーフレームを出力せず、また、キーフレームを確実に取得することができる。 An image processing apparatus according to the present invention includes a foreground object detection unit that detects an image frame including a foreground object from a plurality of image frames constituting a captured image, a plurality of image frames, the same drawing image, and the foreground Grouping means for grouping into image frame groups that do not include objects and determining representative frames of the image frame group; and key frame determining means for determining key frames that are image frames to be displayed on the display device from the representative frames. The key frame is output to the display device. Thereby, an unnecessary key frame including the foreground object is not output, and the key frame can be reliably acquired.
本発明によれば、キーフレームの抽出精度を向上させ、本来出力すべきキーフレームのみを確実に抽出可能な画像処理システム、データ処理方法、プログラムおよび記録媒体を提供することができる。 According to the present invention, it is possible to provide an image processing system, a data processing method, a program, and a recording medium that can improve the accuracy of key frame extraction and reliably extract only key frames that should be output.
以下、本発明について実施形態をもって説明するが、本発明は、後述する実施形態に限定されるものではない。 Hereinafter, although this invention is demonstrated with embodiment, this invention is not limited to embodiment mentioned later.
図１は、本実施形態の画像処理システム１００を示す。画像処理システム１００は、描画対象物１１０と、撮影装置１２０と、画像処理装置１３０とを含む。 FIG. 1 shows an image processing system 100 of the present embodiment. The image processing system 100 includes a drawing object 110, a photographing device 120, and an image processing device 130.
描画対象物１１０は、ユーザが文字や図形等を描画または掲示可能なホワイトボードや黒板、紙等の物品である。図１に示す描画対象物１１０には、ユーザが描画した文字や数字、図形等の画像である描画画像１１２が描かれている。 The drawing object 110 is an article such as a whiteboard, a blackboard, or paper on which a user can draw or post characters, figures, and the like. A drawing object 112 shown in FIG. 1 is a drawing image 112 that is an image of characters, numbers, figures, etc. drawn by the user.
撮影装置１２０は、描画対象物１１０を撮影して撮影画像を生成する装置である。本実施形態では、動画撮影が可能なデジタルビデオカメラを撮影装置１２０として採用することができ、撮影装置１２０は、描画対象物１１０の撮影対象領域１３２を撮影して得られた撮影画像を構成する一連の画像フレームを画像処理装置１３０に連続して提供する。 The photographing device 120 is a device that photographs the drawing object 110 and generates a photographed image. In the present embodiment, a digital video camera capable of shooting a moving image can be employed as the shooting device 120, and the shooting device 120 configures a shot image obtained by shooting the shooting target region 132 of the drawing target 110. A series of image frames is continuously provided to the image processing device 130.
本実施形態の画像処理システム１００では、画像処理装置１３０と撮影装置１２０とが、ＵＳＢケーブル等により直接的に接続されているが、他の実施形態では、ＬＡＮ等のネットワークを介して相互接続してもよい。 In the image processing system 100 of the present embodiment, the image processing device 130 and the imaging device 120 are directly connected by a USB cable or the like, but in other embodiments, they are interconnected via a network such as a LAN. May be.
画像処理装置１３０は、撮影装置１２０から提供される撮影画像の画像フレームを処理して、出力すべき描画画像を含む画像フレームであるキーフレームを抽出し、画像処理装置１３０の表示装置等に出力して表示させる装置である。本実施形態では、画像処理装置１３０は、ノート型やデスクトップ型等のパーソナルコンピュータを採用することができる。 The image processing device 130 processes the image frame of the photographed image provided from the photographing device 120, extracts a key frame that is an image frame including a drawing image to be output, and outputs the key frame to the display device or the like of the image processing device 130 It is a device to be displayed. In the present embodiment, the image processing apparatus 130 can employ a personal computer such as a notebook computer or a desktop computer.
画像処理装置１３０は、ＰＥＮＴＩＵＭ（登録商標）プロセッサまたは互換プロセッサを搭載し、ＷＩＮＤＯＷＳ（登録商標）シリーズ、ＭＡＣ（登録商標）ＯＳ、ＵＮＩＸ（登録商標）、ＬＩＮＵＸ（登録商標）などのＯＳの管理下で、アセンブラ、Ｃ、Ｃ＋＋、Ｊａｖａ（登録商標）、ＪａｖａＳｃｒｉｐｔ（登録商標）、ＰＥＲＬ、ＲＵＢＹ、ＰＹＴＨＯＮなどのプログラム言語で記述された本発明のプログラムを実行する。また、画像処理装置１３０は、本発明のプログラムを実行するための実行空間を提供するＲＡＭ、プログラムやデータなどを持続的に保持するためのハードディスク装置（ＨＤＤ）などを含んでおり、本発明のプログラムを実行することにより、本実施形態の各機能手段を画像処理装置上に実現する。 The image processing apparatus 130 includes a PENTIUM (registered trademark) processor or a compatible processor, and is managed by an OS such as a WINDOWS (registered trademark) series, a MAC (registered trademark) OS, a UNIX (registered trademark), or a LINUX (registered trademark). The program of the present invention described in a program language such as assembler, C, C ++, Java (registered trademark), JavaScript (registered trademark), PERL, RUBY, PYTHON, or the like is executed. The image processing apparatus 130 includes a RAM that provides an execution space for executing the program of the present invention, a hard disk device (HDD) for continuously storing programs and data, and the like. By executing the program, each functional unit of the present embodiment is realized on the image processing apparatus.
さらに、画像処理装置１３０は、撮影装置１２０等の周辺装置に接続可能なインタフェースを備えており、当該インタフェースを介して周辺装置と撮影画像の送受信等のデータ通信を行うことができる。 Furthermore, the image processing apparatus 130 includes an interface that can be connected to a peripheral device such as the image capturing device 120, and can perform data communication such as transmission and reception of captured images with the peripheral device via the interface.
本発明のプログラムは、ＨＤＤ、ＣＤ−ＲＯＭ、ＭＯ、フレキシブルディスク、ＥＥＰＲＯＭ、ＥＰＲＯＭなどの装置可読な記録媒体に格納して頒布することができ、また他装置が可能な形式でネットワークを介して伝送することができる。 The program of the present invention can be stored and distributed in a device-readable recording medium such as HDD, CD-ROM, MO, flexible disk, EEPROM, EPROM, etc., and transmitted via a network in a format that can be used by other devices. can do.
図２は、本実施形態の画像処理装置１３０の機能構成２００を示す。画像処理装置１３０は、画像受信部２１０と、前景オブジェクト検出部２１２と、グループ化部２１４と、キーフレーム決定部２１６と、画像出力部２１８と、画像データバッファ２２０と、画像管理データベース２２２と、を含む。 FIG. 2 shows a functional configuration 200 of the image processing apparatus 130 of the present embodiment. The image processing apparatus 130 includes an image reception unit 210, a foreground object detection unit 212, a grouping unit 214, a key frame determination unit 216, an image output unit 218, an image data buffer 220, an image management database 222, including.
画像受信部２１０は、撮影装置１２０が提供する撮影画像を受信する機能手段である。画像受信部２１０は、撮影画像２３０を受信すると、当該撮影画像を構成する画像フレームに、当該画像フレームを固有に識別可能な情報である画像フレーム識別情報を付加して、画像データバッファ２２０にＦＩＦＯ（First In First Out）方式で格納する。本実施形態では、画像受信部２１０は、撮影画像を受信して一定時間が経過すると、撮影画像を受信した旨を前景オブジェクト検出部２１２に通知する。他の実施形態では、画像受信部２１０は、一定数の画像フレームを受信した後、撮影画像を受信した旨を前景オブジェクト検出部２１２に通知してもよい。 The image receiving unit 210 is a functional unit that receives a captured image provided by the imaging device 120. Upon receipt of the captured image 230, the image receiving unit 210 adds image frame identification information, which is information that can uniquely identify the image frame, to the image frame that constitutes the captured image, and stores it in the image data buffer 220 as a FIFO. Store in (First In First Out) format. In the present embodiment, the image reception unit 210 notifies the foreground object detection unit 212 that a captured image has been received when a certain period of time has elapsed after receiving the captured image. In another embodiment, the image reception unit 210 may notify the foreground object detection unit 212 that a captured image has been received after receiving a certain number of image frames.
前景オブジェクト検出部２１２は、撮影画像を構成する一連の画像フレームから、前景オブジェクトが含まれる画像フレームを検出する機能手段である。前景オブジェクト検出部２１２は、画像受信部２１０から撮影画像を受信した旨の通知を受信すると、画像データバッファ２２０に格納された画像フレームをＦＩＦＯ方式で取得する。 The foreground object detection unit 212 is a functional unit that detects an image frame including a foreground object from a series of image frames constituting a captured image. When the foreground object detection unit 212 receives the notification indicating that the captured image has been received from the image reception unit 210, the foreground object detection unit 212 acquires the image frame stored in the image data buffer 220 using the FIFO method.
本実施形態では、前景オブジェクト検出部２１２は、画像データバッファ２２０から取得した画像フレームに対して透視投影変換を施して、台形補正や縦横比の補正、回転補正等の画像補正することができる。この場合、前景オブジェクト検出部２１２は、画像補正した画像フレームを画像データバッファ２２０に保存する。 In the present embodiment, the foreground object detection unit 212 can perform image correction such as keystone correction, aspect ratio correction, and rotation correction by performing perspective projection conversion on the image frame acquired from the image data buffer 220. In this case, the foreground object detection unit 212 stores the image frame whose image has been corrected in the image data buffer 220.
前景オブジェクト検出部２１２は、画像データバッファ２２０から連続する２の画像フレームを取得すると、当該２の画像フレームの比較領域について、輝度値の差の絶対値である差分または色空間上での距離尺度の差分を算出する。 When the foreground object detection unit 212 obtains two consecutive image frames from the image data buffer 220, the foreground object detection unit 212 calculates a difference that is an absolute value of a difference in luminance values or a distance scale in the color space for the comparison region of the two image frames. The difference is calculated.
本実施形態では、前景オブジェクト検出部２１２は、撮影装置１２０から取得した画像フレームを使用して、画像フレーム内の描画対象物１１０の領域を特定し、上記画像フレームの比較領域として使用することができる。具体的には、前景オブジェクト検出部２１２は、描画対象物１１０の輝度値と同等の輝度値を有する画像フレーム内の領域を、描画対象物１１０の領域として特定し、当該描画対象物の領域の座標位置を、画像フレームの比較領域として使用することができる。 In the present embodiment, the foreground object detection unit 212 uses the image frame acquired from the imaging device 120 to identify the area of the drawing target 110 in the image frame and use it as a comparison area for the image frame. it can. Specifically, the foreground object detection unit 212 identifies an area in the image frame having a luminance value equivalent to the luminance value of the drawing object 110 as the area of the drawing object 110, and the area of the drawing object 110 The coordinate position can be used as a comparison area of the image frame.
本実施形態では、画像データバッファ２２０に最初に格納された画像フレームを使用して、描画対象物の領域を特定するが、他の実施形態では、画像データバッファ２２０に格納された複数の画像フレームを使用して、複数の描画対象物の領域を候補として算出し、最頻出の対象物の領域を画像フレームの比較領域として使用してもよい。 In the present embodiment, the region of the drawing target is specified using the image frame first stored in the image data buffer 220. However, in another embodiment, a plurality of image frames stored in the image data buffer 220 are specified. May be used to calculate a plurality of drawing object areas as candidates, and the most frequently used object area may be used as a comparison area of an image frame.
また、本実施形態では、描画対象物の輝度値を予め指定しておき、前景オブジェクト検出部２１２は、その輝度値を使用して描画対象物の領域を特定することができる。他の実施形態では、画像フレームに含まれる輝度値のうち最多の輝度値を描画対象物の輝度値として使用して、描画対象物の領域を特定することができる。 In the present embodiment, the luminance value of the drawing target is specified in advance, and the foreground object detection unit 212 can specify the region of the drawing target using the luminance value. In another embodiment, the region of the drawing object can be specified by using the largest luminance value among the luminance values included in the image frame as the luminance value of the drawing object.
他の実施形態では、上記描画対象物の領域よりも小さな領域を画像フレームの比較領域とすることができる。例えば、描画対象物の領域の大きさをＬ×Ｈ（ピクセル）、座標位置を（０，０）、（Ｌ，０）、（０，Ｈ）、（Ｌ，Ｈ）とし、ｘ軸、ｙ軸方向の差分値をそれぞれａ、ｂとすると、比較領域の座標位置は、（ａ，ｂ）、（Ｌ−２ａ，ｂ）、（ａ，Ｈ−２ｂ）、（Ｌ−２ａ，Ｈ−２ｂ）となる。前景オブジェクト検出部２１２は、上述のように算出した描画対象物の領域の座標位置を使用して、比較領域の座標位置を算出することができる。 In another embodiment, an area smaller than the area of the drawing object can be used as a comparison area of the image frame. For example, the size of the area of the drawing target is L × H (pixels), the coordinate positions are (0,0), (L, 0), (0, H), (L, H), and the x-axis, y Assuming that the difference values in the axial direction are a and b, respectively, the coordinate position of the comparison area is (a, b), (L-2a, b), (a, H-2b), (L-2a, H-2b). ) The foreground object detection unit 212 can calculate the coordinate position of the comparison area using the coordinate position of the area of the drawing target calculated as described above.
さらに他の実施形態では、画像フレームの全領域を比較領域とすることもできる。 In still other embodiments, the entire area of the image frame can be a comparison area.
前景オブジェクト検出部２１２は、２の画像フレームの比較領域について差分を算出すると、画像フレームの全画素数に対する、当該差分の絶対値が閾値を超えている画素数の割合である差分の変化率を算出する。前景オブジェクト検出部２１２は、当該差分の変化率が閾値を超えると判断した場合には、当該２の画像フレームの一方に前景オブジェクトが含まれると判断する。そして、前景オブジェクト検出部２１２は、当該２の画像フレームの平均輝度値を算出して、いずれの画像フレームに前景オブジェクトが存在するか判断する。 When the foreground object detection unit 212 calculates the difference for the comparison region of the two image frames, the foreground object detection unit 212 calculates the change rate of the difference, which is the ratio of the number of pixels for which the absolute value of the difference exceeds the threshold with respect to the total number of pixels of the image frame calculate. If the foreground object detection unit 212 determines that the change rate of the difference exceeds the threshold value, it determines that the foreground object is included in one of the two image frames. Then, the foreground object detection unit 212 calculates the average luminance value of the two image frames and determines in which image frame the foreground object exists.
描画対象物１１０がホワイトボード等である実施形態では、差分を算出した２の画像フレームのうち平均輝度値が低い方の画像フレームに前景オブジェクトが存在すると判断することができる。描画対象物１１０が黒板等である実施形態では、差分を算出した２の画像フレームのうち平均輝度値が高い方の画像フレームに前景オブジェクトが存在すると判断することができる。さらに他の実施形態では、差分を算出した２の画像フレームのうち、その平均輝度値と描画対象物１１０の平均輝度値との差分が大きい方の画像フレームに前景オブジェクトが存在すると判断することができる。本実施形態では、積分画像等を用いて、画像フレームの平均輝度値を算出することができる。 In the embodiment in which the drawing object 110 is a whiteboard or the like, it can be determined that the foreground object exists in the image frame with the lower average luminance value among the two image frames for which the difference is calculated. In the embodiment in which the drawing object 110 is a blackboard or the like, it can be determined that the foreground object exists in the image frame with the higher average luminance value among the two image frames for which the difference is calculated. In still another embodiment, it may be determined that the foreground object is present in the image frame having the larger difference between the average luminance value of the two image frames for which the difference is calculated and the average luminance value of the drawing target object 110. it can. In the present embodiment, an average luminance value of an image frame can be calculated using an integral image or the like.
さらに他の実施形態では、前景オブジェクト検出部２１２は、画像データバッファ２２０から取得した画像フレームから動きベクトルを検出して、前景オブジェクトを検出してもよい。 In still another embodiment, the foreground object detection unit 212 may detect a foreground object by detecting a motion vector from an image frame acquired from the image data buffer 220.
前景オブジェクト検出部２１２は、画像データバッファ２２０から取得した画像フレームに付加されている画像フレーム識別情報を、画像管理データベース２２２の画像管理テーブルに登録し、前景オブジェクトが存在する旨の情報を、前景オブジェクトが存在すると判断した画像フレームの画像フレーム識別情報に関連付けて当該画像管理テーブルに登録することにより、前景オブジェクトの有無を管理する。 The foreground object detection unit 212 registers the image frame identification information added to the image frame acquired from the image data buffer 220 in the image management table of the image management database 222, and stores information indicating that the foreground object exists. The presence / absence of the foreground object is managed by registering it in the image management table in association with the image frame identification information of the image frame determined that the object exists.
前景オブジェクト検出部２１２は、画像データバッファ２２０に格納された総ての画像フレームについて前景オブジェクトの検出処理を終了すると、その旨をグループ化部２１４に通知する。 When the foreground object detection process is completed for all image frames stored in the image data buffer 220, the foreground object detection unit 212 notifies the grouping unit 214 to that effect.
グループ化部２１４は、前景オブジェクトが含まれない画像フレームに対して、同一の描画画像を有する画像フレームをグループ化する機能手段である。グループ化部２１４は、前景オブジェクト検出部２１２から前景オブジェクトの検出処理が終了した旨の通知を受信すると、画像データバッファ２２０から画像フレームをＦＩＦＯ方式で取得し、同一の描画画像を有する画像フレーム群を代表する画像フレームである代表フレームと、画像データバッファ２２０の画像フレームとを順次比較して、画像フレームのグループ化を行う。本実施形態では、グループ化部２１４は、テンプレートマッチング等を用いて画像フレームの比較を行い、当該代表フレームと当該画像フレームが同一である場合には、当該画像フレームが当該代表フレームと同一のグループに属すると判断する。 The grouping unit 214 is a functional unit that groups image frames having the same drawing image with respect to image frames that do not include a foreground object. When the grouping unit 214 receives a notification from the foreground object detection unit 212 that the foreground object detection process has been completed, the grouping unit 214 obtains an image frame from the image data buffer 220 using the FIFO method, and an image frame group having the same drawing image. Are grouped by sequentially comparing the representative frame which is an image frame representative of the image frame and the image frame of the image data buffer 220. In the present embodiment, the grouping unit 214 compares image frames using template matching or the like, and when the representative frame and the image frame are the same, the image frame is the same group as the representative frame. It is judged that it belongs to.
グループ化部２１４は、グループ化処理の結果として、画像フレームが属する画像フレーム群であるグループを固有に識別する情報（以下、グループ固有識別情報として参照する。）と、代表フレームであることを指定する情報（以下、代表フレーム指定情報として参照する。）とを、画像フレーム識別情報に関連付けて、画像管理データベース２２２の画像管理テーブルに登録する。また、グループ化部２１４は、画像フレームのグループ化処理が終了すると、その旨をキーフレーム決定部２１６に通知する。 As a result of the grouping process, the grouping unit 214 specifies information that uniquely identifies a group that is an image frame group to which the image frame belongs (hereinafter referred to as group unique identification information), and designates a representative frame. Information (hereinafter referred to as representative frame designation information) is registered in the image management table of the image management database 222 in association with the image frame identification information. Further, when the grouping process of image frames is completed, the grouping unit 214 notifies the key frame determination unit 216 to that effect.
キーフレーム決定部２１６は、グループ化された画像フレーム群の各代表フレームからキーフレームを決定する機能手段である。キーフレーム決定部２１６は、グループ化部２１４から画像フレームのグループ化処理が終了した旨の通知を受信すると、画像管理データベース２２２を参照し、画像データバッファ２２０から同一の画像フレーム群に属する画像フレームをＦＩＦＯ方式で取得する。そして、キーフレーム決定部２１６は、これらの画像フレームに含まれる描画画像を構成する画素の数である描画画像量を算出し、連続する３つの画像フレーム群の描画画像量を使用してキーフレームを判断する。 The key frame determination unit 216 is a functional unit that determines a key frame from each representative frame of the grouped image frames. When the key frame determination unit 216 receives a notification from the grouping unit 214 that the image frame grouping process has been completed, the key frame determination unit 216 refers to the image management database 222 and from the image data buffer 220 to the image frames belonging to the same image frame group. Is obtained by the FIFO method. Then, the key frame determination unit 216 calculates a drawing image amount that is the number of pixels constituting the drawing image included in these image frames, and uses the drawing image amounts of three consecutive image frame groups to generate a key frame. Judging.
本実施形態では、キーフレーム決定部２１６は、前景オブジェクト検出部２１２が特定した描画対象物１１０の領域について、輝度値が所定の閾値以下となる画素数をカウントし、画像フレーム群の描画画像量を算出する。本実施形態では、キーフレーム決定部２１６は、同一の画像フレーム群に含まれる複数の画像フレームを使用して描画画像量を算出し、その平均値、中央値または最頻値を、当該画像フレーム群の描画画像量とすることができる。これにより、光源の変更や画像の揺らぎ、描画対象物または撮影装置の振動等に起因する画像フレーム群間の描画画像量の増減によるキーフレームの誤検出を抑制することができ、キーフレームの検出精度を向上させることができる。 In the present embodiment, the key frame determination unit 216 counts the number of pixels whose luminance value is equal to or less than a predetermined threshold for the region of the drawing target 110 identified by the foreground object detection unit 212, and the amount of drawing image of the image frame group Is calculated. In the present embodiment, the key frame determination unit 216 calculates a drawing image amount using a plurality of image frames included in the same image frame group, and uses the average value, median value, or mode value as the image frame. It can be set as a drawing image amount of a group. As a result, it is possible to suppress erroneous detection of key frames due to increase or decrease in the amount of drawn images between groups of image frames due to changes in light sources, image fluctuations, vibrations of drawing objects or photographing devices, etc. Accuracy can be improved.
また、キーフレーム決定部２１６は、描画画像量を算出する場合、前景オブジェクト検出部２１２がＲＡＭやＨＤＤ等の記憶装置に保存した描画対象物１１０の領域の位置情報を読み出して、描画画像量を算出すべき画像フレームの領域を特定することができる。 Further, when calculating the drawing image amount, the key frame determination unit 216 reads the position information of the area of the drawing object 110 that the foreground object detection unit 212 has saved in a storage device such as a RAM or an HDD, and calculates the drawing image amount. The area of the image frame to be calculated can be specified.
他の実施形態では、キーフレーム決定部２１６は、前景オブジェクト検出部２１２が画像フレームに対して透視投影変換を施さない場合、キーフレームに対して透視投影変換を施して、台形補正や縦横比の補正、回転補正等の画像補正することができる。この場合、キーフレーム決定部２１６は、画像補正したキーフレームを画像データバッファ２２０に保存する。 In another embodiment, when the foreground object detection unit 212 does not perform the perspective projection conversion on the image frame, the key frame determination unit 216 performs the perspective projection conversion on the key frame, thereby correcting the keystone and the aspect ratio. Image correction such as correction and rotation correction can be performed. In this case, the key frame determination unit 216 stores the image-corrected key frame in the image data buffer 220.
キーフレーム決定部２１６は、キーフレーム決定処理の結果として、キーフレームであることを示す情報を当該キーフレームの画像フレーム識別情報に関連付けて、画像管理データベース２２２の画像管理テーブルに登録する。また、キーフレーム決定部２１６は、キーフレーム決定処理が終了すると、その旨を画像出力部２１８に通知する。 As a result of the key frame determination process, the key frame determination unit 216 registers information indicating a key frame in the image management table of the image management database 222 in association with the image frame identification information of the key frame. In addition, when the key frame determination process ends, the key frame determination unit 216 notifies the image output unit 218 to that effect.
画像出力部２１８は、キーフレームを表示装置に出力して表示させる機能手段である。画像出力部２１８は、キーフレーム決定部２１６からキーフレーム決定処理が終了した旨の通知を受信すると、画像管理データベース２２２を参照し、キーフレームの画像フレーム識別情報を取得する。そして、画像出力部２１８は、当該画像フレーム識別情報が示すキーフレームを画像データバッファ２２０からＦＩＦＯ方式で取得し、出力画像２４０として表示装置に送信して表示させる。 The image output unit 218 is a functional unit that outputs and displays a key frame on a display device. When the image output unit 218 receives a notification from the key frame determination unit 216 that the key frame determination process is completed, the image output unit 218 refers to the image management database 222 and acquires the image frame identification information of the key frame. Then, the image output unit 218 acquires the key frame indicated by the image frame identification information from the image data buffer 220 by the FIFO method, and transmits it as an output image 240 to the display device for display.
本実施形態では、画像出力部２１８は、画像処理装置１３０の表示装置にキーフレームを表示させるが、他の実施形態では、画像出力部２１８は、ネットワークを介して接続されたパーソナルコンピュータ等の情報処理装置の表示装置にキーフレームを表示させてもよい。 In the present embodiment, the image output unit 218 displays a key frame on the display device of the image processing apparatus 130, but in other embodiments, the image output unit 218 includes information such as a personal computer connected via a network. The key frame may be displayed on the display device of the processing device.
図３は、本実施形態の画像処理装置１３０が実行する処理を示すフローチャートである。図３は、本実施形態のプログラムが起動することによりステップＳ３００で開始する。ステップＳ３０１では、画像受信部２１０が撮影装置１２０から撮影画像を構成する画像フレームを受信したか否か判断し、画像フレームを受信していないと判断した場合には（ｎｏ）、ステップＳ３０１の処理を反復させる。一方、画像フレームを受信したと判断した場合には（ｙｅｓ）、処理をステップＳ３０２に分岐させる。 FIG. 3 is a flowchart illustrating processing executed by the image processing apparatus 130 according to the present embodiment. FIG. 3 starts in step S300 when the program of this embodiment is started. In step S301, the image receiving unit 210 determines whether or not an image frame constituting a captured image has been received from the image capturing device 120. If it is determined that no image frame has been received (no), the process of step S301 is performed. Is repeated. On the other hand, if it is determined that an image frame has been received (yes), the process branches to step S302.
ステップＳ３０２では、画像受信部２１０が、ステップＳ３０１で受信した画像フレームに画像フレーム識別情報を付加して、画像データバッファ２２０に格納する。ステップＳ３０３では、最初に画像フレームを受信した時点から一定時間が経過しているか否か判断し、一定時間が経過していない場合には（ｎｏ）、処理をステップＳ３０１に分岐させ、ステップＳ３０１〜Ｓ３０３の処理を反復させる。 In step S <b> 302, the image receiving unit 210 adds image frame identification information to the image frame received in step S <b> 301 and stores the image frame identification information in the image data buffer 220. In step S303, it is determined whether or not a predetermined time has elapsed since the time when the image frame was first received. If the predetermined time has not elapsed (no), the process branches to step S301, and steps S301 to S301 are performed. The process of S303 is repeated.
本実施形態では、画像処理装置１３０は、画像受信部２１０が画像フレームを最初に受信したときに、画像処理装置１３０のＯＳが管理するタイマー関数等を起動させ、画像フレームを画像データバッファ２２０に格納した後、当該タイマー関数が計測した時間を使用して、一定時間が経過しているか判断することができる。これにより、当該一定時間内に受信した一連の画像フレームに対して、後述する処理を実行することができる。なお、本実施形態では、当該一定時間は任意の時間とすることができる。 In the present embodiment, when the image receiving unit 210 first receives an image frame, the image processing device 130 activates a timer function or the like managed by the OS of the image processing device 130 and stores the image frame in the image data buffer 220. After storing, the time measured by the timer function can be used to determine whether a certain time has elapsed. As a result, the processing described later can be executed on a series of image frames received within the predetermined time. In the present embodiment, the certain time can be any time.
他の実施形態では、画像受信部２１０は、撮影装置から受信した画像フレームの数をカウントし、その数が一定数を超えたときに、ステップＳ３０４の処理を実行するようにしてもよい。これにより、一定数の画像フレームに対して、後述する処理を実行することができる。なお、本実施形態では、当該一定数は任意の数とすることができる。 In another embodiment, the image receiving unit 210 may count the number of image frames received from the imaging device, and execute the process of step S304 when the number exceeds a certain number. As a result, the processing described later can be executed on a certain number of image frames. In the present embodiment, the certain number can be an arbitrary number.
一方、ステップＳ３０３の判定で一定時間が経過したと判断した場合には（ｙｅｓ）、処理をステップＳ３０４に分岐させる。ステップＳ３０４では、前景オブジェクト検出部２１２が、撮影装置１２０から受信した画像フレームに対して、図５を参照して説明する前景オブジェクトの検出処理を実行する。ステップＳ３０５では、グループ化部２１４が、図６を参照して説明するグループ化処理を実行する。ステップＳ３０６では、キーフレーム決定部２１６が、図７を参照して説明するキーフレーム決定処理を実行する。 On the other hand, if it is determined in step S303 that the predetermined time has elapsed (yes), the process branches to step S304. In step S304, the foreground object detection unit 212 performs foreground object detection processing described with reference to FIG. 5 on the image frame received from the imaging device 120. In step S305, the grouping unit 214 executes a grouping process described with reference to FIG. In step S306, the key frame determination unit 216 executes key frame determination processing described with reference to FIG.
ステップＳ３０７では、画像出力部２１８が、ステップＳ３０６の処理で決定したキーフレームを表示装置に表示させる。そして、画像処理装置１３０は、処理をステップＳ３０１に戻し、次の一連の画像フレームに対して、上述した処理を実行する。 In step S307, the image output unit 218 causes the display device to display the key frame determined in the process of step S306. Then, the image processing apparatus 130 returns the processing to step S301, and executes the above-described processing for the next series of image frames.
図４は、本実施形態の画像処理装置１３０が、撮影装置１２０から受信した一連の画像フレームに対して施す前景オブジェクト検出処理、グループ化処理およびキーフレーム決定処理を示す概念図である。以下、図４を参照して、前景オブジェクト検出処理、グループ化処理およびキーフレーム決定処理について概説する。 FIG. 4 is a conceptual diagram illustrating foreground object detection processing, grouping processing, and key frame determination processing performed by the image processing apparatus 130 according to the present embodiment on a series of image frames received from the photographing apparatus 120. Hereinafter, the foreground object detection process, the grouping process, and the key frame determination process will be outlined with reference to FIG.
図４には、前景オブジェクトの検出処理が施される前の画像フレーム群４１０と、グループ化処理により前景オブジェクトが排除された画像フレーム群４３０と、グループ化処理によりグループ化された画像フレーム群４４０と、キーフレーム決定処理により抽出されたキーフレームから成る画像フレーム群４５０とが示されている。 FIG. 4 shows an image frame group 410 before the foreground object detection process is performed, an image frame group 430 from which the foreground object is excluded by the grouping process, and an image frame group 440 grouped by the grouping process. In addition, an image frame group 450 including key frames extracted by the key frame determination process is shown.
画像フレーム群４１０に含まれる画像フレーム４１１〜４２０は、それぞれ撮影装置１２０から受信した画像フレームであり、画像フレーム４１１から順に時系列に示されている。画像フレーム４１１は、描画対象物に描画画像が書き込まれていない画像フレームである。画像フレーム４１２，４１５，４１８は、前景オブジェクトが含まれる画像フレームである。画像フレーム４１３，４１４，４１６，４１７，４１９，４２０は、描画対象物に描画画像が書き込まれた画像フレームである。 The image frames 411 to 420 included in the image frame group 410 are image frames received from the imaging device 120, and are shown in time series in order from the image frame 411. The image frame 411 is an image frame in which a drawing image is not written on the drawing object. Image frames 412, 415 and 418 are image frames including a foreground object. The image frames 413, 414, 416, 417, 419, and 420 are image frames in which a drawing image is written on a drawing target.
図４に示す実施形態では、画像フレーム４１２に含まれる前景オブジェクトであるユーザが描画対象物に描画画像である文字列「あい」を書き込み、描画対象物は、画像フレーム４１３，４１４に示す状態になる。その後、画像フレーム４１５に含まれる前景オブジェクトであるユーザが文字「い」を消去して、描画対象物は、画像フレーム４１６，４１７に示す状態になる。さらに、画像フレーム４１８に含まれる前景オブジェクトであるユーザが描画画像である文字列「かさ」を書き込み、描画対象物は、画像フレーム４１９，４２０に示す状態になる。 In the embodiment shown in FIG. 4, the user who is the foreground object included in the image frame 412 writes the character string “ai” as the drawing image to the drawing object, and the drawing object is in the state shown in the image frames 413 and 414. Become. Thereafter, the user who is the foreground object included in the image frame 415 deletes the character “I”, and the drawing target is in a state shown in the image frames 416 and 417. Further, the user who is the foreground object included in the image frame 418 writes the character string “shade” which is the drawing image, and the drawing target is in the state shown in the image frames 419 and 420.
画像フレーム群４１０に対して前景オブジェクトの検出処理が実行されると、前景オブジェクトを含む画像フレーム４１２，４１５，４１８が検出される。そして、後続のグループ化処理において、前景オブジェクトが含まれない画像フレームで構成される画像フレーム群４３０に対してグループ化処理が実行され、画像フレーム群４４０に示すように、画像フレームが、同一の描画画像を有する画像フレームで構成される第１のグループ（ｎ番目のグループ）、第２のグループ（ｎ＋１番目のグループ）および第３のグループ（ｎ＋２番目のグループ）にグループ化される。そして、画像フレーム群４４０に対してキーフレーム決定処理が実行されると、グループ化された画像フレームから、画像フレーム群４５０に示すキーフレーム４１３，４１９が抽出される。 When the foreground object detection process is executed on the image frame group 410, image frames 412 415 418 including the foreground object are detected. Then, in the subsequent grouping process, the grouping process is performed on the image frame group 430 including the image frames that do not include the foreground object, and as shown in the image frame group 440, the image frames are the same. They are grouped into a first group (n-th group), a second group (n + 1-th group) and a third group (n + 2-th group) composed of image frames having drawn images. When key frame determination processing is executed for the image frame group 440, key frames 413 and 419 shown in the image frame group 450 are extracted from the grouped image frames.
図５は、本実施形態の画像処理装置１３０が実行する前景オブジェクト検出処理を示すフローチャートである。以下、図５を参照して、画像処理装置１３０の前景オブジェクト検出部２１２が実行する前景オブジェクト検出処理について詳細に説明する。 FIG. 5 is a flowchart showing foreground object detection processing executed by the image processing apparatus 130 of this embodiment. Hereinafter, the foreground object detection process executed by the foreground object detection unit 212 of the image processing apparatus 130 will be described in detail with reference to FIG.
図５の処理は、前景オブジェクト検出部２１２が画像受信部２１０から撮影画像を受信した旨の通知を受信することにより、ステップＳ５００から開始する。ステップＳ５０１では、前景オブジェクト検出部２１２は、画像データバッファ２２０に最初に格納された画像フレームを取得し、当該画像フレームの画像フレーム識別情報と、当該画像フレームのステータス情報として現在のフレームを示すステータス情報とを関連付けて画像管理データベース２２２に登録する。ステップＳ５０２では、前景オブジェクト検出部２１２は、画像管理データベース２２２を参照し、ステータス情報が現在のフレームとなっている画像フレームのステータス情報を、直前のフレームを示すステータス情報に変更する。ステップＳ５０３では、前景オブジェクト検出部２１２は、画像データバッファ２２０から次の画像フレームを取得し、当該画像フレームのステータス情報として、現在のフレームを示すステータス情報を画像管理データベース２２２に登録する。ステップＳ５０４では、前景オブジェクト検出部２１２は、直前フレームの比較領域と現在のフレームの比較領域との差分を算出し、差分の変化率を算出する。 The processing in FIG. 5 starts from step S500 when the foreground object detection unit 212 receives a notification that the captured image has been received from the image reception unit 210. In step S501, the foreground object detection unit 212 acquires the image frame that is first stored in the image data buffer 220, and displays the image frame identification information of the image frame and the status indicating the current frame as the status information of the image frame. The information is registered in the image management database 222 in association with the information. In step S502, the foreground object detection unit 212 refers to the image management database 222 and changes the status information of the image frame whose status information is the current frame to status information indicating the immediately preceding frame. In step S503, the foreground object detection unit 212 acquires the next image frame from the image data buffer 220, and registers status information indicating the current frame in the image management database 222 as status information of the image frame. In step S504, the foreground object detection unit 212 calculates the difference between the comparison area of the immediately preceding frame and the comparison area of the current frame, and calculates the change rate of the difference.
ステップＳ５０５では、前景オブジェクト検出部２１２は、差分の変化率が閾値を超えるか否か判断し、当該変化率が閾値を超える場合には（ｙｅｓ）、処理をステップＳ５０６に分岐させる。一方、当該変化率が閾値を超えない場合には（ｎｏ）、処理をステップＳ５０８に分岐させる。本実施形態では、当該閾値は、０〜１までの任意の値を設定することができるが、描画対象物の大きさや前景オブジェクトの大きさに応じて、トライアンドエラーで得られた変化率をもとに、当該閾値を設定することが好適である。 In step S505, the foreground object detection unit 212 determines whether or not the change rate of the difference exceeds the threshold value. If the change rate exceeds the threshold value (yes), the process branches to step S506. On the other hand, if the rate of change does not exceed the threshold (no), the process branches to step S508. In the present embodiment, the threshold can be set to any value from 0 to 1, but the change rate obtained by trial and error is determined according to the size of the drawing object and the size of the foreground object. On the basis of this, it is preferable to set the threshold value.
ステップＳ５０６では、前景オブジェクト検出部２１２は、現在の画像フレームおよび直前の画像フレームの平均輝度値を算出し、いずれの画像フレームに前景オブジェクトが含まれるかを特定する。ステップＳ５０７では、前景オブジェクト検出部２１２は、ステップＳ５０６で特定した画像フレームに前景オブジェクトが存在することを示す情報を画像管理データベース２２２に登録する。 In step S506, the foreground object detection unit 212 calculates the average luminance value of the current image frame and the previous image frame, and identifies which image frame includes the foreground object. In step S507, the foreground object detection unit 212 registers information indicating that the foreground object exists in the image frame specified in step S506 in the image management database 222.
ステップＳ５０８では、前景オブジェクト検出部２１２は、前景オブジェクトの検出処理がされていない画像フレームが画像データバッファ２２０に存在するか否か判断する。本実施形態では、前景オブジェクトの検出処理が実行されていない画像フレームが画像データバッファ２２０に存在するか否か判断することにより、前景オブジェクト検出処理を実行すべき画像フレームが存在するか否か判断することができる。具体的には、例えば、処理すべき画像フレームが格納されているアドレスを指定するポインタを、次の画像フレームが格納されるアドレスを指定するように、順次インクリメントさせることにより実現できる。 In step S508, the foreground object detection unit 212 determines whether or not there is an image frame in the image data buffer 220 that has not undergone foreground object detection processing. In the present embodiment, it is determined whether or not there is an image frame on which foreground object detection processing is to be performed by determining whether or not there is an image frame in the image data buffer 220 on which foreground object detection processing has not been performed. can do. Specifically, for example, it can be realized by sequentially incrementing a pointer that specifies an address at which an image frame to be processed is stored so as to specify an address at which the next image frame is stored.
ステップＳ５０８の判定で、処理すべき画像フレームが存在すると判断した場合には（ｙｅｓ）、ステップＳ５０２〜ステップＳ５０７の処理を反復させる。一方、当該画像フレームが存在しない場合には（ｎｏ）、処理をステップＳ５０９に分岐させ、前景オブジェクトの検出処理が終了した旨をグループ化部２１４に通知し、ステップＳ５１０で処理を終了させる。 If it is determined in step S508 that there is an image frame to be processed (yes), the processes in steps S502 to S507 are repeated. On the other hand, if the image frame does not exist (no), the process branches to step S509 to notify the grouping unit 214 that the foreground object detection process has ended, and the process ends in step S510.
図６は、本実施形態の画像処理装置１３０が実行するグループ化処理を示すフローチャートである。以下、図６を参照して、画像処理装置１３０のグループ化部２１４が実行するグループ化処理について詳細に説明する。 FIG. 6 is a flowchart showing the grouping process executed by the image processing apparatus 130 of this embodiment. Hereinafter, the grouping process executed by the grouping unit 214 of the image processing apparatus 130 will be described in detail with reference to FIG.
図６の処理は、グループ化部２１４が前景オブジェクト検出部２１２から前景オブジェクトの検出処理が終了した旨の通知を受信することにより、ステップＳ６００から開始する。ステップＳ６０１では、グループ化部２１４が、画像データバッファ２２０からＦＩＦＯ方式で１の画像フレームを取得する。ステップＳ６０２では、グループ化部２１４は、画像管理データベース２２２を参照して、ステップＳ６０１で取得した画像フレームに前景オブジェクトが存在するか否か判断し、前景オブジェクトが含まれる場合には（ｙｅｓ）、ステップＳ６０１およびＳ６０２の処理を反復させる。一方、前景オブジェクトが含まれない場合には（ｎｏ）、処理をステップＳ６０３に分岐させ、グループ化部２１４は、代表フレーム指定情報およびグループ識別情報を、当該画像フレームの画像フレーム識別情報に関連付けて画像管理データベース２２２に登録する。 The processing in FIG. 6 starts from step S600 when the grouping unit 214 receives a notification from the foreground object detection unit 212 that the foreground object detection processing has been completed. In step S601, the grouping unit 214 acquires one image frame from the image data buffer 220 using the FIFO method. In step S602, the grouping unit 214 refers to the image management database 222 to determine whether a foreground object exists in the image frame acquired in step S601. If the foreground object is included (yes), Steps S601 and S602 are repeated. On the other hand, if the foreground object is not included (no), the process branches to step S603, and the grouping unit 214 associates the representative frame designation information and the group identification information with the image frame identification information of the image frame. Register in the image management database 222.
ステップＳ６０４では、グループ化部２１４が、画像データバッファ２２０から次の画像フレームを取得し、当該画像フレームのステータス情報として、現在のフレームを示すステータス情報を画像管理データベース２２２に登録する。ステップＳ６０５では、グループ化部２１４は、画像管理データベース２２２を参照し、現在の画像フレームに前景オブジェクトが存在するか否か判断する。現在のフレームに前景オブジェクトが存在する場合には（ｙｅｓ）、ステップＳ６０４およびＳ６０５の処理を反復させる。一方、現在のフレームに前景オブジェクトが存在しない場合には（ｎｏ）、処理をステップＳ６０６に分岐させる。 In step S604, the grouping unit 214 acquires the next image frame from the image data buffer 220, and registers status information indicating the current frame in the image management database 222 as status information of the image frame. In step S605, the grouping unit 214 refers to the image management database 222 and determines whether a foreground object exists in the current image frame. If there is a foreground object in the current frame (yes), the processes in steps S604 and S605 are repeated. On the other hand, if there is no foreground object in the current frame (no), the process branches to step S606.
ステップＳ６０６では、グループ化部２１４は、画像管理データベース２２２を参照し、直前のフレームに前景オブジェクトが存在するか否か判断する。直前のフレームに前景オブジェクトが存在する場合には（ｙｅｓ）、処理をステップＳ６０７に分岐させ、一方、直前のフレームに前景オブジェクトが存在しない場合には（ｎｏ）、処理をステップＳ６０８に分岐させる。 In step S606, the grouping unit 214 refers to the image management database 222 and determines whether a foreground object exists in the immediately preceding frame. If a foreground object exists in the immediately preceding frame (yes), the process branches to step S607, whereas if no foreground object exists in the immediately preceding frame (no), the process branches to step S608.
ステップＳ６０７では、グループ化部２１４は、代表フレームの描画画像と現在のフレームの描画画像とが同一であるか否か判断し、これらの描画画像が同一であると判断した場合には（ｙｅｓ）、処理をステップＳ６０８に分岐させる。ステップＳ６０８では、グループ化部２１４は、現在のフレームのグループ識別情報として、代表フレームと同一のグループ識別情報を画像管理データベース２２２に登録する。 In step S607, the grouping unit 214 determines whether or not the drawing image of the representative frame and the drawing image of the current frame are the same, and if it is determined that these drawing images are the same (yes). The process is branched to step S608. In step S608, the grouping unit 214 registers the same group identification information as the representative frame in the image management database 222 as the group identification information of the current frame.
一方、ステップＳ６０７の判定で、代表フレームの描画画像と現在のフレームの描画画像とが相違すると判断した場合には（ｎｏ）、処理をステップＳ６０９に分岐させる。ステップＳ６０９では、グループ化部２１４は、現在のフレームのグループ識別情報および代表フレーム指定情報として、次のグループのグループ識別情報および代表フレーム指定情報を画像管理データベース２２２に登録する。 On the other hand, if it is determined in step S607 that the drawing image of the representative frame is different from the drawing image of the current frame (no), the process branches to step S609. In step S609, the grouping unit 214 registers the group identification information and representative frame designation information of the next group in the image management database 222 as group identification information and representative frame designation information of the current frame.
ステップＳ６１０では、グループ化部２１４は、グループ化すべき画像フレームが画像データバッファ２２０に存在するか否か判断する。本実施形態では、グループ化処理が実行されていない画像フレームが画像データバッファ２２０に存在するか否か判断することにより、グループ化すべき画像フレームが存在するか否か判断することができる。具体的には、例えば、グループ化処理を実行すべき画像フレームが格納されているアドレスを指定するポインタを、次の画像フレームが格納されるアドレスを指定するように、順次インクリメントさせることにより実現できる。 In step S610, the grouping unit 214 determines whether an image frame to be grouped exists in the image data buffer 220. In the present embodiment, it is possible to determine whether or not there is an image frame to be grouped by determining whether or not an image frame that has not been subjected to grouping processing exists in the image data buffer 220. Specifically, for example, it can be realized by sequentially incrementing a pointer that specifies an address at which an image frame to be subjected to grouping processing is stored so as to specify an address at which the next image frame is stored. .
ステップＳ６１０の判定で、画像フレームが存在すると判断した場合には（ｙｅｓ）、ステップＳ６０４〜ステップＳ６０９の処理を反復させる。一方、グループ化すべき画像フレームが存在しない場合には（ｎｏ）、処理をステップＳ６１１に分岐させ、画像フレームのグループ化処理が終了した旨をグループ化部２１４に通知し、ステップＳ６１２で処理を終了させる。 If it is determined in step S610 that an image frame is present (yes), the processes in steps S604 to S609 are repeated. On the other hand, if there is no image frame to be grouped (no), the process branches to step S611 to notify the grouping unit 214 that the image frame grouping process has ended, and the process ends in step S612. Let
図７は、本実施形態の画像処理装置１３０が実行するキーフレーム決定処理を示すフローチャートである。以下、図７を参照して、画像処理装置１３０のキーフレーム決定部２１６が実行するキーフレーム決定処理について詳細に説明する。 FIG. 7 is a flowchart illustrating a key frame determination process executed by the image processing apparatus 130 according to the present embodiment. Hereinafter, the key frame determination process executed by the key frame determination unit 216 of the image processing apparatus 130 will be described in detail with reference to FIG.
図７の処理は、キーフレーム決定部２１６がグループ化部２１４からグループ化処理が終了した旨の通知を受信することにより、ステップＳ７００から開始する。ステップＳ７０１では、キーフレーム決定部２１６は、画像管理データベース２２２を参照し、各画像フレームグループに含まれる画像フレームを画像データバッファ２２０から取得して、各画像フレームグループの描画画像量を算出し、画像管理データベース２２２に登録する。ステップＳ７０２では、キーフレーム決定部２１６は、第１のグループ、第２のグループ、第３のグループの代表フレームのステータス情報として、直前フレーム、現在のフレーム、直後フレームを示すステータス情報を画像管理データベース２２２に登録する。 The process of FIG. 7 starts from step S700 when the key frame determination unit 216 receives a notification from the grouping unit 214 that the grouping process is completed. In step S701, the key frame determination unit 216 refers to the image management database 222, acquires the image frames included in each image frame group from the image data buffer 220, calculates the drawing image amount of each image frame group, Register in the image management database 222. In step S702, the key frame determination unit 216 displays status information indicating the immediately preceding frame, the current frame, and the immediately following frame as the status information of the representative frames of the first group, the second group, and the third group. 222 is registered.
ステップＳ７０３では、キーフレーム決定部２１６は、画像管理データベース２２２を参照し、現在の画像フレームが属する画像フレームグループの描画画像量が直前フレームまたは直後フレームが属する画像フレームグループの描画画像量よりも大きいか否か判断する。ステップＳ７０３の判定で、現在の画像フレームが属する画像フレームグループの描画画像量が直前フレームまたは直後フレームが属する画像フレームグループの描画画像量よりも大きい場合には（ｙｅｓ）、処理をステップＳ７０４に分岐させる。一方、現在の画像フレームが属する画像フレームグループの描画画像量が、直前フレームまたは直後フレームが属する画像フレームグループの描画画像量以下である場合には（ｎｏ）、ステップＳ７０２およびＳ７０３の処理を反復させる。 In step S <b> 703, the key frame determination unit 216 refers to the image management database 222, and the drawn image amount of the image frame group to which the current image frame belongs is larger than the drawn image amount of the image frame group to which the immediately preceding frame or immediately following frame belongs. Determine whether or not. If it is determined in step S703 that the drawn image amount of the image frame group to which the current image frame belongs is larger than the drawn image amount of the image frame group to which the immediately preceding frame or the immediately following frame belongs (yes), the process branches to step S704. Let On the other hand, when the drawing image amount of the image frame group to which the current image frame belongs is equal to or less than the drawing image amount of the image frame group to which the immediately preceding frame or the immediately following frame belongs (no), the processes in steps S702 and S703 are repeated. .
ステップＳ７０４では、キーフレーム決定部２１６は、現在のフレームがキーフレームであることを示す情報を画像管理データベース２２２に登録する。ステップＳ７０５では、キーフレーム決定部２１６は、画像管理データベース２２２を参照して、処理すべき代表フレームが存在するか否か判断する。本実施形態では、未だステータス情報が設定されていない代表フレームが画像管理データベース２２２に存在するか否か判断することにより、次に処理すべき代表フレームが存在するか否か判断することができる。 In step S <b> 704, the key frame determination unit 216 registers information indicating that the current frame is a key frame in the image management database 222. In step S705, the key frame determination unit 216 refers to the image management database 222 and determines whether there is a representative frame to be processed. In this embodiment, it is possible to determine whether or not there is a representative frame to be processed next by determining whether or not a representative frame for which status information is not yet set exists in the image management database 222.
ステップＳ７０５の判定で処理すべき代表フレームが存在すると判断した場合には（ｙｅｓ）、処理をステップＳ７０６に分岐させる。ステップＳ７０６では、キーフレーム決定部２１６が、現在のフレーム、直後フレーム、直後フレームの次の代表フレームのステータス情報を、直前フレーム、現在のフレーム、直後フレームとして画像管理データベース２２２に登録し、ステップＳ７０２〜Ｓ７０５の処理を反復させる。一方、ステップＳ７０５の判定で処理すべき代表フレームが存在しないと判断した場合には（ｎｏ）、処理をステップＳ７０７に分岐させ、画像出力部２１８にキーフレームの決定処理が終了した旨を通知し、ステップＳ７０８で処理を終了させる。 If it is determined in step S705 that there is a representative frame to be processed (yes), the process branches to step S706. In step S706, the key frame determination unit 216 registers the status information of the next representative frame after the current frame, the immediately following frame, and the immediately following frame in the image management database 222 as the immediately preceding frame, the current frame, and the immediately following frame, and step S702. The process of ~ S705 is repeated. On the other hand, if it is determined in step S705 that there is no representative frame to be processed (no), the process branches to step S707, and the image output unit 218 is notified that the key frame determination processing has ended. In step S708, the process is terminated.
本実施形態では、前景オブジェクトが含まれていない画像フレームから代表フレームを決定し、当該代表フレームからキーフレームを決定するため、前景オブジェクトが含まれた不要なキーフレームを排除することができ、キーフレームの取得処理の精度を向上させ、本来取得すべきキーフレームのみを確実に取得できる。 In this embodiment, since the representative frame is determined from the image frame that does not include the foreground object, and the key frame is determined from the representative frame, an unnecessary key frame that includes the foreground object can be eliminated, The accuracy of the frame acquisition process can be improved, and only key frames that should be originally acquired can be acquired reliably.
図８は、本実施形態の画像処理装置１３０に含まれる画像管理データベース２２２に登録される画像管理テーブルの実施形態を示す図である。以下、図８を参照して、前景オブジェクトの検出処理時の画像管理テーブル８００について説明する。 FIG. 8 is a diagram showing an embodiment of an image management table registered in the image management database 222 included in the image processing apparatus 130 of this embodiment. Hereinafter, the image management table 800 at the time of foreground object detection processing will be described with reference to FIG.
画像管理テーブル８００は、画像フレーム識別情報８１０と、ステータス情報８２０と、前景オブジェクト８３０と、グループ識別情報８４０と、代表フレーム８５０と、キーフレーム８６０と、描画画像量８７０とが登録されるレコードを含む。画像フレーム識別情報８１０は、画像処理装置１３０が撮影装置１２０から取得した画像フレームに割り当てられた画像フレーム識別情報が登録されるレコードである。図８に示す実施形態では、画像フレーム識別情報として「frame_001」等の文字および数字の結合が登録されているが、他の実施形態では、画像フレームを固有に識別できる限り、その他の文字列もしくは数字列またはこれらの結合等を画像フレーム識別情報として使用することができる。 The image management table 800 includes records in which image frame identification information 810, status information 820, foreground object 830, group identification information 840, representative frame 850, key frame 860, and drawn image amount 870 are registered. Including. The image frame identification information 810 is a record in which image frame identification information assigned to an image frame acquired by the image processing apparatus 130 from the imaging apparatus 120 is registered. In the embodiment shown in FIG. 8, a combination of characters and numbers such as “frame_001” is registered as the image frame identification information. However, in other embodiments, as long as the image frame can be uniquely identified, other character strings or A numeric string or a combination thereof can be used as image frame identification information.
ステータス情報８２０は、前景オブジェクトの検出処理における画像フレームのステータス情報が登録されるレコードである。前景オブジェクトの検出処理では、直前のフレームおよび現在のフレームを示すステータス情報がステータス情報８２０に登録される。図８に示す実施形態では、ステータス情報として、直前のフレームを示すステータス情報である「Pre_frame」と、現在のフレームを示すステータス情報である「Current_frame」とが、画像フレーム識別情報に関連付けて登録される。他の実施形態では、その他の文字列もしくは数字列またはこれらの結合等をステータス情報として使用することができる。 The status information 820 is a record in which status information of an image frame in the foreground object detection process is registered. In the foreground object detection process, status information indicating the immediately preceding frame and the current frame is registered in the status information 820. In the embodiment shown in FIG. 8, “Pre_frame”, which is status information indicating the immediately preceding frame, and “Current_frame”, which is status information indicating the current frame, are registered in association with the image frame identification information. The In other embodiments, other character strings or numeric strings or combinations thereof may be used as status information.
前景オブジェクト８３０は、画像フレームに前景オブジェクトが含まれるか否かを示す情報が登録されるレコードである。図８に示す実施形態では、前景オブジェクトが含まれることを示す情報である「ＴＲＵＥ」および前景オブジェクトが含まれないことを示す情報である「ＦＡＬＳＥ」が、画像フレーム識別情報に関連付けて登録される。他の実施形態では、その他の文字列もしくは数字列またはこれらの結合等を使用して、前景オブジェクトの有無を指定することができる。 The foreground object 830 is a record in which information indicating whether or not a foreground object is included in the image frame is registered. In the embodiment shown in FIG. 8, “TRUE”, which is information indicating that the foreground object is included, and “FALSE”, which is information indicating that the foreground object is not included, are registered in association with the image frame identification information. . In other embodiments, the presence or absence of foreground objects can be specified using other character strings or numeric strings, or combinations thereof.
図９は、本実施形態の画像処理装置１３０に含まれる画像管理データベース２２２に登録される画像管理テーブルの他の実施形態を示す図である。図９に示す画像管理テーブル９００は、図８に示す画像管理テーブル８００を使用して、画像フレームのグループ化処理を実行した場合の画像管理テーブルである。以下、図９を参照して、画像管理デーブル９００について、画像管理テーブル８００との相違点を中心に説明する。 FIG. 9 is a diagram showing another embodiment of the image management table registered in the image management database 222 included in the image processing apparatus 130 of this embodiment. An image management table 900 shown in FIG. 9 is an image management table when the image frame grouping process is executed using the image management table 800 shown in FIG. Hereinafter, with reference to FIG. 9, the image management table 900 will be described focusing on differences from the image management table 800. FIG.
画像管理テーブル９００は、画像管理テーブル８００と同様に、画像フレーム識別情報９１０と、ステータス情報９２０と、前景オブジェクト９３０と、グループ識別情報９４０と、代表フレーム９５０と、キーフレーム９６０と、描画画像量９７０とが登録されるレコードを含む。 Similar to the image management table 800, the image management table 900 includes image frame identification information 910, status information 920, foreground object 930, group identification information 940, a representative frame 950, a key frame 960, and a drawing image amount. 970 is registered.
グループ識別情報９４０は、グループ化処理において、画像フレームの属するグループのグループ識別情報が登録されるレコードである。図９に示す実施形態では、グループ識別情報「group_0001」、「group_0002」、「group_0003」、「group_0004」等が、画像フレーム識別情報に関連付けて登録される。他の実施形態では、画像フレームのグループを固有に識別できる限り、グループ識別情報として、その他の文字列もしくは数字列またはこれらの結合等を使用することができる。なお、本実施形態では、当該レコードの初期値として「ＮＵＬＬ」が使用される。 The group identification information 940 is a record in which group identification information of a group to which an image frame belongs is registered in the grouping process. In the embodiment shown in FIG. 9, group identification information “group_0001”, “group_0002”, “group_0003”, “group_0004”, and the like are registered in association with image frame identification information. In other embodiments, as long as a group of image frames can be uniquely identified, other character strings or numeric strings or combinations thereof can be used as group identification information. In the present embodiment, “NULL” is used as the initial value of the record.
代表フレーム９５０は、グループ化処理において、関連する画像フレームが、当該画像フレームの属するグループの代表フレームであるか否かを示す代表フレーム指定情報が登録されるレコードである。図９に示す実施形態では、代表フレームであることを示す代表フレーム指定情報である「ＴＲＵＥ」と、代表フレームでないことを示す代表フレーム指定情報である「ＦＡＬＳＥ」とが、画像フレーム識別情報に関連付けて登録される。他の実施形態では、代表フレーム指定情報として、その他の文字列もしくは数字列またはこれらの結合等を使用することができる。なお、本実施形態では、当該レコードの初期値として「ＮＵＬＬ」が使用される。 The representative frame 950 is a record in which representative frame designation information indicating whether a related image frame is a representative frame of a group to which the image frame belongs is registered in the grouping process. In the embodiment shown in FIG. 9, “TRUE”, which is representative frame designation information indicating that it is a representative frame, and “FALSE”, which is representative frame designation information indicating that it is not a representative frame, are associated with image frame identification information. Registered. In other embodiments, other character strings or numeric strings, or a combination thereof can be used as the representative frame designation information. In the present embodiment, “NULL” is used as the initial value of the record.
図１０は、本実施形態の画像処理装置１３０に含まれる画像管理データベース２２２に登録される画像管理テーブルのさらに他の実施形態を示す図である。図１０に示す画像管理テーブル１０００は、図９に示す画像管理テーブル９００を使用して、キーフレーム決定処理を実行した場合の画像管理テーブルである。以下、図１０を参照して、画像管理デーブル１０００について、画像管理テーブル８００および９００との相違点を中心に説明する。 FIG. 10 is a diagram showing still another embodiment of the image management table registered in the image management database 222 included in the image processing apparatus 130 of the present embodiment. An image management table 1000 shown in FIG. 10 is an image management table when the key frame determination process is executed using the image management table 900 shown in FIG. Hereinafter, with reference to FIG. 10, the image management table 1000 will be described focusing on differences from the image management tables 800 and 900.
画像管理テーブル１０００は、画像管理テーブル８００および９００と同様に、画像フレーム識別情報１０１０と、ステータス情報１０２０と、前景オブジェクト１０３０と、グループ識別情報１０４０と、代表フレーム１０５０と、キーフレーム１０６０と、描画画像量１０７０とが登録されるレコードを含む。 Similar to the image management tables 800 and 900, the image management table 1000 includes image frame identification information 1010, status information 1020, foreground object 1030, group identification information 1040, representative frame 1050, key frame 1060, drawing It includes a record in which an image amount 1070 is registered.
ステータス情報１０２０は、キーフレーム決定処理における画像フレームのステータス情報が登録されるレコードである。キーフレーム決定処理では、直前のフレーム、現在のフレームおよび直後のフレームを示すステータス情報がステータス情報１０２０に登録される。図１０に示す実施形態では、ステータス情報として、直前のフレームを示すステータス情報である「Pre_frame」と、現在のフレームを示すステータス情報である「Current_frame」と、直後のフレームを示すステータス情報である「Post_frame」とが、画像フレーム識別情報に関連付けて登録される。他の実施形態では、その他の文字列もしくは数字列またはこれらの結合等をステータス情報として使用することができる。 Status information 1020 is a record in which status information of an image frame in key frame determination processing is registered. In the key frame determination process, status information indicating the immediately preceding frame, the current frame, and the immediately following frame is registered in the status information 1020. In the embodiment shown in FIG. 10, as status information, “Pre_frame” that is status information indicating the immediately preceding frame, “Current_frame” that is status information indicating the current frame, and status information that is indicating the immediately following frame “ “Post_frame” is registered in association with the image frame identification information. In other embodiments, other character strings or numeric strings or combinations thereof may be used as status information.
キーフレーム１０６０は、キーフレーム決定処理において、キーフレームであるか否かを示す情報が登録されるレコードである。図１０に示す実施形態では、キーフレームであることを示す「ＴＲＵＥ」およびキーフレームでないことを示す「ＦＡＬＳＥ」が、画像フレーム識別情報に関連付けて登録される。他の実施形態では、その他の文字列もしくは数字列またはこれらの結合等を使用して、代表フレームを指定することができる。なお、本実施形態では、当該レコードの初期値として「ＮＵＬＬ」が使用される。 The key frame 1060 is a record in which information indicating whether or not it is a key frame in the key frame determination process is registered. In the embodiment shown in FIG. 10, “TRUE” indicating that it is a key frame and “FALSE” indicating that it is not a key frame are registered in association with the image frame identification information. In other embodiments, the representative frame can be designated using other character strings or numeric strings, or combinations thereof. In the present embodiment, “NULL” is used as the initial value of the record.
描画画像量１０７０は、キーフレーム決定処理において、画像フレーム群の描画画像量が登録されるレコードである。図１０に示す実施形態では、画像フレーム群の描画画像量が、当該代表フレームの画像フレーム識別情報に関連付けて登録される。 The drawn image amount 1070 is a record in which the drawn image amount of the image frame group is registered in the key frame determination process. In the embodiment shown in FIG. 10, the drawing image amount of the image frame group is registered in association with the image frame identification information of the representative frame.
これまで本実施形態につき説明してきたが、本発明は、上述した実施形態に限定されるものではなく、他の実施形態、追加、変更、削除など、当業者が想到することができる範囲内で変更することができ、いずれの態様においても本発明の作用・効果を奏する限り、本発明の範囲に含まれるものである。 Although the present embodiment has been described so far, the present invention is not limited to the above-described embodiment, and other embodiments, additions, changes, deletions, and the like can be conceived by those skilled in the art. It can be changed, and any aspect is within the scope of the present invention as long as the effects and effects of the present invention are exhibited.
１００…画像処理システム、１１０…描画対象物、１１２…描画画像、１２０…撮影装置、１３０…画像処理装置、１３２…撮影対象領域、２００…機能構成、２１０…画像受信部、２１２…前景オブジェクト検出部、２１４…グループ化部、２１６…キーフレーム決定部、２１８…画像出力部、２２０…画像データバッファ、２２２…画像管理データベース、２３０…撮影画像、２４０…出力画像 DESCRIPTION OF SYMBOLS 100 ... Image processing system, 110 ... Drawing object, 112 ... Drawing image, 120 ... Shooting device, 130 ... Image processing device, 132 ... Shooting target area, 200 ... Functional structure, 210 ... Image receiving part, 212 ... Foreground object detection , 214 ... Grouping part, 216 ... Key frame determination part, 218 ... Image output part, 220 ... Image data buffer, 222 ... Image management database, 230 ... Photographed image, 240 ... Output image
Claims (14)
前記画像処理装置は、
撮影画像を構成する複数の画像フレームから前景オブジェクトが含まれる画像フレームを検出する前景オブジェクト検出手段と、
前記複数の画像フレームを、同一の描画画像を有し、且つ前景オブジェクトが含まれない画像フレーム群にグループ化して、前記画像フレーム群を代表する画像フレームである代表フレームを決定するグループ化手段と、
表示装置に表示すべき画像フレームであるキーフレームを前記代表フレームから決定するキーフレーム決定手段と
を含む画像処理装置。 An image processing apparatus for processing a captured image,
The image processing apparatus includes:
Foreground object detection means for detecting an image frame including a foreground object from a plurality of image frames constituting a captured image;
Grouping means for grouping the plurality of image frames into an image frame group having the same drawn image and not including a foreground object, and determining a representative frame which is an image frame representing the image frame group; ,
An image processing apparatus comprising: key frame determination means for determining, from the representative frame, a key frame that is an image frame to be displayed on a display device.
前記キーフレーム決定手段は、連続する３の画像フレーム群の画像フレーム群の描画画像量を算出してキーフレームを決定する、請求項１に記載の画像処理装置。 The foreground object detecting means calculates a change rate of a difference for a comparison region between two consecutive image frames, and determines whether or not a foreground object is included in the image frame;
The image processing apparatus according to claim 1, wherein the key frame determining unit determines a key frame by calculating a drawing image amount of an image frame group of three consecutive image frame groups.
前記撮影画像を構成する複数の画像フレームが格納される画像データバッファと、
前記画像フレームを管理するための画像管理データベースと、
前記キーフレームを前記表示装置に出力する出力手段とをさらに含み、
前記画像管理データベースは、画像フレーム内の前景オブジェクトの有無を示す情報と、代表フレームであることを示す情報と、キーフレームであることを示す情報とが、画像フレームの識別情報に関連付けて登録され、
前記出力手段は、前記画像管理データベースを参照し、前記キーフレームである画像フレームの識別情報が示す画像フレームを前記画像データバッファから取得して前記表示装置に出力する、請求項１または２に記載の画像処理装置。 The image processing apparatus includes:
An image data buffer storing a plurality of image frames constituting the captured image;
An image management database for managing the image frames;
Output means for outputting the key frame to the display device,
In the image management database, information indicating the presence / absence of a foreground object in an image frame, information indicating a representative frame, and information indicating a key frame are registered in association with image frame identification information. ,
The said output means refers to the said image management database, acquires the image frame which the identification information of the image frame which is the said key frame shows from the said image data buffer, and outputs it to the said display apparatus. Image processing apparatus.
描画対象物を撮影して撮影画像を生成する撮影装置と、
前記撮影画像を処理する画像処理装置とを含み、前記画像処理装置は、
前記撮影画像を構成する複数の画像フレームから前景オブジェクトが含まれる画像フレームを検出する前景オブジェクト検出手段と、
前記複数の画像フレームを、同一の描画画像を有し、且つ前景オブジェクトが含まれない画像フレーム群にグループ化して、前記画像フレーム群を代表する画像フレームである代表フレームを決定するグループ化手段と、
表示装置に表示すべき画像フレームであるキーフレームを前記代表フレームから決定するキーフレーム決定手段と
を含む画像処理システム。 An image processing system for processing a captured image, wherein the image processing system includes:
A photographing device for photographing a drawing object and generating a photographed image;
An image processing device that processes the captured image, and the image processing device includes:
Foreground object detection means for detecting an image frame including a foreground object from a plurality of image frames constituting the captured image;
Grouping means for grouping the plurality of image frames into an image frame group having the same drawn image and not including a foreground object, and determining a representative frame which is an image frame representing the image frame group; ,
An image processing system comprising: key frame determination means for determining a key frame, which is an image frame to be displayed on a display device, from the representative frame.
前記キーフレーム決定手段は、連続する３の画像フレーム群の画像フレーム群の描画画像量を算出してキーフレームを決定する、請求項７に記載の画像処理システム。 The foreground object detecting means calculates a change rate of a difference for a comparison region between two consecutive image frames, and determines whether or not a foreground object is included in the image frame;
The image processing system according to claim 7, wherein the key frame determining unit determines a key frame by calculating a drawing image amount of an image frame group of three consecutive image frame groups.
前記撮影画像を構成する複数の画像フレームが格納される画像データバッファと、
前記画像フレームを管理するための画像管理データベースと、
前記キーフレームを前記表示装置に出力する出力手段とをさらに含み、
前記画像管理データベースは、画像フレーム内の前景オブジェクトの有無を示す情報と、代表フレームであることを示す情報と、キーフレームであることを示す情報とが、画像フレームの識別情報に関連付けて登録され、
前記出力手段は、前記画像管理データベースを参照し、キーフレームである画像フレームの識別情報が示す画像フレームを前記画像データバッファから取得して、前記表示装置に出力する、請求項７または８に記載の画像処理システム。 The image processing apparatus includes:
An image data buffer storing a plurality of image frames constituting the captured image;
An image management database for managing the image frames;
Output means for outputting the key frame to the display device,
In the image management database, information indicating the presence / absence of a foreground object in an image frame, information indicating a representative frame, and information indicating a key frame are registered in association with image frame identification information. ,
The output means refers to the image management database, acquires an image frame indicated by identification information of an image frame that is a key frame from the image data buffer, and outputs the acquired image frame to the display device. Image processing system.
撮影画像を構成する複数の画像フレームから前景オブジェクトが含まれる画像フレームを検出するステップと、
前記複数の画像フレームを、同一の描画画像を有し、且つ前景オブジェクトが含まれない画像フレーム群にグループ化して、前記画像フレーム群を代表する画像フレームである代表フレームを決定するステップと、
前記代表フレームから、表示装置に表示すべき画像フレームであるキーフレームを決定するステップと
を実行するデータ処理方法。 A data processing method executed by an image processing apparatus that processes a captured image, wherein the image processing apparatus includes:
Detecting an image frame including a foreground object from a plurality of image frames constituting a captured image;
Grouping the plurality of image frames into an image frame group having the same drawing image and not including a foreground object, and determining a representative frame that is an image frame representing the image frame group;
Determining a key frame, which is an image frame to be displayed on a display device, from the representative frame.
前記キーフレームを決定するステップは、連続する３の画像フレーム群の画像フレーム群の描画画像量を算出してキーフレームを決定するステップを含む、請求項１０に記載のデータ処理方法。 The step of detecting an image frame including the foreground object includes a step of calculating a change rate of a difference for a comparison region between two consecutive image frames and determining whether or not the foreground object is included in the image frame. ,
The data processing method according to claim 10, wherein the step of determining the key frame includes a step of determining a key frame by calculating a drawing image amount of an image frame group of three consecutive image frame groups.
前記撮影画像を構成する複数の画像フレームが格納される画像データバッファと、
画像フレーム内の前景オブジェクトの有無を示す情報と、代表フレームであることを示す情報と、キーフレームであることを示す情報とが、画像フレームの識別情報に関連付けて登録される画像管理データベースとを含み、
前記データ処理方法は、前記画像処理装置が、
前記画像管理データベースを参照し、キーフレームである画像フレームの識別情報が示す画像フレームを前記画像データバッファから取得して、前記表示装置に出力するステップをさらに含む、請求項１０または１１に記載のデータ処理方法。 The image processing apparatus includes:
An image data buffer storing a plurality of image frames constituting the captured image;
An image management database in which information indicating the presence or absence of a foreground object in an image frame, information indicating a representative frame, and information indicating a key frame is registered in association with image frame identification information. Including
In the data processing method, the image processing apparatus includes:
12. The method according to claim 10, further comprising: referring to the image management database, obtaining an image frame indicated by identification information of an image frame that is a key frame from the image data buffer, and outputting the image frame to the display device. Data processing method.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010099548A JP5569120B2 (en) | 2010-04-23 | 2010-04-23 | Image processing apparatus, image processing system, data processing method, program, and recording medium |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010099548A JP5569120B2 (en) | 2010-04-23 | 2010-04-23 | Image processing apparatus, image processing system, data processing method, program, and recording medium |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2011229101A true JP2011229101A (en) | 2011-11-10 |
| JP5569120B2 JP5569120B2 (en) | 2014-08-13 |
Family
ID=45043924
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2010099548A Expired - Fee Related JP5569120B2 (en) | 2010-04-23 | 2010-04-23 | Image processing apparatus, image processing system, data processing method, program, and recording medium |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5569120B2 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111262874A (en) * | 2020-01-21 | 2020-06-09 | 北京梦想加信息技术有限公司 | Writing board information sharing method and system and writing board |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH06309381A (en) * | 1993-04-20 | 1994-11-04 | Ibm Japan Ltd | Moving image processor |
| JPH11308623A (en) * | 1998-04-24 | 1999-11-05 | Sony Corp | Image processor |
| JP2000059720A (en) * | 1998-08-05 | 2000-02-25 | Hitachi Ltd | Display and editing device for continuous media information, display and edit method for the continuous media information and recording medium recorded with its processing procedure |
| JP2005197883A (en) * | 2004-01-05 | 2005-07-21 | Fuji Xerox Co Ltd | Writing analysis apparatus |
| JP2007166245A (en) * | 2005-12-14 | 2007-06-28 | Tokyo Institute Of Technology | Image processor, image processing program, and image processing method |
| JP2009193569A (en) * | 2008-01-18 | 2009-08-27 | Nikon Corp | Image display and image display program |
-
2010
- 2010-04-23 JP JP2010099548A patent/JP5569120B2/en not_active Expired - Fee Related
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH06309381A (en) * | 1993-04-20 | 1994-11-04 | Ibm Japan Ltd | Moving image processor |
| JPH11308623A (en) * | 1998-04-24 | 1999-11-05 | Sony Corp | Image processor |
| JP2000059720A (en) * | 1998-08-05 | 2000-02-25 | Hitachi Ltd | Display and editing device for continuous media information, display and edit method for the continuous media information and recording medium recorded with its processing procedure |
| JP2005197883A (en) * | 2004-01-05 | 2005-07-21 | Fuji Xerox Co Ltd | Writing analysis apparatus |
| JP2007166245A (en) * | 2005-12-14 | 2007-06-28 | Tokyo Institute Of Technology | Image processor, image processing program, and image processing method |
| JP2009193569A (en) * | 2008-01-18 | 2009-08-27 | Nikon Corp | Image display and image display program |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111262874A (en) * | 2020-01-21 | 2020-06-09 | 北京梦想加信息技术有限公司 | Writing board information sharing method and system and writing board |
Also Published As
| Publication number | Publication date |
|---|---|
| JP5569120B2 (en) | 2014-08-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4957922B2 (en) | Image direction determination apparatus, image direction determination method, and image direction determination program | |
| CN105765628B (en) | The method and system that depth map generates | |
| US10397472B2 (en) | Automatic detection of panoramic gestures | |
| JP2011134114A (en) | Pattern recognition method and pattern recognition apparatus | |
| WO2022156167A1 (en) | Image processing method and apparatus, and electronic device, computer-readable storage medium, computer program and program product | |
| JP7210908B2 (en) | Information processing device, information processing method and program | |
| WO2020171379A1 (en) | Capturing a photo using a mobile device | |
| JP2014038429A (en) | Image processor, image processing method and image processing program | |
| US20190005323A1 (en) | Information processing apparatus for tracking processing | |
| JP2016123044A (en) | Subject tracking device, and control method and program therefor | |
| WO2022111461A1 (en) | Recognition method and apparatus, and electronic device | |
| JP6950644B2 (en) | Attention target estimation device and attention target estimation method | |
| JP5569120B2 (en) | Image processing apparatus, image processing system, data processing method, program, and recording medium | |
| JP7312026B2 (en) | Image processing device, image processing method and program | |
| CN111402391A (en) | User face image display method, display device and corresponding storage medium | |
| JP2017162179A (en) | Information processing apparatus, information processing method, and program | |
| JP2015032256A (en) | Image processing device and database construction device therefor | |
| CN107578006B (en) | Photo processing method and mobile terminal | |
| JP2020072349A (en) | Image processing device and image processing method | |
| CN110717452A (en) | Image recognition method, device, terminal and computer readable storage medium | |
| JP6467994B2 (en) | Image processing program, image processing apparatus, and image processing method | |
| TWI537877B (en) | Method for detecting skin tone and skin tone detection system | |
| JP2017028407A (en) | Program, device and method for imaging instruction | |
| JP2019185662A (en) | Body orientation estimating program, body orientation estimating device, and body orientation estimating method | |
| CN111126113A (en) | Method and device for processing face image |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130206 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20131021 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20131105 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20131219 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140527 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140609 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 5569120 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| LAPS | Cancellation because of no payment of annual fees |