JP2018045693A - 動画像背景除去方法及び動画像背景除去システム - Google Patents
動画像背景除去方法及び動画像背景除去システム Download PDFInfo
- Publication number
- JP2018045693A JP2018045693A JP2017175230A JP2017175230A JP2018045693A JP 2018045693 A JP2018045693 A JP 2018045693A JP 2017175230 A JP2017175230 A JP 2017175230A JP 2017175230 A JP2017175230 A JP 2017175230A JP 2018045693 A JP2018045693 A JP 2018045693A
- Authority
- JP
- Japan
- Prior art keywords
- color
- image
- moving image
- target object
- frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/215—Motion-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
- G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
- G11B27/036—Insert-editing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/79—Processing of colour television signals in connection with recording
- H04N9/87—Regeneration of colour television signals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Signal Processing (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Studio Circuits (AREA)
Abstract
【解決手段】1つの動的映像におけるある動画像オブジェクトを映像から取り出すことを目的とする動画像背景除去方法及び動画像背景除去システムを提供する。先ず映像から複数のフレーム画像を取得して画像処理した後、各フレームの画像特徴を識別し、画像を色彩領域として処理した後、各色彩領域における各画素値の前後のフレームにおける変化量を比較し、各色彩領域の変化量を形成し、前後のフレームの各色彩領域の変化量に基づいて同様に動画像の目標物体を決定すると共に、目標物体の輪郭を取得し、目標物体以外の色彩領域を透明領域として設定した後、背景を除去した目標物体を生成する。
【選択図】図6
Description
101、101'、101" 物体
103 レンガ
105 間隙
107 透明画像
20、20' 映像
201 物体
203 背景
217 背景
211、211a、211b、211c、212、213、214、215、216 色彩領域
211' 目標物体
212' 回復的背景色彩領域
301 画素
31、32、33 色彩領域
311、312 境界線
41、42、43、44、45、46、401、402、403、404 色彩領域
51 記憶装置
50 コンピュータシステム
501 メモリユニット
503 処理ユニット
505 入力ユニット
507 出力ユニット
52 画像オブジェクトデータベース
80 コンピュータ装置
81 第1の色彩領域
83 第2の色彩領域
85 第3の色彩領域
81' 変更後の第1の色彩領域
85' 増加後の第3の色彩領域
ステップS601〜S611 動画像背景除去フロー
ステップS701〜S713 動画像背景除去フロー
ステップS901〜S907 動画像背景除去フロー
Claims (10)
- 記憶装置から映像を取得する工程と、
前記映像から複数のフレーム画像を取り出し、各フレーム画像をコンピュータシステムのメモリに一時保存する工程と、
各前記フレームの画像特徴を分析し、各前記フレームにおける隣接する画素の関係を取得する工程と、
各前記フレーム画像における前記画像特徴に基づいて各前記フレーム画像を識別データがそれぞれ設けられる複数の色彩領域に区分けし、各色彩領域を所属の色彩領域にそれぞれ関連する識別データを有する複数の画素値が記憶される前記メモリに記憶する工程と、
各前記色彩領域における各前記画素値の前後のフレームにおける変化量を比較して、各前記色彩領域の変化量を形成する工程と、
前記前後のフレームの各前記色彩領域の変化量に基づいて目標物体を決定し、前記目標物体に含まれる1つの前記色彩領域又は隣接する複数の前記色彩領域を取得し、各前記フレームにおける前記目標物体に含まれる1つの又は複数の前記色彩領域の前記識別データを併せて前記メモリに記憶する工程と、
前記目標物体以外の前記色彩領域を透明領域として設定する工程と、
を含むことを特徴とする動画像背景除去方法。 - 各前記フレームにおける隣接する画素の画像差が第1の閾値内にある画素を同一の前記色彩領域に分類すると共に、各前記フレームにおいて前記色彩領域に区分けする際に、隣接する各前記色彩領域が占める面積の差異を計算し、前記差異が第2の閾値より大きい場合、相対的に小さい前記色彩領域を無視できるノイズと見做し、
各前記色彩領域の変化量は各前記色彩領域における複数の画素値の前記前後のフレームにおける変化量を計算した統計値であることを特徴とする請求項1に記載の動画像背景除去方法。 - 前記前後のフレームの各前記色彩領域の変化量を第3の閾値と比較した際に1つの又は隣接する複数の前記色彩領域を取得すると共に、前記色彩領域を前記目標物体として設定し、
前記目標物体以外の前記色彩領域を前記映像の背景画像として設定する、又は、前記前後のフレームにおける前記色彩領域の変化量を前記第3の閾値と比較した場合に小さい1つの又は複数の前記色彩領域を前記映像の背景画像として設定することを特徴とする請求項2に記載の動画像背景除去方法。 - 前記前後のフレームにおける各前記色彩領域の変化量は前記前後のフレームの同一の前記色彩領域の変位距離を計算したものであり、
前記第3の閾値は距離の閾値であることを特徴とする請求項3に記載の動画像背景除去方法。 - 各前記フレームの前記画像特徴を分析する前に、前記複数のフレーム画像を色相−彩度−輝度の色空間に変換することによって、各前記フレームにおける画素の色相、彩度又は輝度の分布を取得し、
各前記フレームの前記画像特徴は各前記フレームにおける隣接する画素の色相、彩度及び輝度のいずれか1つ又はそれらの組み合わせの画像差であることを特徴とする請求項4に記載の動画像背景除去方法。 - 前記目標物体を決定した後、ユーザインターフェースを提供し、前記ユーザインターフェースを介して、前記色彩領域を増加させる又は前記色彩領域を減少させる命令を取得し、前記色彩領域を増加させた又は前記色彩領域を減少させた目標物体を形成し、
同時に複数の前記色彩領域によって形成された領域を目標物体であると判断した場合、前記目標物体以外の領域を排除するステップを実行し、
前記標物体以外の領域を排除するステップは、
前記映像における連続する前記複数のフレーム画像中の一時的に出現した領域を検査して能動的に透明領域として設定するステップ、又は、前記複数の領域の面積を比較して、面積が最大の領域を前記目標物体として設定し、それ以外の面積が小さい領域を透明領域として設定するステップ、
を含むことを特徴とする請求項5に記憶の動画像背景除去方法。 - 1つの又は複数の処理ユニットと、
前記1つの又は複数の処理ユニットと電気的に接続され、映像を取得するための入力ユニットと、
前記1つの又は複数の処理ユニットと電気的に接続され、動画像背景除去システムで処理して背景を除去した動画像を出力するための出力ユニットと、
前記1つの又は複数の処理ユニットと電気的に接続され、動画像背景除去方法を実行するプログラムを記憶するためのメモリユニットと、
を含み、
前記1つの又は複数の処理ユニットによって前記プログラムに、
前記映像から複数のフレーム画像を取り出す工程と、
各フレームの画像特徴を分析し、各前記フレームにおける隣接する画素の関係を取得する工程と、
各前記フレーム画像における前記画像特徴に基づいて各前記フレーム画像を所属の色彩領域にそれぞれ関連する識別データを有する複数の画素値が記憶される複数の色彩領域に区分けする工程と、
各前記色彩領域における各前記画素値の前後のフレームにおける変化量を比較して、各前記色彩領域の変化量を形成する工程と、
前記前後のフレームの各前記色彩領域の変化量に基づいて目標物体を決定すると共に、前記目標物体の輪郭又は前記目標物体に含まれる前記色彩領域を取得する工程と、
前記目標物体以外の前記色彩領域を透明領域として設定して、前記背景が除去された動画像を形成する工程と、
を実行させることを特徴とする動画像背景除去システム。 - 前記動画像背景除去システムで処理された後の背景が除去された1つの又は複数の動画像ファイルを記憶する画像オブジェクトデータベースを更に含むことを特徴とする請求項7に記載の動画像背景除去システム。
- 前記動画像背景除去システムは、ジェスチャーによる前記色彩領域の増加又は前記色彩領域の減少の命令を受信して、前記色彩領域が増加した又は前記色彩領域が減少した前記目標物体を形成するための、タッチディスプレイを有するコンピュータシステムであることを特徴とする請求項7に記憶の動画像背景除去システム。
- クリックジェスチャーによって各前記フレーム画像における色相範囲の前記色彩領域を増加又は減少し、又は、塗るジェスチャーによって各前記フレーム画像における前記塗るジェスチャーが行われた他の色相範囲の前記色彩領域を増加又は減少することを特徴とする請求項9に記載の動画像背景除去システム。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
TW105129637A TWI616843B (zh) | 2016-09-12 | 2016-09-12 | 動態影像去背方法、系統與電腦可讀取儲存裝置 |
TW105129637 | 2016-09-12 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018045693A true JP2018045693A (ja) | 2018-03-22 |
JP6553692B2 JP6553692B2 (ja) | 2019-07-31 |
Family
ID=59686782
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017175230A Active JP6553692B2 (ja) | 2016-09-12 | 2017-09-12 | 動画像背景除去方法及び動画像背景除去システム |
Country Status (5)
Country | Link |
---|---|
US (1) | US9934439B1 (ja) |
EP (1) | EP3293699A1 (ja) |
JP (1) | JP6553692B2 (ja) |
KR (1) | KR101942987B1 (ja) |
TW (1) | TWI616843B (ja) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107920202B (zh) | 2017-11-15 | 2020-02-21 | 阿里巴巴集团控股有限公司 | 基于增强现实的视频处理方法、装置及电子设备 |
US10694112B2 (en) * | 2018-01-03 | 2020-06-23 | Getac Technology Corporation | Vehicular image pickup device and image capturing method |
CN109727266A (zh) * | 2019-01-08 | 2019-05-07 | 青岛一舍科技有限公司 | 一种基于视频获取纯景致背景的目标人物照片的方法 |
CN110751034B (zh) * | 2019-09-16 | 2023-09-01 | 平安科技(深圳)有限公司 | 行人行为识别方法及终端设备 |
KR20210108263A (ko) * | 2020-02-25 | 2021-09-02 | 삼성전자주식회사 | 사진에서 피사체와 배경을 분리하는 전자 장치 및 방법 |
CN111491123A (zh) * | 2020-04-17 | 2020-08-04 | 维沃移动通信有限公司 | 视频背景处理方法、装置及电子设备 |
CN111586363B (zh) * | 2020-05-22 | 2021-06-25 | 深圳市睿联技术股份有限公司 | 基于对象的视频文件查看方法及系统 |
CN111860200B (zh) * | 2020-06-28 | 2024-04-19 | 维沃移动通信有限公司 | 视频帧处理方法及装置 |
CN113877827B (zh) * | 2021-09-14 | 2023-06-16 | 深圳玩智商科技有限公司 | 物流件抓取方法、抓取设备及存储介质 |
TWI835236B (zh) * | 2022-08-05 | 2024-03-11 | 瑞昱半導體股份有限公司 | 影像處理方法及影像處理裝置 |
CN116630832B (zh) * | 2023-07-21 | 2023-09-29 | 江西现代职业技术学院 | 一种无人机目标识别方法、系统、计算机及可读存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1063855A (ja) * | 1996-08-13 | 1998-03-06 | Sanyo Electric Co Ltd | 画像領域抽出方法 |
JPH11288465A (ja) * | 1998-02-06 | 1999-10-19 | Fujitsu Ltd | カラー画像処理装置及びパターン抽出装置 |
JP2001266158A (ja) * | 2000-01-11 | 2001-09-28 | Canon Inc | 画像処理装置、画像処理システム、画像処理方法、及び記憶媒体 |
JP2013219668A (ja) * | 2012-04-11 | 2013-10-24 | Dainippon Printing Co Ltd | 印画物作製装置及び印画物作製方法 |
Family Cites Families (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6288703B1 (en) * | 1996-11-25 | 2001-09-11 | Ultimatte Corporation | Method for removing from an image the background surrounding a selected subject by generating candidate mattes |
JP4223353B2 (ja) * | 2002-09-04 | 2009-02-12 | パナソニック株式会社 | 電子透かし埋め込み装置、電子透かし検出装置及びそれらの方法並びに記録媒体 |
CN1312638C (zh) * | 2003-09-29 | 2007-04-25 | 上海交通大学 | 基于分水岭算法的视频对象提取方法 |
US7609894B2 (en) * | 2004-02-17 | 2009-10-27 | Corel Corporation | Adaptive sampling region for a region editing tool |
US7730406B2 (en) * | 2004-10-20 | 2010-06-01 | Hewlett-Packard Development Company, L.P. | Image processing system and method |
JP2006154452A (ja) * | 2004-11-30 | 2006-06-15 | Toshiba Corp | 映像信号処理装置とグラデーション段差検出方法 |
TW200809696A (en) * | 2006-08-08 | 2008-02-16 | yao-sheng Dong | Method and system for simple and rapid completion of image background removing |
JP4766030B2 (ja) * | 2007-10-11 | 2011-09-07 | 富士ゼロックス株式会社 | 画像処理装置及び画像処理プログラム |
US8280115B2 (en) * | 2007-10-30 | 2012-10-02 | Canon Kabushiki Kaisha | Image processing apparatus and image processing method |
US9147260B2 (en) * | 2010-12-20 | 2015-09-29 | International Business Machines Corporation | Detection and tracking of moving objects |
US20130017894A1 (en) * | 2011-07-14 | 2013-01-17 | Hongzhi Li | System and Method for Integrating Digital Background with Stage Performance |
US9916538B2 (en) * | 2012-09-15 | 2018-03-13 | Z Advanced Computing, Inc. | Method and system for feature detection |
CN102915544B (zh) * | 2012-09-20 | 2015-04-15 | 武汉大学 | 基于纹理检测和颜色分割的视频图像运动目标提取方法 |
CN103839250B (zh) * | 2012-11-23 | 2017-03-01 | 诺基亚技术有限公司 | 用于面部图像处理的方法和设备 |
RU2538941C1 (ru) * | 2013-06-14 | 2015-01-10 | Общество с ограниченной ответственностью "Аби Девелопмент" | Улучшения качества распознавания за счет повышения разрешения изображений |
CN104424649B (zh) * | 2013-08-21 | 2017-09-26 | 株式会社理光 | 检测运动物体的方法和系统 |
-
2016
- 2016-09-12 TW TW105129637A patent/TWI616843B/zh active
- 2016-11-30 US US15/365,259 patent/US9934439B1/en active Active
-
2017
- 2017-08-16 KR KR1020170103667A patent/KR101942987B1/ko active IP Right Grant
- 2017-08-21 EP EP17187039.7A patent/EP3293699A1/en not_active Ceased
- 2017-09-12 JP JP2017175230A patent/JP6553692B2/ja active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1063855A (ja) * | 1996-08-13 | 1998-03-06 | Sanyo Electric Co Ltd | 画像領域抽出方法 |
JPH11288465A (ja) * | 1998-02-06 | 1999-10-19 | Fujitsu Ltd | カラー画像処理装置及びパターン抽出装置 |
JP2001266158A (ja) * | 2000-01-11 | 2001-09-28 | Canon Inc | 画像処理装置、画像処理システム、画像処理方法、及び記憶媒体 |
JP2013219668A (ja) * | 2012-04-11 | 2013-10-24 | Dainippon Printing Co Ltd | 印画物作製装置及び印画物作製方法 |
Also Published As
Publication number | Publication date |
---|---|
JP6553692B2 (ja) | 2019-07-31 |
US20180075304A1 (en) | 2018-03-15 |
EP3293699A1 (en) | 2018-03-14 |
TW201812706A (zh) | 2018-04-01 |
TWI616843B (zh) | 2018-03-01 |
KR101942987B1 (ko) | 2019-01-28 |
US9934439B1 (en) | 2018-04-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6553692B2 (ja) | 動画像背景除去方法及び動画像背景除去システム | |
US11727577B2 (en) | Video background subtraction using depth | |
TWI543610B (zh) | 電子裝置及其影像選擇方法 | |
JP5435382B2 (ja) | モーフィングアニメーションを生成するための方法および装置 | |
US9626766B2 (en) | Depth sensing using an RGB camera | |
EP2980755B1 (en) | Method for partitioning area, and inspection device | |
CN108830892B (zh) | 人脸图像处理方法、装置、电子设备及计算机可读存储介质 | |
US20100067863A1 (en) | Video editing methods and systems | |
CN108229346B (zh) | 使用有符号的前景提取与融合的视频摘要 | |
US10846560B2 (en) | GPU optimized and online single gaussian based skin likelihood estimation | |
WO2018053952A1 (zh) | 一种基于场景样本库的影视图像深度提取方法 | |
CN108509917A (zh) | 基于镜头类相关性分析的视频场景分割方法和装置 | |
KR101833943B1 (ko) | 동영상의 주요 장면을 추출 및 탐색하는 방법 및 시스템 | |
US9786055B1 (en) | Method and apparatus for real-time matting using local color estimation and propagation | |
JP5914046B2 (ja) | 画像処理装置および画像処理方法 | |
JP5965764B2 (ja) | 映像領域分割装置及び映像領域分割プログラム | |
US20220222791A1 (en) | Generating image masks from digital images utilizing color density estimation and deep learning models | |
CN108269260B (zh) | 动态影像去背方法、系统与计算机可读取存储装置 | |
CN112308875A (zh) | 基于背景似然性估计的无监督图像分割 | |
CN114494272A (zh) | 一种基于深度学习的金属零件快速分割方法 | |
US10380447B1 (en) | Providing regions of interest in an image | |
GB2585722A (en) | Image manipulation | |
US20230169708A1 (en) | Image and video matting | |
Nrupatunga et al. | Image Matting using Neural Networks | |
Kim et al. | A novel method for salient object detection via compactness measurement |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20181019 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20181030 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190618 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190704 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6553692 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |