JP2010130291A - 画像処理装置、画像処理方法、及びプログラム - Google Patents
画像処理装置、画像処理方法、及びプログラム Download PDFInfo
- Publication number
- JP2010130291A JP2010130291A JP2008302279A JP2008302279A JP2010130291A JP 2010130291 A JP2010130291 A JP 2010130291A JP 2008302279 A JP2008302279 A JP 2008302279A JP 2008302279 A JP2008302279 A JP 2008302279A JP 2010130291 A JP2010130291 A JP 2010130291A
- Authority
- JP
- Japan
- Prior art keywords
- moving object
- image
- moving
- processing
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims description 16
- 238000012545 processing Methods 0.000 claims abstract description 205
- 238000001514 detection method Methods 0.000 claims abstract description 87
- 238000000034 method Methods 0.000 claims description 173
- 230000008569 process Effects 0.000 claims description 143
- 210000000746 body region Anatomy 0.000 claims description 13
- 230000006870 function Effects 0.000 description 28
- 238000004364 calculation method Methods 0.000 description 16
- 238000012935 Averaging Methods 0.000 description 11
- 230000006872 improvement Effects 0.000 description 11
- 238000004891 communication Methods 0.000 description 10
- 230000010365 information processing Effects 0.000 description 9
- 238000003384 imaging method Methods 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 7
- 230000006866 deterioration Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 6
- 238000001914 filtration Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000011156 evaluation Methods 0.000 description 4
- 238000005070 sampling Methods 0.000 description 4
- 239000013598 vector Substances 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012805 post-processing Methods 0.000 description 3
- 101150012579 ADSL gene Proteins 0.000 description 2
- 102100020775 Adenylosuccinate lyase Human genes 0.000 description 2
- 108700040193 Adenylosuccinate lyases Proteins 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000012827 research and development Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 206010047571 Visual impairment Diseases 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 238000005401 electroluminescence Methods 0.000 description 1
- 238000005562 fading Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/681—Motion detection
- H04N23/6811—Motion detection based on the image signal
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/682—Vibration or motion blur correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20216—Image averaging
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
Abstract
【解決手段】動画像に含まれる動体を検出する動体検知部と、前記動体検知部により動体が検出された時点から所定時間の間、当該検出時点で動体が含まれていた領域を動体領域に設定する動体領域設定部と、前記動体領域設定部により設定された動体領域以外の領域に揺らぎ除去処理を施す揺らぎ除去処理部とを備える、画像処理装置が提供される。
【選択図】図2
Description
ここで、以下に記載する本発明の実施形態に関する説明の流れについて簡単に述べる。まず、図1を参照しながら、平均処理やメジアン処理等に基づく揺らぎ除去処理を行うことで発生する問題点について簡単に説明する。次いで、図2を参照しながら、本発明の一実施形態に係る画像処理装置100の機能構成について説明する。
1:課題の整理(フィルタリングによる揺らぎ除去処理について)
2:実施形態
2−1:画像処理装置100の機能構成について
2−2:非剛体レジストレーション処理技術について
2−3:超解像処理技術について
2−4:画像処理の流れについて
2−5:ブロック分割による演算負荷の低減方法について
2−6:画像処理装置100のハードウェア構成例について
2−7:まとめ
まず、本発明の一実施形態に係る技術について詳細な説明をするに先立ち、図1を参照しながら、同実施形態が解決しようとする課題について簡単に説明する。
本発明の一実施形態について説明する。本実施形態は、動体が検知された場合に、その動体を含む画像領域(以下、動体領域)を所定時間だけ動体領域とみなし、その動体が移動した後も、その領域に揺らぎ除去処理が施されないようにするというものである。
まず、図2を参照しながら、本実施形態に係る画像処理装置100の機能構成について説明する。図2は、本実施形態に係る画像処理装置100の機能構成例を示す説明図である。
ここで、上記の第2揺らぎ除去部114で実行されうる非剛体レジストレーション処理について簡単に説明する。
次に、図3を参照しながら、本実施形態に係る高画質化処理の一例である超解像処理について簡単に説明する。図3は、超解像処理の内容を概略的に示す説明図である。
次に、図4及び図5を参照しながら、本実施形態に係る画像処理の流れについて説明する。なお、図4は、本実施形態に係る画像処理の全体的な流れを示す説明図である。また、図5は、図4に示す全体的な流れの中で、動体領域の設定処理に関する処理の流れを示す説明図である。
次に、図6を参照しながら、撮影画像のブロック分割による演算負荷の低減方法(以下、ブロック分割手法)について説明する。図6は、撮影画像のブロック分割による演算負荷の低減方法を示す説明図である。既に述べた通り、上記の第2揺らぎ除去処理、及び高画質化処理は、第1揺らぎ除去処理に比べて演算負荷の高い処理である。そのため、本実施形態においては、これらの処理を指定領域に限定して実施するように変形することを許容している。図6に示すブロック分割手法は、撮影画像を所定サイズのブロックに分割し、そのブロックを指定領域として指定できるようにしたものである。
上記の画像処理装置100が有する各構成要素の機能は、例えば、図7に示す情報処理装置のハードウェア構成を用いて実現することが可能である。例えば、各構成要素の機能は、コンピュータプログラムを用いて図7に示す情報処理装置を制御することにより実現される。なお、ここで示す情報処理装置の形態は任意であり、例えば、パーソナルコンピュータ、携帯電話、PHS、PDA等の携帯情報端末、ゲーム機、撮像装置、又は種々の情報家電がこれに含まれる。但し、上記のPHSは、Personal Handy−phone Systemの略である。また、上記のPDAは、Personal Digital Assistantの略である。
最後に、本実施形態の画像処理装置が有する機能構成と、当該機能構成により得られる作用効果について簡単に纏める。
上記の第1揺らぎ除去部112、第2揺らぎ除去部114は、揺らぎ除去処理部の一例である。また、上記の高画質化処理部116は、超解像処理部の一例である。上記の平均化フィルタ処理及び時間メジアンフィルタ処理は、揺らぎ除去処理の一例である。一方、上記の非剛体レジストレーション処理は、他の揺らぎ除去処理の一例である。
102 画像入力部
104 動体検知部
106 動体領域設定部
108 タイマー
110 操作入力部
112 第1揺らぎ除去部
114 第2揺らぎ除去部
116 高画質化処理部
132 画像合成部
134 位置検出部
Claims (6)
- 動画像に含まれる動体を検出する動体検知部と、
前記動体検知部により動体が検出された時点から所定時間の間、当該検出時点で動体が含まれていた領域を動体領域に設定する動体領域設定部と、
前記動体領域設定部により設定された動体領域以外の領域に揺らぎ除去処理を施す揺らぎ除去処理部と、
を備える、画像処理装置。 - 前記揺らぎ除去処理部は、前記動体領域設定部により設定された動体領域の一部又は全部に対し、当該動体領域に含まれる動体の映像が消えない他の揺らぎ除去処理を施す、請求項1に記載の画像処理装置。
- 前記動体領域設定部により設定された動体領域のうち、前記揺らぎ除去処理部により前記他の揺らぎ除去処理が施されていない動体領域の一部又は全部に対して超解像処理を施す超解像処理部をさらに備える、請求項2に記載の画像処理装置。
- 前記揺らぎ除去処理部により前記動体領域を除く動画像の全領域に施される揺らぎ除去処理は、前記動画像の各フレームに含まれる画素値の平均処理又はメジアン処理であり、
前記動体領域に施される揺らぎ除去処理は、非剛体レジストレーションに基づく揺らぎ除去処理である、請求項3に記載の画像処理装置。 - 動画像に含まれる動体が検出される動体検出ステップと、
前記動体検出ステップで動体が検出された時点から所定時間の間、当該検出時点で動体が含まれていた領域が動体領域に設定される動体領域設定ステップと、
前記動体領域設定ステップで設定された動体領域を除く前記動画像の全領域に揺らぎ除去処理が施される揺らぎ除去処理ステップと、
を含む、画像処理方法。 - 動画像に含まれる動体を検出する動体検出機能と、
前記動体検出機能により動体が検出された時点から所定時間の間、当該検出時点で動体が含まれていた領域を動体領域に設定する動体領域設定機能と、
前記動体領域設定機能により設定された動体領域を除く前記動画像の全領域に揺らぎ除去処理を施す揺らぎ除去処理機能と、
をコンピュータに実現させるためのプログラム。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008302279A JP4650560B2 (ja) | 2008-11-27 | 2008-11-27 | 画像処理装置、画像処理方法、及びプログラム |
US12/610,772 US8494217B2 (en) | 2008-11-27 | 2009-11-02 | Image processing apparatus, image processing method, and program |
CN2009102256384A CN101753838B (zh) | 2008-11-27 | 2009-11-27 | 图像处理装置和图像处理方法 |
US13/943,585 US20130301881A1 (en) | 2008-11-27 | 2013-07-16 | Image processing apparatus, image processing method, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008302279A JP4650560B2 (ja) | 2008-11-27 | 2008-11-27 | 画像処理装置、画像処理方法、及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010130291A true JP2010130291A (ja) | 2010-06-10 |
JP4650560B2 JP4650560B2 (ja) | 2011-03-16 |
Family
ID=42196299
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008302279A Expired - Fee Related JP4650560B2 (ja) | 2008-11-27 | 2008-11-27 | 画像処理装置、画像処理方法、及びプログラム |
Country Status (3)
Country | Link |
---|---|
US (2) | US8494217B2 (ja) |
JP (1) | JP4650560B2 (ja) |
CN (1) | CN101753838B (ja) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2013168618A1 (ja) * | 2012-05-09 | 2013-11-14 | 株式会社日立国際電気 | 画像処理装置及び画像処理方法 |
WO2014126093A1 (ja) * | 2013-02-14 | 2014-08-21 | 株式会社日立国際電気 | 画像処理装置 |
JP2014183493A (ja) * | 2013-03-19 | 2014-09-29 | Dainippon Printing Co Ltd | 情報補正装置、情報補正方法並びに情報補正用プログラム及び情報記録媒体 |
WO2016203562A1 (ja) * | 2015-06-17 | 2016-12-22 | 株式会社日立国際電気 | 画像処理装置 |
CN105530423B (zh) * | 2014-09-30 | 2018-09-04 | 北京智谷技术服务有限公司 | 超分辨率图像的获取方法和获取装置 |
US10389952B2 (en) | 2015-06-24 | 2019-08-20 | Olympus Corporation | Image-processing device which generates a high-resolution image by combining images, imaging device, image-processing method, and storage-medium |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8724928B2 (en) | 2009-08-31 | 2014-05-13 | Intellectual Ventures Fund 83 Llc | Using captured high and low resolution images |
JP5908174B2 (ja) * | 2013-07-09 | 2016-04-26 | 株式会社日立国際電気 | 画像処理装置及び画像処理方法 |
US20150097978A1 (en) * | 2013-10-07 | 2015-04-09 | Qualcomm Incorporated | System and method for high fidelity, high dynamic range scene reconstruction with frame stacking |
KR102216656B1 (ko) * | 2014-09-02 | 2021-02-17 | 삼성전자주식회사 | 이미지 처리 방법 및 그 전자 장치 |
CN108141509B (zh) * | 2015-10-16 | 2020-07-17 | 奥林巴斯株式会社 | 图像处理装置、摄像装置、图像处理方法和存储介质 |
JP2017099616A (ja) * | 2015-12-01 | 2017-06-08 | ソニー株式会社 | 手術用制御装置、手術用制御方法、およびプログラム、並びに手術システム |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002032876A (ja) * | 2000-07-13 | 2002-01-31 | Fujitsu Ltd | 火災検出装置 |
JP2006107457A (ja) * | 2004-09-13 | 2006-04-20 | Sony Corp | 画像処理装置及び画像処理方法 |
JP2006323437A (ja) * | 2005-05-17 | 2006-11-30 | Sony Corp | 物体追跡方法、物体追跡方法のプログラム、物体追跡方法のプログラムを記録した記録媒体及び物体追跡装置 |
JP2008160733A (ja) * | 2006-12-26 | 2008-07-10 | Sony Corp | 撮像装置、撮像信号処理方法及びプログラム |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7650015B2 (en) * | 1997-07-22 | 2010-01-19 | Image Processing Technologies. LLC | Image processing method |
US20050031176A1 (en) * | 2003-08-08 | 2005-02-10 | Hertel Sarah R. | Method and apparatus of multi-modality image fusion |
US7672540B2 (en) * | 2005-07-13 | 2010-03-02 | Siemens Medical Solutions USA, Inc, | Nonrigid registration of cardiac perfusion MR images using adaptive local template matching |
US20100310120A1 (en) * | 2005-11-05 | 2010-12-09 | Charlie Keith | Method and system for tracking moving objects in a scene |
JP2010519860A (ja) * | 2007-02-21 | 2010-06-03 | ピクセル ベロシティー,インク. | 広域監視のための拡張可能なシステム |
US8374388B2 (en) * | 2007-12-28 | 2013-02-12 | Rustam Stolkin | Real-time tracking of non-rigid objects in image sequences for which the background may be changing |
-
2008
- 2008-11-27 JP JP2008302279A patent/JP4650560B2/ja not_active Expired - Fee Related
-
2009
- 2009-11-02 US US12/610,772 patent/US8494217B2/en not_active Expired - Fee Related
- 2009-11-27 CN CN2009102256384A patent/CN101753838B/zh not_active Expired - Fee Related
-
2013
- 2013-07-16 US US13/943,585 patent/US20130301881A1/en not_active Abandoned
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002032876A (ja) * | 2000-07-13 | 2002-01-31 | Fujitsu Ltd | 火災検出装置 |
JP2006107457A (ja) * | 2004-09-13 | 2006-04-20 | Sony Corp | 画像処理装置及び画像処理方法 |
JP2006323437A (ja) * | 2005-05-17 | 2006-11-30 | Sony Corp | 物体追跡方法、物体追跡方法のプログラム、物体追跡方法のプログラムを記録した記録媒体及び物体追跡装置 |
JP2008160733A (ja) * | 2006-12-26 | 2008-07-10 | Sony Corp | 撮像装置、撮像信号処理方法及びプログラム |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2013168618A1 (ja) * | 2012-05-09 | 2013-11-14 | 株式会社日立国際電気 | 画像処理装置及び画像処理方法 |
JP2013236249A (ja) * | 2012-05-09 | 2013-11-21 | Hitachi Kokusai Electric Inc | 画像処理装置及び画像処理方法 |
US10521885B2 (en) | 2012-05-09 | 2019-12-31 | Hitachi Kokusai Electric Inc. | Image processing device and image processing method |
WO2014126093A1 (ja) * | 2013-02-14 | 2014-08-21 | 株式会社日立国際電気 | 画像処理装置 |
JP2014183493A (ja) * | 2013-03-19 | 2014-09-29 | Dainippon Printing Co Ltd | 情報補正装置、情報補正方法並びに情報補正用プログラム及び情報記録媒体 |
CN105530423B (zh) * | 2014-09-30 | 2018-09-04 | 北京智谷技术服务有限公司 | 超分辨率图像的获取方法和获取装置 |
WO2016203562A1 (ja) * | 2015-06-17 | 2016-12-22 | 株式会社日立国際電気 | 画像処理装置 |
JPWO2016203562A1 (ja) * | 2015-06-17 | 2018-03-22 | 株式会社日立国際電気 | 画像処理装置 |
US10389952B2 (en) | 2015-06-24 | 2019-08-20 | Olympus Corporation | Image-processing device which generates a high-resolution image by combining images, imaging device, image-processing method, and storage-medium |
Also Published As
Publication number | Publication date |
---|---|
US20130301881A1 (en) | 2013-11-14 |
US20100128928A1 (en) | 2010-05-27 |
CN101753838A (zh) | 2010-06-23 |
JP4650560B2 (ja) | 2011-03-16 |
CN101753838B (zh) | 2013-01-09 |
US8494217B2 (en) | 2013-07-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4650560B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
US10887519B2 (en) | Method, system and apparatus for stabilising frames of a captured video sequence | |
JP5719148B2 (ja) | 撮像装置及びその制御方法、プログラム | |
KR100994063B1 (ko) | 화상처리장치, 화상처리방법 및, 프로그램을 기억한 컴퓨터가 판독 가능한 기억매체 | |
US20120224766A1 (en) | Image processing apparatus, image processing method, and program | |
US20140375843A1 (en) | Image processing apparatus, image processing method, and program | |
US20200160560A1 (en) | Method, system and apparatus for stabilising frames of a captured video sequence | |
US20180174326A1 (en) | Method, System and Apparatus for Determining Alignment Data | |
JP2006211247A (ja) | 画像処理装置およびその方法 | |
JPWO2014054273A1 (ja) | 画像ノイズ除去装置、および画像ノイズ除去方法 | |
US8644555B2 (en) | Device and method for detecting movement of object | |
JP5092536B2 (ja) | 画像処理装置及びそのプログラム | |
US11196925B2 (en) | Image processing apparatus that detects motion vectors, method of controlling the same, and storage medium | |
CN111416937B (zh) | 图像处理方法、装置、存储介质及移动设备 | |
JP4930304B2 (ja) | 画像処理装置、画像処理方法、プログラム、及び記録媒体 | |
JP6576179B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP2010239513A (ja) | 画像処理装置、方法、プログラム、及び撮像システム | |
JP2010193154A (ja) | 画像処理装置および画像処理方法 | |
JP2015177528A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
US20220044371A1 (en) | Image Fusion Architecture | |
JP2012123721A (ja) | 画像処理装置及び画像処理方法 | |
JP6357980B2 (ja) | 画像処理装置、デジタルカメラおよび画像処理プログラム | |
CN115239580A (zh) | 图像降噪处理方法及其装置 | |
JP5886075B2 (ja) | 画像処理装置及びプログラム | |
JP2018152132A (ja) | 画像処理装置、デジタルカメラおよび画像処理プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20101014 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20101116 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20101129 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131224 Year of fee payment: 3 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |