JP2013078460A5 - - Google Patents

Download PDF

Info

Publication number
JP2013078460A5
JP2013078460A5 JP2011219817A JP2011219817A JP2013078460A5 JP 2013078460 A5 JP2013078460 A5 JP 2013078460A5 JP 2011219817 A JP2011219817 A JP 2011219817A JP 2011219817 A JP2011219817 A JP 2011219817A JP 2013078460 A5 JP2013078460 A5 JP 2013078460A5
Authority
JP
Japan
Prior art keywords
captured image
region
noise reduction
image
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2011219817A
Other languages
English (en)
Other versions
JP2013078460A (ja
JP5816511B2 (ja
Filing date
Publication date
Priority claimed from JP2011219817A external-priority patent/JP5816511B2/ja
Priority to JP2011219817A priority Critical patent/JP5816511B2/ja
Application filed filed Critical
Priority to PCT/JP2012/075611 priority patent/WO2013051593A1/ja
Priority to EP12838593.7A priority patent/EP2764819B1/en
Priority to CN201280048859.9A priority patent/CN103889305B/zh
Publication of JP2013078460A publication Critical patent/JP2013078460A/ja
Priority to US14/226,597 priority patent/US9613402B2/en
Publication of JP2013078460A5 publication Critical patent/JP2013078460A5/ja
Publication of JP5816511B2 publication Critical patent/JP5816511B2/ja
Application granted granted Critical
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Description

上記の実施形態によれば、図20に示すように、画像処理装置は、撮像画像の第1フレームと第2フレームの間における被写体の動きベクトル(Vec_x,Vec_y)を検出する動きベクトル検出部350を含む。上式(11)で説明したように、評価値算出部321は、第1フレームと、動きベクトル(Vec_x,Vec_y)により動き補償される第2フレームとの間において、静止状態であるか否かを判定するための評価値(フレーム間差分値mSAD)を算出する。上式(12)〜(14)で説明したように、ノイズ低減処理部325は、第1フレームと、動きベクトル(Vec_x,Vec_y)により動き補償される第2フレームとに基づいて、第1のノイズ低減処理と第2のノイズ低減処理を行う。

Claims (20)

  1. 撮像画像上の被写体がフレーム間において静止状態であるか否かを判定するための評価値を算出する評価値算出部と、
    前記撮像画像の推定ノイズ量を取得する推定ノイズ量取得部と、
    前記評価値と前記推定ノイズ量と所定条件とに基づいて、前記静止状態であるか否かの判定を行う判定部と、
    前記静止状態であると判定された場合には、時間方向のノイズ低減処理である第1のノイズ低減処理を前記撮像画像に対して行い、前記静止状態でないと判定された場合には、少なくとも空間方向のノイズ低減処理を含む第2のノイズ低減処理を前記撮像画像に対して行うノイズ低減処理部と、
    を含み、
    前記所定条件は、前記被写体の観察状態又は、ノイズ低減処理の対象領域が前方視野領域及び側方視野領域のいずれに属するか又は、前記撮像画像の種類、であることを特徴とする画像処理装置。
  2. 請求項1において、
    前記撮像画像を撮像する撮像部の画角情報を取得する画角情報取得部を含み、
    前記判定部は、
    前記画角情報が表す画角に応じて、前記静止状態であるか否かの判定条件を設定することを特徴とする画像処理装置。
  3. 請求項2において、
    前記評価値算出部は、
    前記撮像画像のフレーム間差分値を前記評価値として算出し、
    前記判定部は、
    前記画角が閾値以上である場合、前記フレーム間差分値が前記推定ノイズ量以下である場合に前記静止状態であると判定し、
    前記画角が前記閾値よりも小さい場合、前記フレーム間差分値が、1よりも大きい係数を前記推定ノイズ量に対して乗じた値以下である場合に前記静止状態であると判定することを特徴とする画像処理装置。
  4. 請求項1において、
    前記判定部は、
    前記撮像画像において前記ノイズ低減処理の前記対象領域が属する領域に応じて、前記静止状態であるか否かの判定条件を設定することを特徴とする画像処理装置。
  5. 請求項4において、
    領域判定部を含み、
    前記撮像画像を撮像する撮像部は、前記撮像部の前方視野及び側方視野を撮像可能であり、
    前記領域判定部は、
    前記対象領域が、前記撮像画像において前記前方視野に対応する領域である前記前方視野領域、及び前記撮像画像において前記側方視野に対応する領域である前記側方視野領域のいずれに属するかの判定を行い、
    前記判定部は、
    前記前方視野領域に属すると判定された場合と、前記側方視野領域に属すると判定された場合とで、異なる前記判定条件を設定することを特徴とする画像処理装置。
  6. 請求項5において、
    前記評価値算出部は、
    前記撮像画像のフレーム間差分値を前記評価値として算出し、
    前記判定部は、
    前記対象領域が前記側方視野領域に属すると判定された場合、前記フレーム間差分値が前記推定ノイズ量以下である場合に前記静止状態であると判定し、
    前記対象領域が前記前方視野領域に属すると判定された場合、前記フレーム間差分値が、1よりも大きい係数を前記推定ノイズ量に対して乗じた値以下である場合に前記静止状態であると判定することを特徴とする画像処理装置。
  7. 請求項5において、
    前記領域判定部は、
    前記撮像画像における前記対象領域の位置に基づいて、前記対象領域が属する領域を判定することを特徴とする画像処理装置。
  8. 請求項1において、
    前記判定部は、
    前記撮像画像の種類に応じて、前記静止状態であるか否かの判定条件を設定することを特徴とする画像処理装置。
  9. 請求項8において、
    前記撮像画像は、
    白色の波長帯域における情報を有した白色光画像、又は特定の波長帯域における情報を有した特殊光画像であり、
    前記判定部は、
    前記撮像画像が前記白色光画像である場合と、前記撮像画像が前記特殊光画像である場合とで、異なる前記判定条件を設定することを特徴とする画像処理装置。
  10. 請求項9において、
    前記評価値算出部は、
    前記撮像画像のフレーム間差分値を前記評価値として算出し、
    前記判定部は、
    前記撮像画像が前記白色光画像である場合、前記フレーム間差分値が前記推定ノイズ量以下である場合に前記静止状態であると判定し、
    前記撮像画像が前記特殊光画像である場合、前記フレーム間差分値が、前記推定ノイズ量に対して1よりも小さい係数を乗じた値以下である場合に前記静止状態であると判定することを特徴とする画像処理装置。
  11. 請求項9において、
    前記特定の波長帯域は、
    前記白色の波長帯域よりも狭い帯域であることを特徴とする画像処理装置。
  12. 請求項11において、
    前記白色光画像および前記特殊光画像は生体内を写した生体内画像であり、
    前記生体内画像に含まれる前記特定の波長帯域は、血液中のヘモグロビンに吸収される波長の波長帯域であることを特徴とする画像処理装置。
  13. 請求項12において、
    前記特定の波長帯域は、390nm〜445nm、または530nm〜550nmであることを特徴とする画像処理装置。
  14. 請求項1において、
    前記撮像画像の第1フレームと第2フレームの間における被写体の動きベクトルを検出する動きベクトル検出部を含み、
    前記評価値算出部は、
    前記第1フレームと、前記動きベクトルにより動き補償される前記第2フレームとの間において、前記静止状態であるか否かを判定するための前記評価値を算出し、
    前記ノイズ低減処理部は、
    前記第1フレームと、前記動きベクトルにより動き補償される前記第2フレームとに基づいて、前記第1のノイズ低減処理と前記第2のノイズ低減処理を行うことを特徴とする画像処理装置。
  15. 請求項1において、
    前記評価値算出部は、
    前記撮像画像のフレーム間差分値を、前記評価値として算出し、
    前記判定部は、
    前記推定ノイズ量を閾値とし、前記フレーム間差分値が前記閾値以下である場合に前記静止状態であると判定することを特徴とする画像処理装置。
  16. 請求項15において、
    前記撮像画像の第1フレームにおいて処理対象画素を中心とする所定サイズの領域を第1領域とし、前記撮像画像の第2フレームにおいて処理対象画素を中心とする所定サイズの領域を第2領域とする場合に、
    前記評価値算出部は、
    前記第1領域の画素値と前記第2領域の画素値との差分値を、前記第1領域に対して前記第2領域を水平及び垂直に1画素ずつ順次シフトしながら複数求め、求めた前記複数の差分値のうちの最小値を前記フレーム間差分値として出力し、
    前記判定部は、
    前記最小値が前記閾値以下である場合に前記静止状態であると判定することを特徴とする画像処理装置。
  17. 請求項1において、
    前記観察状態は、前記撮像画像を撮像する撮像部の画角に関する状態であることを特徴とする画像処理装置。
  18. 請求項1において、
    前記撮像画像の種類は、前記撮像画像の画素数又は、解像度又は、前記撮像画像の撮像の際の露出時間又は、フレームレート又は、装着された撮像部の種類又は、照明光の特性又は、撮像に使用する光学フィルタの特性により決まることを特徴とする画像処理装置。
  19. 撮像画像を撮像する撮像部と、
    前記撮像画像上の被写体がフレーム間において静止状態であるか否かを判定するための評価値を算出する評価値算出部と、
    前記撮像画像の推定ノイズ量を取得する推定ノイズ量取得部と、
    前記評価値と前記推定ノイズ量と所定条件とに基づいて、前記静止状態であるか否かの判定を行う判定部と、
    前記静止状態であると判定された場合には、時間方向のノイズ低減処理である第1のノイズ低減処理を前記撮像画像に対して行い、前記静止状態でないと判定された場合には、少なくとも空間方向のノイズ低減処理を含む第2のノイズ低減処理を前記撮像画像に対して行うノイズ低減処理部と、
    を含み、
    前記所定条件は、前記被写体の観察状態又は、ノイズ低減処理の対象領域が前方視野領域及び側方視野領域のいずれに属するか又は、前記撮像画像の種類、であることを特徴とする内視鏡装置。
  20. 撮像画像上の被写体がフレーム間において静止状態であるか否かを判定するための評価値を算出し、
    前記撮像画像の推定ノイズ量を取得し、
    前記評価値と、前記推定ノイズ量と、前記被写体の観察状態又はノイズ低減処理の対象領域が前方視野領域及び側方視野領域のいずれに属するか又は前記撮像画像の種類である所定条件と、に基づいて、前記静止状態であるか否かの判定を行い、
    前記静止状態であると判定された場合には、時間方向のノイズ低減処理である第1のノイズ低減処理を前記撮像画像に対して行い、前記静止状態でないと判定された場合には、少なくとも空間方向のノイズ低減処理を含む第2のノイズ低減処理を前記撮像画像に対して行うことを特徴とする画像処理方法。
JP2011219817A 2011-10-04 2011-10-04 画像処理装置、内視鏡装置及び画像処理装置の作動方法 Active JP5816511B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2011219817A JP5816511B2 (ja) 2011-10-04 2011-10-04 画像処理装置、内視鏡装置及び画像処理装置の作動方法
PCT/JP2012/075611 WO2013051593A1 (ja) 2011-10-04 2012-10-03 画像処理装置、内視鏡装置、画像処理方法及び画像処理プログラム
EP12838593.7A EP2764819B1 (en) 2011-10-04 2012-10-03 Image processing device, endoscopic device, image processing method and image processing program
CN201280048859.9A CN103889305B (zh) 2011-10-04 2012-10-03 图像处理装置、内窥镜装置及图像处理方法
US14/226,597 US9613402B2 (en) 2011-10-04 2014-03-26 Image processing device, endoscope system, image processing method, and computer-readable storage device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011219817A JP5816511B2 (ja) 2011-10-04 2011-10-04 画像処理装置、内視鏡装置及び画像処理装置の作動方法

Publications (3)

Publication Number Publication Date
JP2013078460A JP2013078460A (ja) 2013-05-02
JP2013078460A5 true JP2013078460A5 (ja) 2014-11-06
JP5816511B2 JP5816511B2 (ja) 2015-11-18

Family

ID=48043748

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011219817A Active JP5816511B2 (ja) 2011-10-04 2011-10-04 画像処理装置、内視鏡装置及び画像処理装置の作動方法

Country Status (5)

Country Link
US (1) US9613402B2 (ja)
EP (1) EP2764819B1 (ja)
JP (1) JP5816511B2 (ja)
CN (1) CN103889305B (ja)
WO (1) WO2013051593A1 (ja)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015050795A1 (en) * 2013-10-04 2015-04-09 Reald Inc. Image mastering systems and methods
JP6242230B2 (ja) * 2014-02-12 2017-12-06 オリンパス株式会社 画像処理装置、内視鏡装置、画像処理装置の作動方法及び画像処理プログラム
JP6318739B2 (ja) * 2014-03-17 2018-05-09 コニカミノルタ株式会社 画像処理装置、およびプログラム
WO2016084608A1 (ja) 2014-11-25 2016-06-02 ソニー株式会社 内視鏡システム、および内視鏡システムの動作方法、並びにプログラム
WO2016110984A1 (ja) * 2015-01-08 2016-07-14 オリンパス株式会社 画像処理装置、画像処理装置の作動方法、画像処理装置の作動プログラムおよび内視鏡装置
JP6585623B2 (ja) * 2015-12-17 2019-10-02 オリンパス株式会社 生体情報計測装置、生体情報計測方法および生体情報計測プログラム
JP6630895B2 (ja) * 2016-02-18 2020-01-15 キヤノン株式会社 信号処理装置及び画像ノイズ低減方法
JP6556076B2 (ja) * 2016-03-10 2019-08-07 富士フイルム株式会社 内視鏡画像信号処理装置および方法並びにプログラム
US9946956B2 (en) * 2016-06-15 2018-04-17 Qualcomm Incorporated Differential image processing
JP7111444B2 (ja) * 2016-07-11 2022-08-02 株式会社リコー 判断部及び工程判断装置及び工程判断方法
JP6653386B2 (ja) * 2016-07-19 2020-02-26 オリンパス株式会社 画像処理装置、内視鏡システム、プログラム及び画像処理装置の作動方法
EP3698702B1 (en) * 2017-10-17 2023-06-07 FUJIFILM Corporation Medical image processing device and endoscope device
CN111989910B (zh) * 2018-04-12 2021-12-14 三菱电机株式会社 图像处理装置、图像处理方法和记录有图像处理程序的记录介质
CN111989023B (zh) 2018-08-31 2024-02-02 Hoya株式会社 内窥镜系统及使内窥镜系统工作的方法
US11388432B2 (en) * 2018-12-10 2022-07-12 Qualcomm Incorporated Motion estimation through input perturbation
JP7289211B2 (ja) * 2019-03-26 2023-06-09 オリンパス株式会社 超音波観測装置、超音波観測装置の作動方法、及び超音波観測装置の作動プログラム
CN111863209B (zh) * 2019-04-25 2023-08-18 天津御锦人工智能医疗科技有限公司 基于图像识别的结肠镜检查质量评估工作站
US11288772B2 (en) 2019-06-20 2022-03-29 Cilag Gmbh International Super resolution and color motion artifact correction in a pulsed fluorescence imaging system
US11360028B2 (en) * 2019-06-20 2022-06-14 Cilag Gmbh International Super resolution and color motion artifact correction in a pulsed hyperspectral, fluorescence, and laser mapping imaging system
US11793399B2 (en) 2019-06-20 2023-10-24 Cilag Gmbh International Super resolution and color motion artifact correction in a pulsed hyperspectral imaging system
US11276148B2 (en) 2019-06-20 2022-03-15 Cilag Gmbh International Super resolution and color motion artifact correction in a pulsed fluorescence imaging system
US11398011B2 (en) 2019-06-20 2022-07-26 Cilag Gmbh International Super resolution and color motion artifact correction in a pulsed laser mapping imaging system
CN113676670B (zh) * 2021-08-26 2022-09-27 荣耀终端有限公司 拍照方法、电子设备、芯片系统及存储介质

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0213069A (ja) * 1988-06-30 1990-01-17 Canon Inc 雑音除去装置
JP3326819B2 (ja) 1992-07-31 2002-09-24 株式会社島津製作所 画像処理装置
JPH06121192A (ja) * 1992-10-08 1994-04-28 Sony Corp ノイズ除去回路
WO2001035636A1 (en) * 1999-11-11 2001-05-17 Stmicroelectronics Asia Pacific Pte Ltd. Spatio-temporal video noise reduction system
US7199838B2 (en) * 2004-06-17 2007-04-03 Samsung Electronics Co., Ltd. Motion adaptive noise reduction apparatus and method for video signals
US7821578B2 (en) * 2006-04-07 2010-10-26 Marvell World Trade Ltd. Reconfigurable self-calibrating adaptive noise reducer
FR2916339A1 (fr) * 2007-05-25 2008-11-28 Commissariat Energie Atomique Sonde optique per-operatoire bi-spectrale.
CN100559836C (zh) * 2007-09-20 2009-11-11 宝利微电子系统控股公司 一种数字图像降噪方法
JP5052301B2 (ja) 2007-11-21 2012-10-17 オリンパス株式会社 画像処理装置、画像処理方法
US8199813B2 (en) * 2007-12-18 2012-06-12 GE Inspection Technologies Method for embedding frames of high quality image data in a streaming video
JP2010171808A (ja) * 2009-01-23 2010-08-05 Olympus Corp 動画像ノイズ低減処理装置及び画像処理プログラム
JP4893758B2 (ja) * 2009-01-23 2012-03-07 ソニー株式会社 画像処理装置、画像処理方法および撮像装置
JP5143038B2 (ja) * 2009-02-02 2013-02-13 オリンパス株式会社 画像処理装置及び画像処理方法
JP2011124694A (ja) * 2009-12-09 2011-06-23 Sony Corp 画像処理装置と画像処理方式および撮像装置
JP5663283B2 (ja) 2010-12-02 2015-02-04 オリンパス株式会社 内視鏡画像処理装置及びプログラム

Similar Documents

Publication Publication Date Title
JP2013078460A5 (ja)
WO2011061940A1 (ja) 画像処理方法および画像処理装置
US10397549B2 (en) Compact array of imaging devices with supplemental imaging unit
CN102077572B (zh) 用于在成像系统中防止运动模糊和重影的方法及装置
WO2013051593A1 (ja) 画像処理装置、内視鏡装置、画像処理方法及び画像処理プログラム
US8711252B2 (en) Image processing device and information storage medium including motion vector information calculation
JP2015029865A5 (ja) 画像処理装置および方法、眼底画像処理装置、並びに眼底画像撮影装置
WO2008079301A3 (en) Methods and apparatus for 3d surface imaging using active wave-front sampling
JP2015029865A (ja) 画像処理装置および方法、眼底画像処理装置、画像撮影方法、並びに眼底画像撮影装置および方法
JP2010166558A (ja) 撮像装置
JP2012249070A5 (ja)
JP2014206564A5 (ja)
US20120307009A1 (en) Method and apparatus for generating image with shallow depth of field
JP2013115717A5 (ja)
US20150363942A1 (en) Image processing device, endoscope apparatus, image processing method, and information storage device
JP2017118296A5 (ja)
JP5325800B2 (ja) 画像処理装置、画像撮影装置、画像表示装置、およびプログラム
JP2013128723A (ja) 内視鏡装置
JP2012008212A5 (ja)
JP2015046019A (ja) 画像処理装置、撮像装置、撮像システム、画像処理方法、プログラム、および、記憶媒体
JP2015018084A5 (ja) 撮像装置、カメラシステム及び画像処理方法
JP2013034658A5 (ja)
JP2010273183A5 (ja)
JP2013230289A5 (ja)
JP2008311850A (ja) 画像処理装置およびこれを備えた内視鏡装置