JP2011078084A - 信号の時間分解能の増加方法およびシステム - Google Patents
信号の時間分解能の増加方法およびシステム Download PDFInfo
- Publication number
- JP2011078084A JP2011078084A JP2010171864A JP2010171864A JP2011078084A JP 2011078084 A JP2011078084 A JP 2011078084A JP 2010171864 A JP2010171864 A JP 2010171864A JP 2010171864 A JP2010171864 A JP 2010171864A JP 2011078084 A JP2011078084 A JP 2011078084A
- Authority
- JP
- Japan
- Prior art keywords
- signal
- frame
- frames
- input sequence
- encoding
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/40—Scaling the whole image or part thereof
- G06T3/4053—Super resolution, i.e. output image resolution higher than sensor resolution
Abstract
【解決手段】この方法は、第1の時間分解能を有するフレームの入力シーケンスとして信号を取得する。この信号は実質的周期信号であり、フレームの入力シーケンスにおけるフレームは符号化パターンにしたがって符号化される。この方法は、第2の時間分解能が第1の時間分解能よりも大きくなるような当該第2の時間分解能を有するフレームの出力シーケンスにフレームの入力シーケンスを変換する。この変換はフーリエ領域における信号のスパース性に基づく。
【選択図】図1
Description
高速ビデオ信号を記録するための制約の1つは、動きブレを低減するために露出時間が短いということである。これには、照明の増加または高利得撮像装置の使用が必要とされる。しかしながら、多くの用途では、明るい光を使用することができない。さらに、高速カメラは高価である。
従来のストロボスコープは、動きが静止してまたはほとんど静止して見えるように、照明の周期的な短いバーストをシーンの周期的な動きに同期させている。この同期が正確である場合には、動きは静止する。この同期が、動きよりもわずかに遅いかまたは速いとき、動きは、ゆっくりと後進または前進するように見える。これらの効果を達成可能にするには、動きの周期が前もって知られていなければならない。また、照明は周期的な短いバーストであるので、全照明時間は非常に小さく、極めて明るい光源が必要とされる。したがって、ほとんどのストロボスコープは、非常に明るいフラッシュを使用して、低減された照明を補償している。
多くのコンピュータビジョンアプリケーションは、実質的に周期的な動きを取り扱っている。たとえば、周期トレース(period trace)は、周期的な動きの時間変動の記述を提供し、動きの傾向および不規則性を検出するのに使用することができる。
図4は、観測モデル400を示す。時間tにわたる、基本周波数fpを有する実質的周期信号x(t)110は、周期P=1/fp 215および最大周波数fMaxを有する。この信号は、実質的に周期的であるので、以下のように表すことができる。
図5は、信号モデル500を示す。信号xは、以下である。
取得された強度値は変調されるので、入力シーケンスの出力シーケンスへの変換160は、式(5)の線形システムを解くことによって実行される。
信号110の周期性のために、フーリエ係数ベクトルsは、K個の非ゼロの要素しか含まない。すなわち、信号は、K−スパース(K−sparse)である。その上、各非ゼロのフーリエ係数は、信号の基本周波数fpの高調波である。すなわち、ベクトルsは、jfPに対応するインデックスを有する要素に非ゼロの値を有する。ここで、jは、正の整数である。したがって、この発明の実施の形態1は、基本周波数fpを求め、式(5)の劣決定性を覆す。
医用画像等の多くの用途では、たとえば声帯といった身体の振動部分または発振部分は、或る異常に起因して規則的な間隔で「動揺」する可能性がある。視覚信号は実質的に周期的であるが、全体が破損される可能性があり、信号に異常が引き起こされる可能性がある。異常信号xa(t)は、xa(t)=x(t)+a(t)として記述することができる。ここで、信号の異常a(t)は、規則的な周期の箇所を除いて大部分ゼロである。多くの用途では、異常部分a(t)は、望ましくない破損であり、実質的周期信号x(t)の正確な回復が望まれる。
Claims (19)
- 実質的に周期的な信号の時間分解能を増加させるための方法であって、前記方法のステップを実行するためのプロセッサを備え、
第1の時間分解能を有するフレームの入力シーケンスとして信号を取得するステップであって、前記信号は実質的周期信号であり、各フレームは符号化パターンにしたがって符号化される、取得ステップと、
第2の時間分解能が前記第1の時間分解能よりも大きくなるような前記第2の時間分解能を有するフレームの出力シーケンスに前記フレームの入力シーケンスを変換するステップであって、フーリエ領域における前記信号のスパース性に基づく、変換ステップと、
を含む、方法。 - 前記フレームの入力シーケンスの各フレームの信号積分時間中に、前記符号化パターンにしたがってカメラのシャッタを開閉することにより、前記信号を符号化するステップ、
をさらに含む、請求項1に記載の方法。 - 前記フレームの入力シーケンスの各フレームの信号積分時間中に、前記符号化パターンにしたがってシャッタを交互に不透明および透明にすることにより、前記信号を符号化するステップ、
をさらに含む、請求項1に記載の方法。 - 前記フレームの入力シーケンスの各フレームの信号積分時間中に、前記符号化パターンにしたがってセンサによる光の積分をオンおよびオフにすることにより、前記信号を符号化するステップ、
をさらに含む、請求項1に記載の方法。 - 前記符号化パターンは、時間的に変化していく、請求項1に記載の方法。
- 前記符号化パターンは、2値パターンである、請求項1に記載の方法。
- 前記符号化パターンは、確率分布関数にしたがう、請求項1に記載の方法。
- 前記フレームの入力シーケンスは、第1のフレームが前記符号化パターンの第1の部分にしたがって符号化され、第2のフレームが前記符号化パターンの第2の部分にしたがって符号化され、前記符号化パターンの前記第1の部分が前記符号化パターンの前記第2の部分と異なるような、前記第1のフレームおよび前記第2のフレームを含む、請求項1に記載の方法。
- 前記フレームの入力シーケンスの各フレームの信号積分時間中に、前記符号化パターンにしたがって光源をオンおよびオフに交互に切り替えることにより、前記信号を符号化するステップ、
をさらに含む、請求項1に記載の方法。 - 前記変換ステップは、
観測モデルにしたがって前記信号を表すステップと、
信号モデルにしたがって前記信号を表すステップと、
前記観測モデルと前記信号モデルとを結合するステップであって、それによって、混合モデルを作成する、結合するステップと、
前記混合モデルに基づいて前記フレームの出力シーケンスを求めるステップと、
をさらに含む、請求項1に記載の方法。 - 前記変換するステップは、
y=Cx+η=CBs+η=As+η
にしたがって、前記入力シーケンスと前記出力シーケンスとの間の関係を表すステップ、
をさらに含み、ここで、yは前記フレームの入力シーケンスにおける前記信号の値を表し、Cは符号化行列であり、前記符号化行列の値は前記符号化パターンに依存し、Bは逆フーリエ変換行列であり、sはフーリエ係数ベクトルであり、xは前記フレームの出力シーケンスにおける前記信号の値を表し、Aは前記変換の混合行列であり、ηは雑音である、請求項1に記載の方法。 - 前記信号の基本周波数を求めるステップと、
前記フーリエ係数ベクトルsを求めるステップと、
x=Bsにしたがって前記フレームの出力シーケンスを求めるステップと、
をさらに含む、請求項11に記載の方法。 - 基本周波数の可能な値のセットを取得するステップと、
基本周波数の前記可能な値のセットにおける基本周波数の各値について、前記フーリエ係数ベクトルを求めるステップと、
各フーリエ係数ベクトルについて、前記基本周波数の関数としての誤差を求めるステップであって、それによって、誤差のセットを作成する、求めるステップと、
前記誤差のセットにおける最小の誤差に対応する前記フーリエ係数ベクトルを選択するステップと、
をさらに含む、請求項12に記載の方法。 - 実質的周期信号の時間分解能を増加させるためのシステムであって、
第1の時間分解能を有するフレームの入力シーケンスとして信号を取得するための手段であって、前記信号は実質的周期信号であり、前記フレームの入力シーケンスにおける前記フレームは符号化パターンにしたがって符号化される、取得するための手段と、
第2の時間分解能が前記第1の時間分解能よりも大きくなるような前記第2の時間分解能を有するフレームの出力シーケンスに前記フレームの入力シーケンスを変換するための手段であって、前記変換は、フーリエ領域における前記信号のスパース性に基づく、変換するための手段と、
を備える、システム。 - 前記フレームの入力シーケンスのフレームの信号積分時間中に前記符号化パターンにしたがって前記信号を符号化するための手段、
をさらに備える、請求項14に記載のシステム。 - 前記フレームの入力シーケンスにおける前記フレームは、異なって符号化される、請求項14に記載のシステム。
- 実質的周期信号の時間分解能を増加させるためのシステムであって、
第1の時間分解能を有するフレームの入力シーケンスとして信号を取得するように構成されたセンサであって、前記信号は実質的周期信号である、センサと、
符号化シーケンスにしたがって前記フレームの入力シーケンスにおける前記フレームを符号化するように構成されたシャッタと、
第2の時間分解能が前記第1の時間分解能よりも大きくなるような前記第2の時間分解能を有するフレームの出力シーケンスに前記フレームの入力シーケンスを変換するように構成された変換モジュールであって、前記変換は、フーリエ領域における前記信号のスパース性に基づく、変換モジュールと、
を備える、システム。 - 前記フレームの出力シーケンスを記憶するための記憶装置、
をさらに備える、請求項17に記載のシステム。 - 前記フレームの出力シーケンスを表示するように構成されたディスプレイ、
をさらに備える、請求項17に記載のシステム。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US12/571,417 | 2009-09-30 | ||
US12/571,417 US8223259B2 (en) | 2009-09-30 | 2009-09-30 | Increasing temporal resolution of signals |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2011078084A true JP2011078084A (ja) | 2011-04-14 |
JP2011078084A5 JP2011078084A5 (ja) | 2013-07-11 |
JP5398659B2 JP5398659B2 (ja) | 2014-01-29 |
Family
ID=43779951
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010171864A Expired - Fee Related JP5398659B2 (ja) | 2009-09-30 | 2010-07-30 | 信号の時間分解能の増加方法およびシステム |
Country Status (2)
Country | Link |
---|---|
US (1) | US8223259B2 (ja) |
JP (1) | JP5398659B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013093707A (ja) * | 2011-10-25 | 2013-05-16 | Nippon Telegr & Teleph Corp <Ntt> | 信号処理システム及び信号処理方法 |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5276529B2 (ja) * | 2009-06-18 | 2013-08-28 | キヤノン株式会社 | 画像処理装置およびその方法 |
JP5656705B2 (ja) * | 2010-06-01 | 2015-01-21 | キヤノン株式会社 | 撮像装置、撮像装置の制御方法 |
JP5543280B2 (ja) | 2010-06-01 | 2014-07-09 | キヤノン株式会社 | 画像処理装置、画像処理方法 |
US8405763B2 (en) * | 2010-12-23 | 2013-03-26 | Mitsubishi Electric Research Laboratories, Inc. | Video camera for reconstructing varying spatio-temporal resolution videos |
US8754929B1 (en) * | 2011-05-23 | 2014-06-17 | John Prince | Real time vergence control for 3D video capture and display |
JP2019114956A (ja) * | 2017-12-25 | 2019-07-11 | キヤノン株式会社 | 画像処理装置、撮像システム、移動体 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006050343A (ja) * | 2004-08-05 | 2006-02-16 | Univ Of Electro-Communications | 静止画像形成方法及びその記録装置 |
JP2008310797A (ja) * | 2007-06-12 | 2008-12-25 | Mitsubishi Electric Research Laboratories Inc | カメラによって或るシーンから取得される画像内の動いている物体の解像度を高めるための方法 |
JP2009532928A (ja) * | 2006-05-08 | 2009-09-10 | ミツビシ・エレクトリック・リサーチ・ラボラトリーズ・インコーポレイテッド | シーンの画像におけるぶれを低減する方法及びシーンの画像のぶれを除去する装置 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6631240B1 (en) * | 1997-07-23 | 2003-10-07 | University Of Washington | Multiresolution video |
AU2002366985A1 (en) * | 2001-12-26 | 2003-07-30 | Yeda Research And Development Co.Ltd. | A system and method for increasing space or time resolution in video |
US7580620B2 (en) | 2006-05-08 | 2009-08-25 | Mitsubishi Electric Research Laboratories, Inc. | Method for deblurring images using optimized temporal coding patterns |
US7639289B2 (en) * | 2006-05-08 | 2009-12-29 | Mitsubishi Electric Research Laboratories, Inc. | Increasing object resolutions from a motion-blurred image |
US8451338B2 (en) * | 2008-03-28 | 2013-05-28 | Massachusetts Institute Of Technology | Method and apparatus for motion invariant imaging |
-
2009
- 2009-09-30 US US12/571,417 patent/US8223259B2/en not_active Expired - Fee Related
-
2010
- 2010-07-30 JP JP2010171864A patent/JP5398659B2/ja not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006050343A (ja) * | 2004-08-05 | 2006-02-16 | Univ Of Electro-Communications | 静止画像形成方法及びその記録装置 |
JP2009532928A (ja) * | 2006-05-08 | 2009-09-10 | ミツビシ・エレクトリック・リサーチ・ラボラトリーズ・インコーポレイテッド | シーンの画像におけるぶれを低減する方法及びシーンの画像のぶれを除去する装置 |
JP2008310797A (ja) * | 2007-06-12 | 2008-12-25 | Mitsubishi Electric Research Laboratories Inc | カメラによって或るシーンから取得される画像内の動いている物体の解像度を高めるための方法 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013093707A (ja) * | 2011-10-25 | 2013-05-16 | Nippon Telegr & Teleph Corp <Ntt> | 信号処理システム及び信号処理方法 |
Also Published As
Publication number | Publication date |
---|---|
US8223259B2 (en) | 2012-07-17 |
US20110075020A1 (en) | 2011-03-31 |
JP5398659B2 (ja) | 2014-01-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5398659B2 (ja) | 信号の時間分解能の増加方法およびシステム | |
Zhang et al. | Rethinking noise synthesis and modeling in raw denoising | |
Veeraraghavan et al. | Coded strobing photography: Compressive sensing of high speed periodic videos | |
US11700462B2 (en) | System for performing ambient light image correction | |
WO2007020760A1 (ja) | 画像処理方法、画像処理システムおよび画像処理プログラム | |
CN102356631A (zh) | 图像处理装置、信号处理方法以及程序 | |
JP2015511433A (ja) | 適応型多次元データ分解 | |
CN108564090B (zh) | 一种基于信号加权的快速傅里叶单像素成像方法 | |
Suman et al. | Image enhancement using geometric mean filter and gamma correction for WCE images | |
US10839489B2 (en) | Techniques for synthesizing film grain | |
CN104469133B (zh) | 图像处理方法及装置 | |
EP4078506B1 (en) | A system for performing ambient light image correction | |
KR101690887B1 (ko) | 일반카메라를 활용한 초고속 주기신호 복원 및 롤링셔터효과 보상 방법 | |
CN110689486A (zh) | 图像的处理方法、装置、设备及计算机可存储介质 | |
CN116381334A (zh) | 一种基于事件相机的电网频率估计方法及系统 | |
Renò et al. | A powerline-tuned camera trigger for ac illumination flickering reduction | |
CN111212240B (zh) | 图像生成装置、图像生成方法和记录介质 | |
JP2011151454A (ja) | 画像処理装置、撮像機器及び画像処理方法 | |
EP3430472B1 (en) | Method of producing video images that are independent of the background lighting | |
Yang et al. | Multi-scale extreme exposure images fusion based on deep learning | |
WO2022044368A1 (ja) | 機械学習装置、画像処理装置、機械学習方法、及び機械学習プログラム | |
Oliveira et al. | A CMOS imaging system featuring focal-plane compression based on DPCM and VQ | |
JP2015186131A (ja) | 撮像システムおよび撮像装置 | |
WO2018056065A1 (ja) | 画像データ表示システム、画像データ表示方法、および画像データ表示プログラム記録媒体 | |
CN117788311A (zh) | 基于包围摄影的自监督自适应的图像复原和增强方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130529 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130529 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20130529 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20130618 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130716 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130902 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130924 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20131022 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5398659 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |