JP2011078084A - 信号の時間分解能の増加方法およびシステム - Google Patents

信号の時間分解能の増加方法およびシステム Download PDF

Info

Publication number
JP2011078084A
JP2011078084A JP2010171864A JP2010171864A JP2011078084A JP 2011078084 A JP2011078084 A JP 2011078084A JP 2010171864 A JP2010171864 A JP 2010171864A JP 2010171864 A JP2010171864 A JP 2010171864A JP 2011078084 A JP2011078084 A JP 2011078084A
Authority
JP
Japan
Prior art keywords
signal
frame
frames
input sequence
encoding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2010171864A
Other languages
English (en)
Other versions
JP2011078084A5 (ja
JP5398659B2 (ja
Inventor
N Veeraraghavan Ashok
アショク・エヌ・ヴェーララグハヴァン
Amit K Agrawal
アミット・ケイ・アグラワル
N Raskar Ramesh
ラメッシュ・エヌ・ラスカー
Dikpal N Reddy
ディクパル・エヌ・レディ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Research Laboratories Inc
Original Assignee
Mitsubishi Electric Research Laboratories Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Research Laboratories Inc filed Critical Mitsubishi Electric Research Laboratories Inc
Publication of JP2011078084A publication Critical patent/JP2011078084A/ja
Publication of JP2011078084A5 publication Critical patent/JP2011078084A5/ja
Application granted granted Critical
Publication of JP5398659B2 publication Critical patent/JP5398659B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformation in the plane of the image
    • G06T3/40Scaling the whole image or part thereof
    • G06T3/4053Super resolution, i.e. output image resolution higher than sensor resolution

Abstract

【課題】この発明の実施の形態は、実質的周期信号の時間分解能を増加させるためのシステムおよび方法を開示する。
【解決手段】この方法は、第1の時間分解能を有するフレームの入力シーケンスとして信号を取得する。この信号は実質的周期信号であり、フレームの入力シーケンスにおけるフレームは符号化パターンにしたがって符号化される。この方法は、第2の時間分解能が第1の時間分解能よりも大きくなるような当該第2の時間分解能を有するフレームの出力シーケンスにフレームの入力シーケンスを変換する。この変換はフーリエ領域における信号のスパース性に基づく。
【選択図】図1

Description

この発明は、包括的には信号の処理に関し、より詳細には、周期信号または準周期信号の時間分解能を増加させる方法およびシステムに関する。
周期信号は、自然界および機械においてありふれたものである。準周期信号は、正確には周期性はなく、かなり反復性のある信号である。以下では、実質的周期信号(substantially periodic signal)は、周期信号および準周期信号を含む。心臓の鼓動および呼吸等の多数の生物学的活動、産業オートメーションプロセス、ならびにハンドミキサおよび冷却ファン等の消費者製品は、実質的周期信号を生成する。
高速撮像ハードウェア
高速ビデオ信号を記録するための制約の1つは、動きブレを低減するために露出時間が短いということである。これには、照明の増加または高利得撮像装置の使用が必要とされる。しかしながら、多くの用途では、明るい光を使用することができない。さらに、高速カメラは高価である。
ストロービング
従来のストロボスコープは、動きが静止してまたはほとんど静止して見えるように、照明の周期的な短いバーストをシーンの周期的な動きに同期させている。この同期が正確である場合には、動きは静止する。この同期が、動きよりもわずかに遅いかまたは速いとき、動きは、ゆっくりと後進または前進するように見える。これらの効果を達成可能にするには、動きの周期が前もって知られていなければならない。また、照明は周期的な短いバーストであるので、全照明時間は非常に小さく、極めて明るい光源が必要とされる。したがって、ほとんどのストロボスコープは、非常に明るいフラッシュを使用して、低減された照明を補償している。
処理
多くのコンピュータビジョンアプリケーションは、実質的に周期的な動きを取り扱っている。たとえば、周期トレース(period trace)は、周期的な動きの時間変動の記述を提供し、動きの傾向および不規則性を検出するのに使用することができる。
反復的な動きを受ける移動する表面および変形可能な表面の稠密深さ(dense depth)および色サンプルを得るには、構造化光を使用することができる。信号の高い時間分解能および空間分解能を得る別の代替的な方法は、ハイブリッド撮像デバイスを介するものである。ハイブリッド撮像デバイスは、高フレームレートではあるが低分解能のビデオカメラと共に、高空間分解能のデジタルカメラを含む。また、直線的な動きによって引き起こされる画像のブレを低減するには、符号化露出も使用することができる。
明るい照明を使用することもなく高価な高利得センサを使用することもなく、カメラによって取得される実質的周期信号の時間分解能を増加させることが望まれている。
この発明の実施の形態は、実質的周期信号の時間分解能を増加させるためのシステムおよび方法を開示する。
1つの実施の形態は、第1の時間分解能を有するフレームの入力シーケンスとして信号を取得し、第2の時間分解能が第1の時間分解能よりも大きくなるような当該第2の時間分解能を有するフレームの出力シーケンスにフレームの入力シーケンスを変換する方法であって、この信号は実質的周期信号であり、フレームの入力シーケンスにおけるフレームは符号化パターンにしたがって符号化され、この変換はフーリエ領域における信号のスパース性に基づく、方法を開示する。
別の実施の形態は、実質的周期信号の時間分解能を増加させるためのシステムであって、第1の時間分解能を有するフレームの入力シーケンスとして信号を取得するように構成されたセンサであって、信号は実質的周期信号である、センサ、符号化シーケンスにしたがってフレームの入力シーケンスにおけるフレームを符号化するように構成されたシャッタ、および第2の時間分解能が第1の時間分解能よりも大きくなるような当該第2の時間分解能を有するフレームの出力シーケンスにフレームの入力シーケンスを変換するように構成された変換モジュールであって、変換は、フーリエ領域における信号のスパース性に基づく、変換モジュール、を含むシステムを開示する。
この発明の実施の形態1による周期信号の時間分解能を増加させるための方法のブロック図である。 従来のストロービングのタイミング図である。 符号化ストロービングのタイミング図である。 この発明の実施の形態1を使用するシステムに由来する一例である。 この発明の実施の形態1による観測モデルの模式図である。 この発明の実施の形態1による信号モデルの模式図である。 この発明の実施の形態1による観測モデルと信号モデルとを結合したものの模式図である。 この発明の実施の形態1による信号の基本周期を求めるための方法のブロック図である。
図1は、この発明の実施の形態1による実質的周期信号の時間分解能を増加させるための方法を示す。以下では、実質的周期信号は、周期信号および準周期信号を含む。これらの信号は、視覚、音響、電気、またはそれらの組み合わせとすることができる。
信号110は、第1の時間分解能155(フレーム毎秒)を有するフレーム151の入力シーケンス150として、たとえばカメラといったセンサ120によってシーン115から取得される。信号100は、実質的に周期的であり、たとえばスピン歯ブラシといった実質的に周期的な事象115に対応する。
いくつかの実施の形態では、信号110を符号化する(125)のに、符号化パターン140がシャッタコントローラ130によって使用される。たとえば、シャッタコントローラは、単一の画像またはフレームの信号積分中にカメラシャッタを開閉する。これについては、米国特許第7,580,620号明細書を参照されたい。この米国特許は、参照により本明細書に援用される。符号化パターン140は、時間的に変化していく。いくつかの実施の形態では、符号化パターンは、入力シーケンスにおけるフレームが異なって符号化されるように決定される。本明細書で定義するように、異なって符号化されたフレームは、第1のフレームが符号化パターンの第1の部分にしたがって符号化され、第2のフレームが符号化パターンの第2の部分にしたがって符号化され、符号化パターンの第1の部分が符号化パターンの第2の部分と異なるような、少なくとも第1のフレームおよび第2のフレームを含む。
入力シーケンス150が変換されて(160)、第2の時間分解能が第1の時間分解能よりも大きくなるような第2の時間分解能175を有するフレームの出力シーケンス170が作成される。このフレームの出力シーケンスは、たとえば、表示デバイス、記憶装置、または送信機(図示せず)に出力することができる。
図2A〜図2Bは、従来のストロービングおよびこの発明の実施の形態1による符号化ストロービングをそれぞれ示す。従来のストロービングでは、信号210は、所定のストロービング周期215に同期したサンプリング時間230の期間中にサンプリングされる(220)。サンプリング時間210の期間中に取得された信号のサンプルは、1つのフレーム151を生成する。周期およびサンプリング時間が同じである場合、信号は静止して見える。サンプリング時間が周期とわずかに異なる場合、信号は、ゆっくりと遅れるように見えるかまたはゆっくりと進むように見える。
この発明の実施の形態1では、信号は、各フレームの光を積分している間に符号化パターン140にしたがってシャッタが複数回オンおよびオフにされる間、取得される。別の実施の形態では、外部シャッタがカメラの前に置かれる。このシャッタは、信号積分時間中に符号化パターンにしたがって交互に不透明および透明にされる。さらに別の実施の形態では、センサ120における光の積分は、信号積分時間中に符号化パターンにしたがってオン/オフにされる。
たとえば、パターン140にしたがってフレーム240を取得している間、信号は、パターンが「1」であるときにのみ積分され(242)、2値パターンが「0」に等しいときは積分されない(241)。図2Bに示す非限定的な例では、フレーム240の符号化パターンは、「111001110011111」である。その結果、単一のフレームの積分は、時間的に変調または符号化される。
いくつかの実施の形態では、符号化パターンは、変調が独立同一分布(i.i.d.)ベルヌーイ数にしたがってシーケンス150のフレームと共に変化するように選択される。
フレームの入力シーケンスは、スパース復元(sparse reconstruction)方法および圧縮センシング方法から導出された技法を使用して、変換モジュール160により出力シーケンスに変換される。
図3は、20fpsの第1の時間分解能301および1000fpsの第2の時間分解能302を示す。信号110は、回転翼の1つに数字「1」310を有する扇風機によって生成される。この数字は、より高い分解能シーケンスでのみ見える。
たとえば電気信号またはオーディオ信号といった非視覚信号を処理する実施の形態では、シャッタコントローラ130およびカメラ120は、非視覚信号を取得するように構成された適切なセンサと取り替えられる。たとえば、電気信号または電子信号の場合、カメラ120は、従来の電圧計または電流計と取り替えられる一方、シャッタコントローラ130は、入来電気信号の符号化を実行する回路と取り替えられる。同様に、オーディオ信号の場合、カメラ120は、マイクロホンと取り替えられ、シャッタコントローラ130は、オーディオ変調デバイスと取り替えられる。
観測モデル
図4は、観測モデル400を示す。時間tにわたる、基本周波数fを有する実質的周期信号x(t)110は、周期P=1/f 215および最大周波数fMaxを有する。この信号は、実質的に周期的であるので、以下のように表すことができる。
Figure 2011078084
信号x(t)のフーリエ変換は、jfPに対応する周波数でのみエネルギーを含む。ここで、j∈{−Q,−(Q−1),…,0,1,…,Q}であり、Qは実数であり、xDCは、そのピクセルの平均輝度である。したがって、実質的周期信号は、最大でK=2Q+1個の非ゼロのフーリエ係数およびフーリエ領域のスパース表現を有する。
信号110は、周波数帯域が以下のように制限される。
Figure 2011078084
第2の時間分解能175を有するシーケンスとして信号を正確に表すために、信号のサンプルは、δt=1/(2fMax)の時間間隔で取得される。ここで、δtは、第2の時間分解能のサンプリング周期に対応する。取得時間がNδtである場合、信号のN個のサンプルが取得される。N個の未知のサンプル421は、N次元ベクトルx420として表される。従来のカメラでは、放射輝度が、各露出時間中にピクセルにおいて積分され、そのピクセルの強度として記録される。この発明の実施の形態1は、符号化パターン140にしたがって積分している間、入来放射輝度を変調したものを符号化する(125)。したがって、ピクセルの強度値y430は、以下である。
y=Cx+η ・・・(2)
ここで、M×N符号化行列C440は、フレームの継続時間の間、変調および積分の双方を実行する。ここで、Mは、フレームの入力シーケンスにおけるフレームの個数であり、Nは、フレームの出力シーケンスにおけるフレームの個数であり、M≪Nであり、ηは雑音である。
センサ120が、T秒411ごとにフレームを取得する場合、入力シーケンスにおけるフレームの全個数は、M=Nδt/Tであり、当該シーケンスの場合、ピクセルの強度値yはM×1ベクトルである。M≪Nであり且つf=1/Tが第1の時間分解能である場合、実施の形態1によるアップサンプリング係数は、以下である。
Figure 2011078084
たとえば1つの実施の形態では、fMax=1000Hzであり、f=25fpsである。したがって、サンプリング係数は80である。すなわち、カメラ120のフレームレートは、同等の高速ビデオカメラよりも80倍低速である。有効な変調は、50%の透過を有する符号で達成することができる。すなわち、シャッタは、2分の1の時間開いている。しかしながら、この発明のさまざまな実施の形態は、異なる透過比を使用する。
信号モデル
図5は、信号モデル500を示す。信号xは、以下である。
x=Bs ・・・(4)
ここで、Bは、フーリエ基底要素を含む列を有する逆フーリエ変換行列510であり、ベクトルsは、フーリエ係数ベクトル520である。信号x(t)は実質的に周期的であるので、フーリエ係数ベクトルsはスパースである。すなわち、少数の非ゼロの要素525を有する。
信号モデルと観測モデルとを結合すると、取得されたサンプルは、以下によって基底係数に関係付けられる。
y=Cx+η=CBs+η=As+η ・・・(5)
ここで、Aは、変換160の混合行列である。
変換
取得された強度値は変調されるので、入力シーケンスの出力シーケンスへの変換160は、式(5)の線形システムを解くことによって実行される。
図6は、取得されたサンプルとフーリエ係数ベクトルsとの間の関係を示す。上述したように、ベクトルyは、次元M×1を有する。ベクトルyの各要素は、対応するフレームにおいて取得された信号の値である。たとえば、信号110がビデオ信号である場合、ベクトルyの値は、ピクセルの強度を表す。ベクトルyの値は、フレームの入力シーケンスが取得された後に分かる。
符号化行列Cは、サイズM×Nを有する。符号化行列の値は、既知であり、図4に示すように、符号化パターン140に依存する。フーリエ変換行列は、サイズN×Nを有し、フーリエ変換行列の値は既知である。したがって、未知のベクトルxを求めるために、変換には、信号の変調された強度yから係数sを復元することが必要とされる。しかしながら、未知の要素の個数が、たとえば1つの実施の形態では、80といったアップサンプリング係数Uにより既知の変数の個数を超えている。したがって、式(5)のシステムは、厳しく劣決定的である。
したがって、この発明の実施形態は、式(5)を解くために、フーリエ係数sのスパース性等の信号の周期性についての追加の知識を使用する。
スパース性強化変換(Sparsity Enforcing Transformation)
信号110の周期性のために、フーリエ係数ベクトルsは、K個の非ゼロの要素しか含まない。すなわち、信号は、K−スパース(K−sparse)である。その上、各非ゼロのフーリエ係数は、信号の基本周波数fの高調波である。すなわち、ベクトルsは、jfPに対応するインデックスを有する要素に非ゼロの値を有する。ここで、jは、正の整数である。したがって、この発明の実施の形態1は、基本周波数fを求め、式(5)の劣決定性を覆す。
図7は、信号110の基本周波数を求めるための方法700のブロック図を示す。方法700は、基本周波数の異なる可能な値について実行される(710)。各基本周波数715について、フーリエ係数ベクトルs785が求められ、取得されたベクトルy775と比較されて、基本周波数の関数としての誤差が求められる(770)。最小の誤差となるフーリエ係数ベクトル795が選択される。
基本周波数の可能な値のセットの中の基本周波数の各選択された値について(710)、フーリエ係数の縮小ベクトルsred725が求められる(720)。縮小するステップ720は、jfPに等しくないインデックスを有する要素をフーリエ係数ベクトルsから除去する。したがって、ベクトルsredは、K個の要素を有する。ここで、K≪Nである。したがって、ベクトルsから除去された要素のインデックスに対応するインデックスを有する列を行列Bから除去することによって、行列B 510のサイズも縮小され、サイズM×Kを有するBred735が作成される。同様に、有効な混合行列A=BCもサイズが縮小され、サイズM×Kを有する縮小混合行列Ared755、すなわちAred=BredCが作成される(750)。
式(5)は、以下に書き換えることができる。
y=Aredred ・・・(6)
K≦Mである場合、式(6)は、基本周波数715に対応する縮小フーリエ係数ベクトル785を求めることができる(760)。この求めるステップ760は、たとえば、以下による線形逆変換技法を使用することができる。
Figure 2011078084
ここで、A redは、縮小混合行列Aredの疑似逆行列である。
各縮小フーリエ係数ベクトル785について、基本周波数の関数としての誤差790が求められ(770)、たとえば、以下にしたがって誤差のセットが作成される。
Figure 2011078084
誤差を最小にするフーリエ係数ベクトル795が選択される。ベクトルsが分かると、第2の時間分解能を有する信号の未知の値が、式(4)にしたがって求められる。
実質的周期信号における異常
医用画像等の多くの用途では、たとえば声帯といった身体の振動部分または発振部分は、或る異常に起因して規則的な間隔で「動揺」する可能性がある。視覚信号は実質的に周期的であるが、全体が破損される可能性があり、信号に異常が引き起こされる可能性がある。異常信号x(t)は、x(t)=x(t)+a(t)として記述することができる。ここで、信号の異常a(t)は、規則的な周期の箇所を除いて大部分ゼロである。多くの用途では、異常部分a(t)は、望ましくない破損であり、実質的周期信号x(t)の正確な回復が望まれる。
異常は、周期全体を破損し、比較的まれに発生することから、1つの実施の形態は、符号化ストロービング観測結果yから異常周期を直接検出する。異常は時間領域ではスパースであり、実質的周期信号はフーリエ領域ではスパースであるので、異常信号は、結合基底(joint basis)B=[BI]においてスパースである。ここで、BはN×2N行列である。
係数s=[sを有する異常信号x=Bは、実質的周期信号の周波数成分sおよびa(t)の異常周期の双方を表す。係数
Figure 2011078084
は、破損した符号化ストロービングフレームに対応するロケーションでのみ非ゼロである異常な時刻に対応する当該係数
Figure 2011078084
として回復される。これらのフレームは、その後、廃棄される。
この発明を好ましい実施の形態の例として説明してきたが、この発明の趣旨および範囲内において他のさまざまな適応および変更を行えることが理解されるべきである。したがって、この発明の真の趣旨および範囲内に入るこのようなすべての変形および変更をカバーすることが添付の特許請求の範囲の目的である。

Claims (19)

  1. 実質的に周期的な信号の時間分解能を増加させるための方法であって、前記方法のステップを実行するためのプロセッサを備え、
    第1の時間分解能を有するフレームの入力シーケンスとして信号を取得するステップであって、前記信号は実質的周期信号であり、各フレームは符号化パターンにしたがって符号化される、取得ステップと、
    第2の時間分解能が前記第1の時間分解能よりも大きくなるような前記第2の時間分解能を有するフレームの出力シーケンスに前記フレームの入力シーケンスを変換するステップであって、フーリエ領域における前記信号のスパース性に基づく、変換ステップと、
    を含む、方法。
  2. 前記フレームの入力シーケンスの各フレームの信号積分時間中に、前記符号化パターンにしたがってカメラのシャッタを開閉することにより、前記信号を符号化するステップ、
    をさらに含む、請求項1に記載の方法。
  3. 前記フレームの入力シーケンスの各フレームの信号積分時間中に、前記符号化パターンにしたがってシャッタを交互に不透明および透明にすることにより、前記信号を符号化するステップ、
    をさらに含む、請求項1に記載の方法。
  4. 前記フレームの入力シーケンスの各フレームの信号積分時間中に、前記符号化パターンにしたがってセンサによる光の積分をオンおよびオフにすることにより、前記信号を符号化するステップ、
    をさらに含む、請求項1に記載の方法。
  5. 前記符号化パターンは、時間的に変化していく、請求項1に記載の方法。
  6. 前記符号化パターンは、2値パターンである、請求項1に記載の方法。
  7. 前記符号化パターンは、確率分布関数にしたがう、請求項1に記載の方法。
  8. 前記フレームの入力シーケンスは、第1のフレームが前記符号化パターンの第1の部分にしたがって符号化され、第2のフレームが前記符号化パターンの第2の部分にしたがって符号化され、前記符号化パターンの前記第1の部分が前記符号化パターンの前記第2の部分と異なるような、前記第1のフレームおよび前記第2のフレームを含む、請求項1に記載の方法。
  9. 前記フレームの入力シーケンスの各フレームの信号積分時間中に、前記符号化パターンにしたがって光源をオンおよびオフに交互に切り替えることにより、前記信号を符号化するステップ、
    をさらに含む、請求項1に記載の方法。
  10. 前記変換ステップは、
    観測モデルにしたがって前記信号を表すステップと、
    信号モデルにしたがって前記信号を表すステップと、
    前記観測モデルと前記信号モデルとを結合するステップであって、それによって、混合モデルを作成する、結合するステップと、
    前記混合モデルに基づいて前記フレームの出力シーケンスを求めるステップと、
    をさらに含む、請求項1に記載の方法。
  11. 前記変換するステップは、
    y=Cx+η=CBs+η=As+η
    にしたがって、前記入力シーケンスと前記出力シーケンスとの間の関係を表すステップ、
    をさらに含み、ここで、yは前記フレームの入力シーケンスにおける前記信号の値を表し、Cは符号化行列であり、前記符号化行列の値は前記符号化パターンに依存し、Bは逆フーリエ変換行列であり、sはフーリエ係数ベクトルであり、xは前記フレームの出力シーケンスにおける前記信号の値を表し、Aは前記変換の混合行列であり、ηは雑音である、請求項1に記載の方法。
  12. 前記信号の基本周波数を求めるステップと、
    前記フーリエ係数ベクトルsを求めるステップと、
    x=Bsにしたがって前記フレームの出力シーケンスを求めるステップと、
    をさらに含む、請求項11に記載の方法。
  13. 基本周波数の可能な値のセットを取得するステップと、
    基本周波数の前記可能な値のセットにおける基本周波数の各値について、前記フーリエ係数ベクトルを求めるステップと、
    各フーリエ係数ベクトルについて、前記基本周波数の関数としての誤差を求めるステップであって、それによって、誤差のセットを作成する、求めるステップと、
    前記誤差のセットにおける最小の誤差に対応する前記フーリエ係数ベクトルを選択するステップと、
    をさらに含む、請求項12に記載の方法。
  14. 実質的周期信号の時間分解能を増加させるためのシステムであって、
    第1の時間分解能を有するフレームの入力シーケンスとして信号を取得するための手段であって、前記信号は実質的周期信号であり、前記フレームの入力シーケンスにおける前記フレームは符号化パターンにしたがって符号化される、取得するための手段と、
    第2の時間分解能が前記第1の時間分解能よりも大きくなるような前記第2の時間分解能を有するフレームの出力シーケンスに前記フレームの入力シーケンスを変換するための手段であって、前記変換は、フーリエ領域における前記信号のスパース性に基づく、変換するための手段と、
    を備える、システム。
  15. 前記フレームの入力シーケンスのフレームの信号積分時間中に前記符号化パターンにしたがって前記信号を符号化するための手段、
    をさらに備える、請求項14に記載のシステム。
  16. 前記フレームの入力シーケンスにおける前記フレームは、異なって符号化される、請求項14に記載のシステム。
  17. 実質的周期信号の時間分解能を増加させるためのシステムであって、
    第1の時間分解能を有するフレームの入力シーケンスとして信号を取得するように構成されたセンサであって、前記信号は実質的周期信号である、センサと、
    符号化シーケンスにしたがって前記フレームの入力シーケンスにおける前記フレームを符号化するように構成されたシャッタと、
    第2の時間分解能が前記第1の時間分解能よりも大きくなるような前記第2の時間分解能を有するフレームの出力シーケンスに前記フレームの入力シーケンスを変換するように構成された変換モジュールであって、前記変換は、フーリエ領域における前記信号のスパース性に基づく、変換モジュールと、
    を備える、システム。
  18. 前記フレームの出力シーケンスを記憶するための記憶装置、
    をさらに備える、請求項17に記載のシステム。
  19. 前記フレームの出力シーケンスを表示するように構成されたディスプレイ、
    をさらに備える、請求項17に記載のシステム。
JP2010171864A 2009-09-30 2010-07-30 信号の時間分解能の増加方法およびシステム Expired - Fee Related JP5398659B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US12/571,417 2009-09-30
US12/571,417 US8223259B2 (en) 2009-09-30 2009-09-30 Increasing temporal resolution of signals

Publications (3)

Publication Number Publication Date
JP2011078084A true JP2011078084A (ja) 2011-04-14
JP2011078084A5 JP2011078084A5 (ja) 2013-07-11
JP5398659B2 JP5398659B2 (ja) 2014-01-29

Family

ID=43779951

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010171864A Expired - Fee Related JP5398659B2 (ja) 2009-09-30 2010-07-30 信号の時間分解能の増加方法およびシステム

Country Status (2)

Country Link
US (1) US8223259B2 (ja)
JP (1) JP5398659B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013093707A (ja) * 2011-10-25 2013-05-16 Nippon Telegr & Teleph Corp <Ntt> 信号処理システム及び信号処理方法

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5276529B2 (ja) * 2009-06-18 2013-08-28 キヤノン株式会社 画像処理装置およびその方法
JP5656705B2 (ja) * 2010-06-01 2015-01-21 キヤノン株式会社 撮像装置、撮像装置の制御方法
JP5543280B2 (ja) 2010-06-01 2014-07-09 キヤノン株式会社 画像処理装置、画像処理方法
US8405763B2 (en) * 2010-12-23 2013-03-26 Mitsubishi Electric Research Laboratories, Inc. Video camera for reconstructing varying spatio-temporal resolution videos
US8754929B1 (en) * 2011-05-23 2014-06-17 John Prince Real time vergence control for 3D video capture and display
JP2019114956A (ja) * 2017-12-25 2019-07-11 キヤノン株式会社 画像処理装置、撮像システム、移動体

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006050343A (ja) * 2004-08-05 2006-02-16 Univ Of Electro-Communications 静止画像形成方法及びその記録装置
JP2008310797A (ja) * 2007-06-12 2008-12-25 Mitsubishi Electric Research Laboratories Inc カメラによって或るシーンから取得される画像内の動いている物体の解像度を高めるための方法
JP2009532928A (ja) * 2006-05-08 2009-09-10 ミツビシ・エレクトリック・リサーチ・ラボラトリーズ・インコーポレイテッド シーンの画像におけるぶれを低減する方法及びシーンの画像のぶれを除去する装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6631240B1 (en) * 1997-07-23 2003-10-07 University Of Washington Multiresolution video
AU2002366985A1 (en) * 2001-12-26 2003-07-30 Yeda Research And Development Co.Ltd. A system and method for increasing space or time resolution in video
US7580620B2 (en) 2006-05-08 2009-08-25 Mitsubishi Electric Research Laboratories, Inc. Method for deblurring images using optimized temporal coding patterns
US7639289B2 (en) * 2006-05-08 2009-12-29 Mitsubishi Electric Research Laboratories, Inc. Increasing object resolutions from a motion-blurred image
US8451338B2 (en) * 2008-03-28 2013-05-28 Massachusetts Institute Of Technology Method and apparatus for motion invariant imaging

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006050343A (ja) * 2004-08-05 2006-02-16 Univ Of Electro-Communications 静止画像形成方法及びその記録装置
JP2009532928A (ja) * 2006-05-08 2009-09-10 ミツビシ・エレクトリック・リサーチ・ラボラトリーズ・インコーポレイテッド シーンの画像におけるぶれを低減する方法及びシーンの画像のぶれを除去する装置
JP2008310797A (ja) * 2007-06-12 2008-12-25 Mitsubishi Electric Research Laboratories Inc カメラによって或るシーンから取得される画像内の動いている物体の解像度を高めるための方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013093707A (ja) * 2011-10-25 2013-05-16 Nippon Telegr & Teleph Corp <Ntt> 信号処理システム及び信号処理方法

Also Published As

Publication number Publication date
US8223259B2 (en) 2012-07-17
US20110075020A1 (en) 2011-03-31
JP5398659B2 (ja) 2014-01-29

Similar Documents

Publication Publication Date Title
JP5398659B2 (ja) 信号の時間分解能の増加方法およびシステム
Zhang et al. Rethinking noise synthesis and modeling in raw denoising
Veeraraghavan et al. Coded strobing photography: Compressive sensing of high speed periodic videos
US11700462B2 (en) System for performing ambient light image correction
WO2007020760A1 (ja) 画像処理方法、画像処理システムおよび画像処理プログラム
CN102356631A (zh) 图像处理装置、信号处理方法以及程序
JP2015511433A (ja) 適応型多次元データ分解
CN108564090B (zh) 一种基于信号加权的快速傅里叶单像素成像方法
Suman et al. Image enhancement using geometric mean filter and gamma correction for WCE images
US10839489B2 (en) Techniques for synthesizing film grain
CN104469133B (zh) 图像处理方法及装置
EP4078506B1 (en) A system for performing ambient light image correction
KR101690887B1 (ko) 일반카메라를 활용한 초고속 주기신호 복원 및 롤링셔터효과 보상 방법
CN110689486A (zh) 图像的处理方法、装置、设备及计算机可存储介质
CN116381334A (zh) 一种基于事件相机的电网频率估计方法及系统
Renò et al. A powerline-tuned camera trigger for ac illumination flickering reduction
CN111212240B (zh) 图像生成装置、图像生成方法和记录介质
JP2011151454A (ja) 画像処理装置、撮像機器及び画像処理方法
EP3430472B1 (en) Method of producing video images that are independent of the background lighting
Yang et al. Multi-scale extreme exposure images fusion based on deep learning
WO2022044368A1 (ja) 機械学習装置、画像処理装置、機械学習方法、及び機械学習プログラム
Oliveira et al. A CMOS imaging system featuring focal-plane compression based on DPCM and VQ
JP2015186131A (ja) 撮像システムおよび撮像装置
WO2018056065A1 (ja) 画像データ表示システム、画像データ表示方法、および画像データ表示プログラム記録媒体
CN117788311A (zh) 基于包围摄影的自监督自适应的图像复原和增强方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130529

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130529

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20130529

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20130618

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130716

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130902

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130924

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20131022

R150 Certificate of patent or registration of utility model

Ref document number: 5398659

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees