JP2019211391A - 距離計測装置、音声処理装置、振動計測装置、産業用コンピュータ断層撮影装置、および距離計測方法 - Google Patents

距離計測装置、音声処理装置、振動計測装置、産業用コンピュータ断層撮影装置、および距離計測方法 Download PDF

Info

Publication number
JP2019211391A
JP2019211391A JP2018109559A JP2018109559A JP2019211391A JP 2019211391 A JP2019211391 A JP 2019211391A JP 2018109559 A JP2018109559 A JP 2018109559A JP 2018109559 A JP2018109559 A JP 2018109559A JP 2019211391 A JP2019211391 A JP 2019211391A
Authority
JP
Japan
Prior art keywords
image
data
noise
learned model
denoising
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018109559A
Other languages
English (en)
Other versions
JP7068054B2 (ja
Inventor
井田 孝
Takashi Ida
孝 井田
賢造 五十川
Kenzo Isogawa
賢造 五十川
淳 松村
Atsushi Matsumura
淳 松村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2018109559A priority Critical patent/JP7068054B2/ja
Priority to US16/285,997 priority patent/US11315220B2/en
Publication of JP2019211391A publication Critical patent/JP2019211391A/ja
Application granted granted Critical
Publication of JP7068054B2 publication Critical patent/JP7068054B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/084Backpropagation, e.g. using gradient descent
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/42Simultaneous measurement of distance and other co-ordinates
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4808Evaluating distance, position or velocity data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/048Activation functions

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Electromagnetism (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Remote Sensing (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Image Processing (AREA)
  • Measurement Of Mechanical Vibrations Or Ultrasonic Waves (AREA)
  • Measurement Of Optical Distance (AREA)
  • Image Analysis (AREA)

Abstract

【課題】ノイズ低減の精度を向上させる距離計測装置を提供する。【解決手段】距離画像生成部1411と、強度画像生成部1413と、記憶部117と、入力部1415と、ノイズ低減部1417とを有する。距離画像生成部は、出射された光が障害物で反射して反射光として戻ってくるまでの時間を用いて障害物までの距離を計測することにより、距離画像を生成する。強度画像生成部は、反射光の強度、または環境光の強度を計測することにより、強度画像を生成する。記憶部は、距離画像と強度画像とに基づいて前記距離画像におけるノイズを低減したデノイズ画像を生成する学習済みモデルを記憶する。入力部は、学習済みモデルに、距離画像と強度画像とを入力する。ノイズ低減部は、学習済みモデルを用いて、デノイズ画像を生成する。【選択図】図10

Description

本発明の実施形態は、距離計測装置、音声処理装置、振動計測装置、産業用コンピュータ断層撮影装置、および距離計測方法に関する。
写真や映像を撮像したときの画像に含まれるノイズは、印刷したりディスプレイに表示したりする際に見栄えが悪くなるだけでなく、防犯カメラなどでは視認性の低下、各種画像認識装置では認識率の低下など様々な悪影響を及ぼすことがある。このため、画像表示等の事前にノイズを除去することが望ましい。
画像処理によるノイズ除去は、基本的には、平滑化によってノイズの振幅を抑制することで実現される。このとき、例えば、ノイズと共に画像信号本来のエッジ(輝度が急峻に変化する部分)やテクスチャ(細かい図柄)がぼやけないように、画像のパターンに適応する複雑な工夫が実行されることがある。一方、近年、単純な構成の畳み込みニューラルネットワーク(以下、CNN(Convolutional Neural Network)と呼ぶ)を用いた画像ノイズ除去方式が、信号の復元精度が高いものとして提案されている。
しかしながら、上記CNNを用いた画像ノイズの除去方法では、平滑化の強弱の制御ができず全画面で同じ処理を行うため、例えば写真の暗部などノイズが多い部分ではノイズが残り、写真の明部などノイズが少ない部分では本来の信号まで平滑化されることがある。すなわち、上記CNNでは、入力画像の全領域に亘って同じ重み係数を用いて畳み込みを行うため、CNNから出力される画像において、学習時において想定されたノイズより多いノイズを有する領域ではノイズが残り、学習時において想定されたノイズより少ないノイズを有する領域では本来の画素値まで平滑化される問題がある。かといって、広い範囲のノイズ量を用いてCNNを学習させた場合、画像におけるノイズ低減の精度が低下する問題がある。
"Beyond a Gaussian Denoiser: Residual Learning of Deep CNN for Image Denoising," IEEE Trans. Image Proc., vo.26, no.7, pp.3142−3155, July 2017
発明が解決しようとする課題は、ノイズ低減の精度を向上可能な距離計測装置、音声処理装置、振動計測装置、産業用コンピュータ断層撮影装置、および距離計測方法を提供することである。
本実施形態に係る距離計測装置は、距離画像生成部と、強度画像生成部と、記憶部と、入力部と、ノイズ低減部とを有する。前記距離画像生成部は、出射された光が障害物で反射して反射光として戻ってくるまでの時間を用いて前記障害物までの距離を計測することにより、距離画像を生成する。前記強度画像生成部は、前記反射光の強度、または環境光の強度を計測することにより、強度画像を生成する。前記記憶部は、前記距離画像と前記強度画像とに基づいて前記距離画像におけるノイズを低減したデノイズ画像を生成する学習済みモデルを記憶する。前記入力部は、前記学習済みモデルに、前記距離画像と前記強度画像とを入力する。前記ノイズ低減部は、前記学習済みモデルを用いて、前記デノイズ画像を生成する。
図1は、本実施形態に係る距離計測装置、音声処理装置、振動計測装置、産業用CT装置に搭載される処理回路の構成例を示すブロック図である。 図2は、本実施形態におけるノイズ低減機能において実行される学習済みモデルの概要の一例を示す図である。 図3は、本実施形態の入力層における組み合わせデータと出力層において生成される出力ベクトルとの一例を示す図である。 図4は、本実施形態における畳み込みニューラルネットワーク(CNN)の構成の一例を示す図である。 図5は、本実施形態における活性化関数の一例を示す図である。 図6は、本実施形態の第1の応用例における処理回路の構成例を示すブロック図である。 図7は、本実施形態の第1の応用例において、データの入力の一例を示す図である。 図8は、本実施形態の第2の応用例において、データの入力の一例を示す図である。 図9は、本実施形態の第2の応用例において、ノイズ相関マップが入力される第1の中間層の一例を示す図である。 図10は、本実施形態の第1の適用例における距離計測装置の構成の一例を示す図である。 図11は、本実施形態の第1の適用例におけるデノイズ処理の手順の一例を示すフローチャートである。 図12は、本実施形態の第1の適用例における光検出素子に関して、時間に対する反射光信号の強度および環境光信号の強度の一例を示す図である。 図13は、本実施形態の第1の適用例において、距離画像生成機能により生成された距離画像の一例を示す図である。 図14は、本実施形態の第1の適用例において、図13における位置Aから位置Bまでの区間における距離のプロファイルの一例を示す図である。 図15は、本実施形態の第1の適用例において、図13における位置Aから位置Bまでの区間において、強度画像における反射光の強度のプロファイルの一例を示す図である。 図16は、本実施形態の第1の適用例において、図13における位置Aから位置Bまでの区間において、デノイズ画像における距離の一例を示す図である。 図17は、本実施形態の第2の適用例における音声処理装置の構成の一例を示す図である。 図18は、本実施形態の第2の適用例におけるデノイズ処理の手順の一例を示すフローチャートである。 図19は、本実施形態の第2の適用例における第1音声データの一例を示す図である。 図20は、本実施形態の第2の適用例において、時系列に沿ったデノイズデータの一例を示す図である。 図21は、本実施形態の第3の適用例における振動計測装置の構成の一例を示す図である。 図22は、本実施形態の第3の適用例におけるデノイズ処理に関する手順の一例を示すフローチャートである。 図23は、本実施形態の第4の適用例における産業用CT装置の構成の一例を示す図である。 図24は、本実施形態の第4の適用例におけるデノイズ処理の手順の一例を示すフローチャートである。 図25は、本実施形態の第4の適用例におけるデノイズ前サイノグラムの一例を示す図である。 図26は、本実施形態の第4の適用例に関し、回転角度が0°において複数の素子番号にそれぞれ対応する複数の透過長の一例を示す図である。 図27は、本実施形態の第4の適用例において、透過長マップの一例を示す図である。 図28は、本実施形態の第4の適用例の変形例において、デノイズ処理の手順の一例を示すフローチャートである。
以下、本実施形態について、図面を参照して説明する。なお、以下の説明において、略同一の構成を有する構成要素については、同一符号を付し、重複説明は必要な場合にのみ行う。
図1は、本実施形態に係る距離計測装置、音声処理装置、振動計測装置、および産業用X線コンピュータ断層撮影装置(以下、産業用CT(Computed tomography:コンピュータ断層撮影)装置と呼ぶ)に搭載される処理回路141の構成例を示すブロック図である。これらの装置で本実施形態を実現する場合については、適用例として後程説明する。
処理回路141は、ハードウェア資源として図示していないプロセッサ、ROM(Read Only Memory)やRAM(Random Access Memory)等のメモリ等を有する。処理回路141は、入力機能1415とノイズ低減機能1417とを有する。入力機能1415、ノイズ低減機能1417にて行われる各種機能は、コンピュータによって実行可能なプログラムの形態で不図示の記憶装置、メモリ等の各種記憶回路へ記憶されている。処理回路141は、これら各種機能に対応するプログラムを記憶回路から読み出し、実行することで各プログラムに対応する機能を実現するプロセッサである。換言すると、各プログラムを読みだした状態の処理回路141は、図1の処理回路141内に示された各機能を有することになる。処理回路141が有する入力機能1415およびノイズ低減機能1417は、それぞれ入力部、ノイズ低減部の一例である。
上記説明において用いた「プロセッサ」という文言は、例えば、CPU(Central Processing Unit)、MPU(Micro Processing Unit)、GPU(Graphical Processing Unit)或いは、特定用途向け集積回路(Application Specific Integrated Circuit:ASIC)、プログラマブル論理デバイス(例えば、単純プログラマブル論理デバイス(Simple Programmable Logic Device:SPLD)、複合プログラマブル論理デバイス(Complex Programmable Logic Device:CPLD)、及びフィールドプログラマブルゲートアレイ(Field Programmable Gate Array:FPGA))等の回路を意味する。
プロセッサは、記憶回路に保存されたプログラムを読み出し実行することで機能を実現する。なお、記憶回路にプログラムを保存する代わりに、プロセッサの回路内にプログラムを直接組み込むよう構成しても構わない。この場合、プロセッサは、回路内に組み込まれたプログラムを読み出し実行することで機能を実現する。
以下、図2乃至図5を参照して、処理回路141において実行される入力機能1415およびノイズ低減機能1417について説明する。
図2は、ノイズ低減機能1417において実行される学習済みモデル105の概要の一例を示す図である。学習済みモデル105は、多くの学習データから学習した順伝播型ネットワークの学習済み機械学習モデルである。学習済みモデル105は、例えば、深層ニューラルネットワーク(以下、DNN(Deep Neural Network)と呼ぶ)である。以下、説明を具体的にするために、DNNとして畳み込みニューラルネットワーク(以下、CNN(Convolution Neural Network)と呼ぶ)を例にとり、説明する。学習済みモデル105は、不図示の記憶装置、メモリ等の各種記憶回路へ記憶される。なお、学習済みモデル105は、DNNおよびCNNに限定されず、他の機械学習モデルであってもよい。なお、図2に示すCNN105は、入力層103と、出力層107とを有していてもよい。CNN105は、複数の中間層を有する。以下、説明を簡単にするために、CNN105は、3つの中間層を有するものとして説明する。なお、CNN105における中間層の数は、3つに限定されず、CNNの学習前において任意に設定可能である。
図2に示すように、ノイズ低減機能1417において実行される処理は、入力層103における処理と、CNN105における処理と、出力層107における処理とを有する。入力層103には、ノイズ低減対象画像などの処理対象信号101と、処理対象信号101におけるノイズ量の空間分布に相関するノイズ相関マップなどの参照信号102とが、入力機能1415により設定される。以下、説明を具体的にするために、画像のノイズ低減を例にとり説明する。このとき、処理対象信号101はノイズ低減対象画像に対応し、参照信号が102はノイズ相関マップを示す画像に対応する。
ノイズ低減対象画像101におけるノイズ量が既知のとき、ノイズ相関マップにおける複数の画素値各々は、ノイズの局所的な分散や標準偏差に相当する。また、画像の部分領域ごとに異なる特性のコントラスト補正が、ノイズ低減対象画像101に対して実施されていた場合、ノイズ相関マップ102における複数の画素値各々は、コントラスト補正における補正値に相当する。
入力層103は、ノイズ低減対象画像101とノイズ相関マップ102とを組み合わせたデータ(以下、組み合わせデータと呼ぶ)104をCNN105に出力する。CNN105は、組み合わせデータ104の変換を再帰的に繰り返し、すなわち組み合わせデータ104を入力として順伝搬処理を実行し、変換後の信号106を出力層107に出力する。出力層107は、変換後の信号106を用いて、ノイズ低減対象画像101のノイズを低減させた信号(以下、デノイズ画像と呼ぶ)108を出力する。
具体的には、処理回路141は、入力機能1415により、ノイズ低減対象画像101と、ノイズ相関マップ102とを、入力層103に入力する。すなわち、処理回路141は、入力層103の互いに別のチャンネルに、ノイズ低減対象画像101と、ノイズ相関マップ102とを入力する。図3は、入力層103における組み合わせデータ104と出力層107において生成される出力ベクトル107aとの一例を示す図である。図3において、組み合わせデータ104は、入力ベクトルとして示されている。なお、組み合わせデータ104はベクトル形式に限定されず、例えば、行列形式であってもよい。説明を簡単にするために、ノイズ低減対象画像101およびノイズ相関マップ102における画素数は、N(Nは自然数)個であるものとする。
処理回路141は、ノイズ低減機能1417により、入力層103において、ノイズ低減対象画像101における複数の画素値と、ノイズ相関マップ102における複数の画素値とを組み合わせて、組み合わせデータ104を生成する。具体的には、処理回路141は、入力ベクトル104における第1の入力範囲104aに、ノイズ低減対象画像における複数の画素値(y、y、…、y)を割り当てる。また、処理回路141は、入力ベクトル104における第2の入力範囲104bに、ノイズ相関マップ102における複数の画素値(x、x、…、x)を割り当てる。処理回路141は、入力ベクトル104を、CNN105に出力する。処理回路141は、入力層103からCNN105への出力時において、入力ベクトル104に対して畳み込み処理を実行する。処理回路141は、CNN105において畳み込み処理を再帰的に実行する。これらの畳み込み処理等については、図4を用いて後程詳細に説明する。なお、ノイズ低減対象画像101における画素数とノイズ相関マップにおける画素数とが異なる場合、処理回路141は、ノイズ相関マップ102における画素数を、ノイズ低減対象画像における画素数に、既存の方法で適宜調整する。
処理回路141は、ノイズ低減機能1417により、CNN105から出力された信号106を、出力層107において、デノイズ画像108における画素値(z、z、…、z)を表すベクトル形式107aとして保持する。処理回路141は、ベクトル形式107aにおける複数の成分を複数の画素として再配列することにより、デノイズ画像108を生成する。処理回路141は、デノイズ画像108を、記憶装置等に出力する。
図4は、CNN105の構成の一例を示す図である。図4において、入力層103、CNN105、第1の中間層204および出力層107は、説明の便宜上、斜視図として示されている。まず、処理回路141は、ノイズ低減機能1417により、ノイズ低減対象画像における複数の画素値を、入力層103における第1の入力範囲104aに含まれる複数のノードに設定する。また、処理回路141は、ノイズ相関マップ102における複数の画素値を、入力層103における第2の入力範囲104bに含まれる複数のノードに設定する。図4において、第1の入力範囲104aおよび第2の入力範囲104b各々における9つのノードを示す丸印以外の複数のノードは、煩雑となるため省略している。第1の入力範囲104aおよび第2の入力範囲104bにおける複数のノードは、ノイズ低減対象画像の画素数だけ用意される。
次に、処理回路141は、ノイズ低減機能1417により、ノイズ低減対象画像101とノイズ相関マップ102とに対して、学習済みの複数の重み係数を有するフィルタを用いて畳み込み処理を行う。処理回路141は、畳み込み処理により、入力層103から第1の中間層204に入力されるデータを生成する。フィルタにおける重み係数の総数(以下、タップと呼ぶ)は、フィルタが適用される画素数より少ない。例えば、図4の入力層103において、フィルタが適用される画素数は、横3画素×縦3画素×2枚(ノイズ低減対象画像101とノイズ相関マップ102)であるため、タップは18となる。なお、タップは、図4に示す18に限定されず、学習時において適宜設定されてもよい。
処理回路141は、ノイズ低減機能1417により、タップが18個の重み係数を有するフィルタを用いて、ノイズ低減対象画像101における9画素と、ノイズ相関マップ102における9画素とに対して積和演算を実行する。処理回路141は、第1の中間層204において、積和演算に用いられたフィルタの位置に対応するノード205に、積和演算の結果の値(以下、積和値と呼ぶ)を設定する。処理回路141は、ノイズ低減対象画像101及びノイズ相関マップ102に対するフィルタの適用位置を変えながら、第1の中間層204における全ノードに対して積和値を設定する。第1の中間層204における全ノードの数は、ノイズ低減対象画像101およびノイズ相関マップ102における画素の総数と同数である。なお、全ノードの数は、ノイズ低減対象画像101およびノイズ相関マップ102における画素の総数と異なっていてもよい。また、フィルタに含まれる複数の重み係数の値は、ノイズ低減対象画像101及びノイズ相関マップ102に対するフィルタの適用位置によらず一定である。
処理回路141は、ノイズ低減機能1417により、フィルタからの出力結果、すなわち積和値Xを、活性化関数と称される非線形関数を用いて変換(活性化)する。図5は、活性化関数f(X)の一例を示す図である。処理回路141は、活性化関数として、図5に示すReLU(Rectified Linear Unit)関数を用いる。図5に示す活性化関数f(X)は、X≦0である場合0を出力し、X>0である場合Xを出力する関数である。なお、活性化関数は、ReLU関数に限定されず、CNN105の学習時において適宜設定可能である。なお、CNN105における複数の中間層各々は、画像の枚数に相当する複数のチャンネルを有していてもよい。例えば、図4に示すように、第1の中間層204におけるチャンネル数が8である場合、入力層103から第1の中間層204への変換において、処理回路141は、3×3×2タップのフィルタを、チャンネルごとに8種類用いる。8種類のフィルタにおいては、重み係数はそれぞれ異なる。なお、中間層各々において用いられるフィルタのタップは異なっていてもよい。
以降同様に、処理回路141は、ノイズ低減機能1417により、第i(iは、1乃至(n−1)の自然数:nは中間層の総数)の中間層から第(i+1)の中間層においてチャンネル数が8であれば、8個の3×3×8タップのフィルタと活性化関数とを用いて、画像の変換を(n−1)回繰り返す。例えば、図4に示すように中間層の総数が3である場合、処理回路141は、中間層から中間層への積和値の変換を2回実行する。
出力層107のチャンネル数は、学習時において1に設定される。例えば、図4に示すような場合、処理回路141は、ノイズ低減機能1417により、出力層107において、第3の中間層206における8チャンネル分の積和値に対して、3×3×8タップの1つのフィルタを用いて積和演算を行う。処理回路141は、この積和演算で得られた結果(積和値)を、出力層107のチャンネルに、活性化関数を用いずに画素値として設定する。処理回路141は、出力層107で設定された画素値を用いて、デノイズ画像を生成する。
なお、CNN105において用いられる複数のフィルタ各々における複数の重み係数は、ノイズ低減機能1417の実装前に、多くの学習データを用いて、誤差逆伝播法とよばれる方法で学習される。具体的には、複数の重み係数は、ノイズを有する画像(以下、ノイズ含有画像と呼ぶ)とノイズ相関マップとを入力したときの出力画像がデノイズされた画像に近づくように、学習される。多くの学習データ各々は、例えば、以下の手順により生成される。まず、ノイズがない画像(以下、非ノイズ画像と呼ぶ)とノイズ相関マップ102とを用意する。次いでノイズ相関マップ102の画素値を標準偏差とするガウスノイズを非ノイズ画像における複数の画素値に加えてノイズ含有画像を生成する。非ノイズ画像とノイズ相関マップ102とノイズ含有画像とが、一つの組の学習データとして生成される。
なお、本実施形態における処理回路141は、図4の構成に加えて、中間層における畳み込みの後にバッチ正規化とよばれる処理を行ってもよい。また、処理回路141は、ノイズ低減機能1417により、デノイズ画像を出力するのではなく、ノイズ画像を出力し、次いでノイズ画像をノイズ低減対象画像101から減じることで、デノイズ画像を生成してもよい。このとき、複数の重み係数は、ノイズ含有画像とノイズ相関マップとを入力したときの出力画像がノイズを示す画像(以下、ノイズ画像と呼ぶ)に近づくように、学習される。ノイズ画像は、ノイズ相関マップの画素値を標準偏差とするガウスノイズを示す画像に相当する。
以上に述べた構成によれば、以下の効果を得ることができる。
本実施形態における処理回路141によれば、入力層103に、処理対象信号101に加えて参照信号102も入力されるため、CNN105の学習において、入力層103から第1の中間層204に向けて、同じ重み係数でもノイズ量に応じて出力が変化する自由度が生まれる。これにより、本実施形態によれば、入力層103にノイズ低減対象画像だけを入力した場合に比べて、ノイズ低減対象画像101におけるノイズ量が画像の複数の領域各々において異なる場合であっても、処理対象信号101における部分領域ごとのノイズ量に応じた強度で、処理対象信号101におけるノイズを低減することができる。
(第1の応用例)
本応用例と本実施形態との相違は、第2の学習済みモデルを用いて、ノイズ低減対象画像101に基づいてノイズ相関マップ102を生成することにある。図6は、本応用例における処理回路141の構成例を示すブロック図である。図6に示す処理回路141は、図1に示す処理回路141における各種機能に加えて、相関データ生成機能1419をさらに有する。処理回路141が有する相関データ生成機能1419は、相関データ生成部の一例である。
処理回路141は、相関データ生成機能1419により、第2の学習済みモデルを実行する。第2の学習済みモデルは、多くの学習データから学習した順伝播型ネットワークの学習済み機械学習モデルである。第2の学習済みモデルは、例えば、入力層、複数の中間層および出力層を有するCNNである。第2の学習済みモデルは、不図示の記憶装置、メモリ等の各種記憶回路へ記憶される。なお、第2の学習済みモデルは、入力層、複数の中間層および出力層を有するDNNであってもよい。本応用例における第2の学習済みモデルは、CNNまたはDNNであるため、詳細な説明は省略する。
本応用例における第2の学習モデルに対応するCNNにおいて用いられる複数のフィルタ各々における複数の重み係数は、相関データ生成機能1419の実装前に、多くの学習データを用いて、誤差逆伝播法とよばれる方法で学習される。多くの学習データ各々は、ノイズ含有画像とノイズ相関マップとを一つの組の学習データとして、複数の重み係数を学習させるために用いられる。すなわち、複数の重み係数は、ノイズ含有画像を入力したときの出力画像がノイズ相関マップに近づくように、学習される。
図7は、本応用例においてデータの入力の一例を示す図である。以下、図7を用いて、本応用例と実施形態との相違に関する処理について説明する。
処理回路141は、入力機能1415により、ノイズ低減対象画像101を、入力層103と、相関データ生成機能1419における第2の学習済みモデルの入力層103とに入力する。また、処理回路141は、相関データ生成機能1419から出力されたノイズ相関マップ102を、入力層103に入力する。
処理回路141は、相関データ生成機能1419により、ノイズ低減対象画像101が入力された第2の学習済みモデルを実行することにより、ノイズ相関マップ102を生成する。ノイズ低減機能1417における処理内容は、本実施形態と同様なため、説明は省略する。なお、相関データ生成機能1419における処理は、ノイズ低減機能1417に組み込まれてもよい。
以上に述べた構成によれば、本実施形態における効果に加えて以下の効果を得ることができる。
本応用例における処理回路141によれば、参照信号102を処理対象信号101から生成できるため、参照信号102をノイズ低減対象画像101とは別に用意する必要がない。すなわち、本処理回路141によれば、参照信号102を収集する必要がないため、ノイズ低減対象画像101のデノイズ処理に関する効率を向上させることができる。
(第2の応用例)
本応用例と本実施形態との相違は、入力層103にノイズ低減対象画像101だけを入力し、ノイズ相関マップ102をCNN105における少なくとも一つの中間層に入力することにある。すなわち、本応用例における入力層103は、第1の入力範囲104aのみを有する。また、本応用例においてノイズ相関マップ102が入力される中間層は、活性化関数により活性化された積和値が入力されるチャンネルに加えて、ノイズ相関マップ102が入力されるチャンネルを有する。
図8は、本応用例におけるデータの入力の一例を示す図である。以下、図8を用いて、本応用例と本実施形態との相違に関する処理について説明する。本応用例におけるCNN105に対する学習は、入力層103への入力がノイズ低減対象画像101のみであること、およびCNN105へのノイズ相関マップ102の入力が中間層であることを除いて、本実施形態と同様なため、説明は省略する。
処理回路141は、入力機能1415により、ノイズ低減対象画像101を、入力層103に入力する。処理回路141は、ノイズ相関マップ102を、CNN105における中間層に入力する。説明を具体的にするために、ノイズ相関マップ102が入力される中間層は第1の中間層204であるものとする。なお、ノイズ相関マップ102が入力される中間層は、第1の中間層204に限定されず、複数の中間層のうちいずれの中間層に入力されてもよい。
図9は、本応用例において、ノイズ相関マップ102が入力される第1の中間層204の一例を示す図である。図9に示すように、第1の中間層204は、畳み込みされかつ活性化されたデータ2041が入力層103から入力される畳み込み後入力範囲204aと、ノイズ相関マップ102が入力されるマップ入力範囲204bと、を有する。畳み込み後入力範囲204aにおける複数のノードは、第1の入力範囲104aにおける複数のノードと同様である。また、マップ入力範囲204bにおける複数のノードは、第2の入力範囲104bにおける複数のノードと同様である。すなわち、本応用例における第1の中間層204は、本実施形態に記載のチャンネルに加えて、ノイズ相関マップ102が入力されるチャンネルを有する。このため、処理回路141は、ノイズ低減機能1417により、第2の中間層への出力として、追加されたチャンネルの分だけチャンネル方向のタップが多いタップで畳み込みを行う。例えば、図4および図9を参照すると、処理回路141は、3×3×9タップのフィルタを用いて畳み込み処理を実行する。
なお、ノイズ相関マップ102の中間層への入力は、ノイズ相関マップ用のチャンネル、上の例ではマップ入力範囲204bを用いずに、畳み込みをしてきたデータに単純に加算してもよい。すなわち、入力範囲204aに設定した値に、各ノードに対応するノイズ相関マップの値を加算してもよい。また、204aが2チャンネル以上ある場合には、入力層103と同様の構成にノイズ相関マップを入力し、1チャンネルから増やした出力を204aの各チャンネル、各ノードに加算してもよい。
以上に述べた構成によれば、本応用例において、本実施形態における効果と同様に、参照信号102が入力される中間層において、ノイズ量に応じて出力が変化する自由度が得られるため、処理対象信号101における部分範囲ごとのノイズ量に応じた強度で、処理対象信号101のノイズを低減することができる。
以下、本実施形態における処理回路141を搭載した距離計測装置、音声処理装置、振動計測装置、および産業用CT装置について、第1乃至第4の適用例においてそれぞれ説明する。距離計測装置および産業用CT装置は、2次元的な処理対象信号101と2次元的な参照信号102とをCNN105に用いる一例である。また、音声処理装置および振動計測装置は、1次元的な処理対象信号101と1次元的な参照信号102とをCNN105に用いる一例である。
(第1の適用例)
本適用例における距離計測装置は、本実施形態における処理回路141を搭載する。距離計測装置において、例えば、LIDAR(Light Detection And Ranging)、光波測距儀、電波測距儀などの光リモートセンシング技術が用いられる。例えば、本距離計測装置が車両に搭載された場合、本距離計測装置は、車両の周辺状況の把握、車両の進行に関する障害物を検知ために用いられる。距離計測装置に装備されたイメージセンサにおいて反射光の強度が小さいほど、あるいは、反射光以外の環境光などの外乱が多いほど、距離計測装置により生成された距離画像における誤差(ノイズ)は大きくなる。このため、距離画像を処理対象信号101とし、距離画像と同時に取得する反射光の強度や環境光の量をノイズ相関マップ102とすることで、距離画像における距離の精度を改善することができる。
図10を参考にして、本適用例における距離計測装置110の全体構成について説明する。図10は、距離計測装置110の構成の一例を示す図である。図10に示すように、距離計測装置110は、発光素子(照射部)113と、イメージセンサ(受光部)115と、メモリ(記憶部)117と、インタフェース119と、処理回路(処理部)141とを備える。処理回路141は、図10に示すように、距離画像生成機能1411、強度画像生成機能1413、入力機能1415、およびノイズ低減機能1417を有する。なお、距離計測装置110は、イメージセンサ115とは別に、環境光を受光する環境光受光素子をさらに有していてもよい。このとき、環境光受光素子は、例えば、イメージセンサ115の分解能より低い分解能を有する。
本適用例において、ノイズ低減対象画像101は、図1におけるノイズ低減機能1417によるデノイズの処理前であって、距離画像生成機能1411により生成された距離画像に相当する。距離画像における複数の画素値各々は、例えば、本距離計測装置110から障害物までの距離に対応するグレースケールを有する。例えば、本距離計測装置110から障害物までの距離が近い場合、距離画像の画素値は、黒くまたは暗くなる。また、本距離計測装置110から障害物までの距離が遠い場合、距離画像の画素値は、白くまたは明るくなる。また、ノイズ相関マップ102は、距離画像におけるノイズ量の空間分布に相関する画像であって、例えば、強度画像生成機能1413により生成された強度画像に相当する。強度画像は、例えば、発光素子113から出射された光が構造物などの障害物で反射してイメージセンサ115で受光された反射光の強度の空間的な分布を示す画像(以下、反射光強度画像と呼ぶ)、またはイメージセンサ115で受光された環境光の強度の空間的な分布を示す画像(以下、環境光強度画像と呼ぶ)に相当する。強度画像は、複数の画素各々において、障害物から本距離計測装置110までの距離に対するノイズ量またはボケ量に相関する画素値を有する。
本適用例において、第1の応用例および第2の応用例に関する処理内容については、ノイズ低減対象画像101を距離画像に読み替え、ノイズ相関マップ102を強度画像に読み替えることで理解できるため、説明は省略する。
なお、本適用例において、第1の応用例に記載のようにノイズ低減対象画像101に基づいてノイズ相関マップ102を生成する場合、距離計測装置110における処理回路141は、図6に示すように、相関データ生成機能1419をさらに有する。
処理回路141が有する距離画像生成機能1411、強度画像生成機能1413、入力機能1415、およびノイズ低減機能1417は、それぞれ距離画像生成部、強度画像生成部、入力部、およびノイズ低減部の一例である。なお、相関データ生成機能1419において実行される処理は、ノイズ低減機能1417において実行されてもよい。
発光素子113は、例えばレーザダイオードに相当する。発光素子113は、不図示の基準タイミング生成回路により生成された基準タイミング信号に従って、レーザ光を出射光として発生する。これにより、発光素子113は、所定の立体角で障害物へ向けてレーザー光を出射(照射)する。なお、発光素子113はレーザダイオードに限定されず、任意の波長の光波を発生する光波発生器で実現されてもよい。
イメージセンサ115は、例えばフォトダイオードなどの複数の光検出素子を有する。イメージセンサ115は、反射光と環境光とを受光する。イメージセンサ115は、受光された反射光を、反射光の強度に応じて電気信号(以下、反射光信号と呼ぶ)に変換する。イメージセンサ115は、反射光信号を、反射光の受光タイミングとともに、処理回路141に出力する。イメージセンサ115は、所定の時間間隔に亘る受光強度の積分値、すなわち所定の時間間隔において蓄積された電荷の総量を、環境光の強度として電気信号(以下、環境光信号と呼ぶ)に変換し、環境光信号を処理回路141に出力する。所定の時間間隔とは、例えば、発光素子113におけるレーザ光の発生時刻から反射光の受光タイミングまでの時間間隔である。
メモリ117は、距離画像生成機能1411により生成された距離画像、強度画像生成機能1413により生成された強度画像、ノイズ低減機能1417により距離画像におけるノイズを低減した距離画像(以下、デノイズ画像と呼ぶ)を記憶する。メモリ117は、距離画像と強度画像とに基づいてデノイズ画像108を生成する学習済みモデル(ニューラルネットワーク)を記憶する。メモリ117は、処理回路141において実行される各種機能に対応するプログラムを記憶する。例えば、メモリ117は、上述の学習済みモデルに対応するCNN105を実行するためのプログラム(以下、ノイズ低減プログラムと呼ぶ)を記憶する。
メモリ117は、例えば、ROM、RAM、フラッシュメモリ等の半導体メモリ素子、ハードディスクドライブ(Hard Disk Drive)、ソリッドステートドライブ(Solid State Drive)、光ディスク等である。また、メモリ117は、CD−ROMドライブやDVDドライブ、フラッシュメモリ等の可搬性記憶媒体との間で種々の情報を読み書きする駆動装置等であってもよい。
インタフェース119は、本距離計測装置110に対する入出力に関する回路等に相当する。インタフェース119は、操作者による入力指示を受け付ける。また、インタフェース119は、無線または有線のネットワークを介して、外部の機器から各種指示や情報入力を受け付ける。また、インタフェース119は、ノイズ低減機能1417により生成されたデノイズ画像を、無線または有線のネットワークを介して、外部の機器等へ出力する。外部の機器とは、例えば本距離計測装置110が車両に搭載された場合、インタフェース119は、デノイズ画像を、車両における制御回路等に出力する。なお、インタフェース119は、不図示のディスプレイを有し、ユーザインタフェースとして実現されてもよい。このとき、インタフェース119は、ディスプレイに距離画像を表示させる。
処理回路141は、不図示のシステム制御機能により、本距離計測装置110を制御する。距離画像生成機能1411、強度画像生成機能1413、入力機能1415、およびノイズ低減機能1417にて行われる各種機能は、コンピュータによって実行可能なプログラムの形態でメモリ117に記憶されている。処理回路141は、これら各種機能に対応するプログラムをメモリ117から読み出し、読み出したプログラムを実行することで各プログラムに対応する機能を実現するプロセッサである。換言すると、各プログラムを読みだした状態の処理回路141は、図10の処理回路141内に示された複数の機能を有する。
なお、図10においては単一の処理回路141にてこれら各種機能が実現されるものとして説明したが、複数の独立したプロセッサを組み合わせて処理回路141を構成し、各プロセッサがプログラムを実行することにより機能を実現するものとしても構わない。換言すると、上述のそれぞれの機能がプログラムとして構成され、1つの処理回路が各プログラムを実行する場合であってもよいし、特定の機能が専用の独立したプログラム実行回路に実装される場合であってもよい。
処理回路141は、距離画像生成機能1411により、基準タイミング信号と受光タイミングとに基づいて、距離画像を生成する。具体的には、処理回路141は、発光素子113におけるレーザ光の発生時刻と、反射光の受光タイミングを示す受光時刻との差に光速度を乗算することにより、所定の立体角に含まれる障害物までの距離を計算する。処理回路141は、計算された距離を画素ごとに配列させることにより、距離画像を生成する。
処理回路141は、強度画像生成機能1413により、反射光信号に基づいて、反射光の強度を画素ごとに配列させた反射光強度画像を生成する。処理回路141は、強度画像生成機能1413により、環境光信号に基づいて、環境光の強度を画素ごとに配列させた環境光強度画像を生成する。以下、説明の煩雑さを避けるため、反射光強度画像および環境光強度画像をまとめて強度画像と呼ぶ。
以上が本適用例における距離計測装置110の全体構成についての説明である。以下、本適用例における入力機能1415、ノイズ低減機能1417について、以下のデノイズ処理の説明において詳述する。
(デノイズ処理)
本適用例におけるデノイズ処理は、距離画像101と、強度画像102とを用いたノイズ低減プログラムの実行により、デノイズ画像108を生成する処理である。図11は、本適用例におけるデノイズ処理に関する手順の一例を示すフローチャートである。
(ステップSa1)
出射光の出射時刻と、立体角内における障害物で反射した反射光の受光時刻とに基づいて、距離画像101が生成される。図12は、光検出素子に関して、時間に対する反射光信号の強度および環境光信号の強度の一例を示す図である。図12におけるTtおよびTrは、レーザ光の発生時刻および反射光の受光時刻をそれぞれ示している。図12におけるIRLは、受光時刻Trにおける反射光の強度に対するパルスの高さRHを示している。反射光強度は、図12において、受光時刻Trにおいてイメージセンサ115から出力される電流のパルスの高さRHまたはパルスの面積に対応する。また、図12におけるIALは、レーザ光の発生時刻Ttから反射光の受光時刻Trまでの時間間隔(Tr−Tt)に亘る、受光強度の平均を示している。なお、環境光の強度は、受光強度の平均IALであってもよい。環境光の強度は、反射光によるパルスを含まない方が好ましい。処理回路141は、距離画像生成機能1411により、光検出素子各々に関して、時間間隔(Tr−Tt)に光速度を乗算することにより、距離を算出する。次いで、処理回路141は、光検出素子ごとに算出された距離を用いて距離画像101を生成する。
図13は、距離画像生成機能1411により生成された距離画像101の一例を示す図である。図14は、図13における位置Aから位置Bまでの区間における距離のプロファイルの一例を示す図である。図14に示すように、位置Aから位置Bにかけて距離は単調減少とならずに、鋸歯状にノイズが現れている。
(ステップSa2)
反射光の強さまたは環境光の強さに基づいて、ノイズ相関マップ102として強度画像102が生成される。以下、説明を具体的にするために、強度画像102は、反射光の強さを示す画像であるものとする。図15は、図13における位置Aから位置Bまでの区間において、強度画像102における反射光の強度のプロファイルの一例を示す図である。図15に示すように、反射光の強度は、図14に示すような鋸歯状のノイズに相関している。
(ステップSa3)
距離画像101と強度画像102とがCNN105に入力される。具体的には、処理回路141は、入力機能1415により、距離画像101と強度画像102とを入力層103に入力する。より詳細には、処理回路141は、ステップSa1において生成された距離画像101における複数の画素値を、入力層103の第1の入力範囲104aにおける複数のノードに入力する。処理回路141は、ステップSa2において生成された強度画像102における複数の画素値を、入力層103の第2の入力範囲104bにおける複数のノードに入力する。
処理回路141は、ノイズ低減機能1417により、入力層103において、距離画像101における複数の画素値と、強度画像102における複数の画素値とを組み合わせて、組み合わせデータ104を生成する。処理回路141は、組み合わせデータを、CNN105に出力する。
なお、第2の応用例が本適用例に用いられる場合、処理回路141は、距離画像101を入力層103に入力し、強度画像102をCNN105における少なくとも一つの中間層に入力する。
(ステップSa4)
距離画像101のノイズが低減されたデノイズ画像108が生成される。具体的には、処理回路141は、ノイズ低減機能1417により、距離画像101と強度画像102とを用いたノイズ低減プログラムの実行により、CNN105を用いてデノイズ画像108を生成する。図16は、図13における位置Aから位置Bまでの区間において、デノイズ画像108における距離の一例を示す図である。図16に示すように、図13に比べて鋸歯状のノイズが低減されている。
なお、処理対象信号101として、距離画像生成機能1411により計測された、距離画像の生成前における距離データが用いられてもよい。このとき、参照信号102として、イメージセンサ115により計測された、強度画像の生成前における反射光の強度または環境光の強度を示す強度データが用いられる。これらの場合、上記デノイズ処理は、距離画像を距離データに読み替え、強度画像を強度データに読み替えることで理解できるため、説明は省略する。
以上に述べた構成によれば、以下の効果を得ることができる。
本適用例における距離計測装置110によれば、出射された光が障害物で反射して反射光として戻ってくるまでの時間を用いて障害物までの距離を計測することにより、距離画像を生成し、反射光の強度または環境光の強度を計測することにより強度画像を生成し、距離画像と強度画像とに基づいて距離画像におけるノイズを低減したデノイズ画像を生成する学習済みモデルを記憶し、学習済みモデルに距離画像と強度画像とを入力し、学習済みモデルを用いてデノイズ画像108を生成することができる。
また、本距離計測装置110によれば、学習済みモデルとしてのニューラルネットワークにおける入力層103の互いに別のチャンネルに距離画像と強度画像とを入力することができる。また、本距離計測装置110によれば、学習済みモデルとしてのニューラルネットワークにおける入力層103に距離画像を入力し、ニューラルネットワークにおける複数の中間層のうち少なくとも一つに強度画像を入力することができる。また、本距離計測装置110によれば、複数の画素各々において、距離に対するノイズ量またはボケ量に相関する画素値を有する強度画像を、学習済みモデルに入力することができる。
以上のことから、本適用例における距離計測装置110によれば、反射光の強度が小さい、あるいは、反射光以外の環境光などの外乱が多かったとしても、距離画像における誤差(ノイズ)を低減することができ、距離画像における距離の精度を向上させることができる。
(第2の適用例)
本適用例における音声処理装置は、本実施形態における処理回路141を搭載する。図17を参考にして、本適用例における音声処理装置201の全体構成について説明する。図17は、音声処理装置201の構成の一例を示す図である。図17に示すように、音声処理装置201は、第1マイクロフォン202と、第2マイクロフォン203と、メモリ(記憶部)207と、インタフェース209と、処理回路(処理部)141とを備える。処理回路141は、図1と同様に入力機能1415およびノイズ低減機能1417を有する。第1マイクロフォン202および第2マイクロフォン203は、時系列に沿って音声を取得する音声取得部の一例である。
本適用例において、処理対象信号101は、第1マイクロフォン202により時系列に沿って取得された音声のデータ(以下、第1音声データ)に相当する。また、参照信号102は、第2マイクロフォン203により時系列に沿って取得された音声のデータ(以下、第2音声データ)に相当する。第2音声データは、第1マイクロフォン202により取得された音声(第1音声データ)において時刻ごとの音声のノイズに相関するノイズ相関データに相当する。
なお、第1音声データおよび第2音声データは、処理対象信号101および参照信号102にそれぞれ対応することに限定されない。すなわち、インタフェース209を介した操作者の指示またはデフォルトの設定によっては、第1音声データを参照信号102とし、第2音声データを処理対象信号101として設定することも可能である。このとき、第1音声データはノイズ相関データに対応する。すなわち、操作者により設定される認識対象の音声データ(第1音声データまたは第2音声データ)が、処理対象信号101に相当する。このとき、ノイズは、非認識対象の音声データに相当する。
例えば、処理対象信号101および参照信号102と、第1音声データおよび第2音声データとの対応関係は、操作者の指示等に応じて、適宜変更可能である。処理対象信号101として第1音声データを用い、かつ参照信号102として第2音声データを用いて実行される学習済みモデル(以下、第1音声NNと呼ぶ)と、処理対象信号101として第2音声データを用い、かつ参照信号102として第1音声データを用いて実行される学習済みモデル(以下、第2音声NNと呼ぶ)とは、異なる学習済みモデルである。すなわち、第1音声NNと第2音声NNとは、異なる学習データを用いて学習される。このため、上記対応関係がインタフェース209を介した操作者の指示により適宜変更可能である場合、第1音声NNと第2音声NNとは、上記対応関係に対応付けられてメモリ207に記憶される。
なお、本適用例において、第1の応用例に記載のように処理対象信号101に基づいて参照信号102を生成する場合、音声処理装置201における処理回路141は、図6に示すように、相関データ生成機能1419をさらに有する。このとき、第1マイクロフォン202または第2マイクロフォン203は不要となる。以下、説明を簡便にするために、処理対象信号101および参照信号102は、それぞれ、第1音声データおよび第2音声データであるものとする。第1音声データおよび第2音声データは、それぞれ、1次元的なデータの一例である。
第1マイクロフォン202は、例えば接話マイクである。例えば、第1マイクロフォン202は、話者の音声を取得する。また、第1マイクロフォン202は、指向性を有するマイクロフォンであってもよい。第1マイクロフォン202は、時系列に沿って取得された音声に従って、第1音声データを生成する。第1マイクロフォン202は、第1音声データを、処理回路141に出力する。
第2マイクロフォン203は、話者以外の周囲の音などの環境音等を取得するマイクであり、例えば無指向性のマイクロフォンである。第2マイクロフォン203は、例えば、第1マイクロフォン202に比べて低分解能なマイクロフォンである。第2マイクロフォン203は、環境音のパワーを計測することができればよいため、例えば、MEMS(Micro Electro Mechanical Systems)により構成された音圧センサなどの各種センサであってもよい。第2マイクロフォン203は、時系列に沿って取得された音声に従って、第2音声データを生成する。第2マイクロフォン203は、第2音声データを、処理回路141に出力する。
本適用例において、第1の応用例および第2の応用例に関する処理内容については、処理対象信号101を第1音声データに読み替え、参照信号102を第2音声データに読み替えることで理解できるため、説明は省略する。
メモリ207は、第1音声データ、第2音声データ、およびノイズ低減機能1417により第1音声信号におけるノイズを低減した音声データ(以下、デノイズデータと呼ぶ)を記憶する。メモリ207は、音声(第1音声データ)において時刻ごとの音声のノイズに相関するノイズ相関データ(第2音声データ)と第1音声データとに基づいて第1音声データのノイズを時系列に沿って低減したデノイズデータを生成する学習済みモデルを記憶する。メモリ207は、処理回路141において実行される各種機能に対応するプログラムを記憶する。例えば、メモリ207は、上述の学習済みモデルに対応するCNN105を実行するためのプログラム(以下、ノイズ低減プログラムと呼ぶ)を記憶する。
メモリ207は、例えば、ROM、RAM、フラッシュメモリ等の半導体メモリ素子、ハードディスクドライブ、ソリッドステートドライブ、光ディスク等である。また、メモリ117は、CD−ROMドライブやDVDドライブ、フラッシュメモリ等の可搬性記憶媒体との間で種々の情報を読み書きする駆動装置等であってもよい。
インタフェース209は、本音声処理装置201に対する入出力に関する回路等に相当する。インタフェース209は、操作者による入力指示を受け付ける。また、インタフェース209は、無線または有線のネットワークを介して、外部の機器から各種指示や情報入力を受け付ける。また、インタフェース209は、ノイズ低減機能1417により生成されたデノイズデータを、無線または有線のネットワークを介して、外部の機器等へ出力する。なお、インタフェース209は、不図示のスピーカを有し、操作者の指示により、デノイズデータに対応する音声を発生させてもよい。
処理回路141は、不図示のシステム制御機能により、本音声処理装置201を制御する。入力機能1415およびノイズ低減機能1417にて行われる各種機能は、コンピュータによって実行可能なプログラムの形態でメモリ207に記憶されている。処理回路141は、これら各種機能に対応するプログラムをメモリ207から読み出し、読み出したプログラムを実行することで各プログラムに対応する機能を実現するプロセッサである。換言すると、各プログラムを読みだした状態の処理回路141は、図17の処理回路141内に示された複数の機能を有する。
なお、図17においては単一の処理回路141にてこれら各種機能が実現されるものとして説明したが、複数の独立したプロセッサを組み合わせて処理回路141を構成し、各プロセッサがプログラムを実行することにより機能を実現するものとしても構わない。換言すると、上述のそれぞれの機能がプログラムとして構成され、1つの処理回路が各プログラムを実行する場合であってもよいし、特定の機能が専用の独立したプログラム実行回路に実装される場合であってもよい。
以上が本適用例における音声処理装置201の全体構成についての説明である。以下、本適用例における入力機能1415、ノイズ低減機能1417について、以下のデノイズ処理の説明において詳述する。
(デノイズ処理)
本適用例におけるデノイズ処理は、第1音声データ101と、第2音声データと102とを用いたノイズ低減プログラムの実行により、デノイズデータ108を生成する処理である。図18は、本適用例におけるデノイズ処理に関する手順の一例を示すフローチャートである。
(ステップSb1)
第1マイクロフォン202により、第1音声データ101が、時系列に沿って取得される。同時に、第2マイクロフォン203により、ノイズ相関データに対応する第2音声データ102が、時系列に沿って取得される。図19は、第1音声データ101の一例を示す図である。図19に示すように、第1音声データ101には、鋸歯状のノイズが現れている。
(ステップSb2)
第1音声データ101と第2音声データ102とが、学習済みモデルに入力される。具体的には、処理回路141は、入力機能1415により、第1音声データ101と第2音声データ102とを入力層103に入力する。より詳細には、処理回路141は、第1音声データ101における時系列に沿った音声の振幅値を、入力層103の第1の入力範囲104aにおける複数のノードに入力する。処理回路141は、第2音声データ102における時系列に沿った音声の振幅値を、入力層103の第2の入力範囲104bにおける複数のノードに入力する。
処理回路141は、ノイズ低減機能1417により、入力層103において、第1音声データ101における複数の振幅値と、第2音声データ102における複数の振幅値とを組み合わせて、組み合わせデータ104を生成する。処理回路141は、組み合わせデータを、CNN105に出力する。
なお、第2の応用例が本適用例に用いられる場合、処理回路141は、第1音声データ101を入力層103に入力し、第2音声データ102をCNN105における少なくとも一つの中間層に入力する。
(ステップSb3)
第1音声データ101のノイズが低減されたデノイズデータ108が生成される。具体的には、処理回路141は、ノイズ低減機能1417により、第1音声データ101と第2音声データ102とを用いたノイズ低減プログラムの実行により、CNN105を用いてデノイズデータ108を生成する。図20は、時系列に沿ったデノイズデータ108の一例を示す図である。図20に示すように、図19に比べて鋸歯状のノイズが低減されている。処理回路141は、デノイズデータ108をインタフェース209に出力する。インタフェース209は、操作者の指示により、デノイズデータを音声としてスピーカから出力する。
以上に述べた構成によれば、以下の効果を得ることができる。
本適用例における音声処理装置201によれば、時系列に沿って音声を取得し、取得された音声において時刻ごとの音声のノイズに相関するノイズ相関データ(第2音声データ)と音声のデータ(第1音声データ)とに基づいて音声のノイズを時系列に沿って低減したデノイズデータを生成する学習済みモデルを記憶し、学習済みモデルに音声のデータとノイズ相関データとを入力し、学習済みモデルを用いてデノイズデータを生成することができる。また、本音声処理装置201によれば、音声のデータ(第1音声データ)に基づいてノイズ相関データを生成する第2の学習済みモデルをさらに記憶し、音声のデータを第2の学習済みモデルに入力し、第2の学習済みモデルを用いて、ノイズ相関データを生成することができる。
以上のことから、本適用例における音声処理装置201によれば、音声認識において、例えば、話者以外の周囲の音をノイズとして事前に低減することで認識精度を向上させることができる。すなわち、本音声処理装置201によれば、時系列に沿った1次元的な音声信号を本実施形態で説明した画像のような2次元信号と同様に、フィルタと活性化関数とを用いたニューラルネットワークを構成することができる。これにより、本音声処理装置201によれば、例えば、時系列のノイズを含んだ音声信号(第1音声データ)と、同じ時系列の例えば背景の音量の信号(第2音声データ)とを入力層103に設定することにより、第1音声データにおける背景音を効果的に低減することができる。
(第3の適用例)
本適用例における振動計測装置は、本実施形態における処理回路141を搭載する。振動計測装置は、構造物(橋、ビル、ダムなど)などに対する非破壊検査において用いられる。例えば、振動計測装置は、これらの構造物における亀裂などの罅の検出等に用いられる。図21を参考にして、本適用例における振動計測装置301の全体構成について説明する。図21は、振動計測装置301の構成の一例を示す図である。図21に示すように、振動計測装置301は、第1加速度センサ303と、第2加速度センサ305と、メモリ(記憶部)307と、インタフェース309と、ディスプレイ311と、処理回路(処理部)141とを備える。処理回路141は、変換機能3131に加えて、図1と同様に入力機能1415およびノイズ低減機能1417を有する。第1加速度センサ303および第2加速度センサ305は、時系列に沿って振動を計測する振動計測部の一例である。
本適用例において、処理対象信号101は、第1加速度センサ303により時系列に沿って取得された振動のデータ(以下、第1振動データ)に対してフーリエ変換が実行されたデータ(以下、第1変換データと呼ぶ)に相当する。また、参照信号102は、第2加速度センサ305により時系列に沿って取得された振動のデータ(以下、第2振動データ)に対してフーリエ変換が実行されたデータ(以下、第2変換データと呼ぶ)に相当する。第2変換データは、第1加速度センサ303により取得された振動(第1振動データ)において周波数ごとの振動のノイズに相関するノイズ相関データに相当する。第1変換データおよび第2変換データは、第1振動データおよび第2振動データにそれぞれ対応する周波数に対する振幅強度のスペクトラムに相当する。
なお、第1変換データおよび第2変換データは、処理対象信号101および参照信号102にそれぞれ対応することに限定されない。すなわち、インタフェース309を介した操作者の指示またはデフォルトの設定によっては、第1変換データを参照信号102とし、第2変換データを処理対象信号101として設定することも可能である。このとき、第1変換データはノイズ相関データに対応する。すなわち、操作者により設定される認識対象の振動データ(第1振動データまたは第2振動データ)が、処理対象信号101に相当する。このとき、ノイズは、非認識対象の振動データに相当する。
例えば、処理対象信号101および参照信号102と、第1変換データおよび第2変換データとの対応関係は、操作者の指示等に応じて、適宜変更可能である。処理対象信号101として第1変換データを用い、かつ参照信号102として第2変換データを用いて実行される学習済みモデル(以下、第1振動NNと呼ぶ)と、処理対象信号101として第2変換データを用い、かつ参照信号102として第1変換データを用いて実行される学習済みモデル(以下、第2振動NNと呼ぶ)とは、異なる学習済みモデルである。すなわち、第1変換NNと第2変換NNとは、異なる学習データを用いて学習される。このため、上記対応関係がインタフェース309を介した操作者の指示により適宜変更可能である場合、第1変換NNと第2変換NNとは、上記対応関係に対応付けられてメモリ307に記憶される。
なお、本適用例において、第1の応用例に記載のように処理対象信号101に基づいて参照信号102を生成する場合、振動計測装置301における処理回路141は、図6に示すように、相関データ生成機能1419をさらに有する。このとき、第1加速度センサ303または第2加速度センサ305は不要となる。以下、説明を簡便にするために、処理対象信号101および参照信号102は、それぞれ、第1変換データおよび第2変換データであるものとする。第1振動データおよび第2振動データは、それぞれ、1次元的なデータの一例である。
本適用例において、第1の応用例および第2の応用例に関する処理内容については、処理対象信号101を第1変換データに読み替え、参照信号102を第2変換データに読み替えることで理解できるため、説明は省略する。
第1加速度センサ303は、例えば、MEMSにより構成され、構造物における振動を計測する。第1加速度センサ303は、時系列に沿って計測された振動に従って、第1振動データを生成する。第1加速度センサ303は、第1振動データを、処理回路141に出力する。
第2加速度センサ305は、例えば、MEMSにより構成され、第1加速度センサ303により計測される振動の周囲における振動を計測する。第2加速度センサ305は、例えば、第1加速度センサ303に比べて低分解能なセンサである。第2加速度センサ305は、時系列に沿って計測された振動に従って、第2振動データを生成する。第2加速度センサ305は、第2振動データを、処理回路141に出力する。
メモリ307は、第1振動データ、第2振動データ、第1変換データ、第2変換データ、およびノイズ低減機能1417により第1変換データにおけるノイズを低減したデータ(以下、デノイズデータと呼ぶ)を記憶する。また、メモリ307は、デノイズデータに対して逆フーリエ変換が実行されたデータ(以下、振動デノイズデータと呼ぶ)を記憶する。メモリ307は、振動(第1振動データ)において周波数ごとの振動のノイズに相関するノイズ相関データ(第2変換データ)と振動における周波数ごとのデータ(第1変換データ)とに基づいて振動のノイズを周波数ごとに低減したデノイズデータを生成する学習済みモデルを記憶する。メモリ307は、処理回路141において実行される各種機能に対応するプログラムを記憶する。例えば、メモリ307は、上述の学習済みモデルに対応するCNN105を実行するためのプログラム(以下、ノイズ低減プログラムと呼ぶ)を記憶する。メモリ307の構成例については、第1および第2の適用例と同様なため、説明は省略する。
インタフェース309は、本振動計測装置301に対する入出力に関する回路等に相当する。インタフェース309は、操作者による入力指示を受け付ける。また、インタフェース309は、無線または有線のネットワークを介して、外部の機器から各種指示や情報入力を受け付ける。また、インタフェース309は、ノイズ低減機能1417により生成されたデノイズデータを、無線または有線のネットワークを介して、外部の機器等へ出力する。
ディスプレイ311は、各種の情報を表示する。例えば、ディスプレイ311は、処理回路141における変換機能3131によって生成された振動デノイズデータを表示する。また、ディスプレイ311は、操作者からの各種操作を受け付けるためのGUI(Graphical User Interface)等を表示する。ディスプレイ311としては、種々の任意のディスプレイが、適宜、使用可能となっている。例えばディスプレイ42として、液晶ディスプレイ、CRTディスプレイ、有機ELディスプレイ又はプラズマディスプレイが使用可能である。
処理回路141は、不図示のシステム制御機能により、本振動計測装置301を制御する。変換機能3131、入力機能1415およびノイズ低減機能1417にて行われる各種機能は、コンピュータによって実行可能なプログラムの形態でメモリ307に記憶されている。処理回路141は、これら各種機能に対応するプログラムをメモリ307から読み出し、読み出したプログラムを実行することで各プログラムに対応する機能を実現するプロセッサである。換言すると、各プログラムを読みだした状態の処理回路141は、図21の処理回路141内に示された複数の機能を有する。
なお、図21においては単一の処理回路141にてこれら各種機能が実現されるものとして説明したが、複数の独立したプロセッサを組み合わせて処理回路141を構成し、各プロセッサがプログラムを実行することにより機能を実現するものとしても構わない。換言すると、上述のそれぞれの機能がプログラムとして構成され、1つの処理回路が各プログラムを実行する場合であってもよいし、特定の機能が専用の独立したプログラム実行回路に実装される場合であってもよい。
以上が本適用例における振動計測装置301の全体構成についての説明である。以下、本適用例における変換機能3131、入力機能1415、ノイズ低減機能1417について、以下のデノイズ処理の説明において詳述する。
(デノイズ処理)
本適用例におけるデノイズ処理は、第1変換データ101と、第2変換データと102とを用いたノイズ低減プログラムの実行により、デノイズデータ108を生成する処理である。図22は、本適用例におけるデノイズ処理に関する手順の一例を示すフローチャートである。
(ステップSc1)
第1加速度センサ303は、第1振動データを、時系列に沿って取得する。同時に、第2加速度センサ305は、第2振動データを、時系列に沿って取得する。第1振動データおよび第2振動データは、処理回路141に出力される。
(ステップSc2)
処理回路141は、変換機能3131により、第1振動データに対してフーリエ変換を実行する。処理回路141は、第2振動データに対してフーリエ変換を実行する。これらのフーリエ変換により、処理回路141は、第1振動データと第2振動データとにそれぞれ対応する第1変換データ101と第2変換データ102とを生成する。
(ステップSc3)
第1変換データ101と第2変換データ102とが、学習済みモデルに入力される。具体的には、処理回路141は、入力機能1415により、第1変換データ101と第2変換データ102とを入力層103に入力する。より詳細には、処理回路141は、第1変換データ101における振動の周波数ごとの強度を、入力層103の第1の入力範囲104aにおける複数のノードに入力する。処理回路141は、第2変換データ102における振動の周波数ごとの強度を、入力層103の第2の入力範囲104bにおける複数のノードに入力する。
処理回路141は、ノイズ低減機能1417により、入力層103において、第1変換データ101における周波数ごとの強度と、第2変換データ102における周波数ごとの強度とを組み合わせて、組み合わせデータ104を生成する。処理回路141は、組み合わせデータを、CNN105に出力する。
なお、第2の応用例が本適用例に用いられる場合、処理回路141は、第1変換データ101を入力層103に入力し、第2変換データ102をCNN105における少なくとも一つの中間層に入力する。
(ステップSc3)
第1変換データにおけるノイズを周波数ごとに低減したデノイズデータ108が生成される。具体的には、処理回路141は、ノイズ低減機能1417により、第1変換データ101と第2変換データ102とを用いたノイズ低減プログラムの実行により、CNN105を用いてデノイズデータ108を生成する。
(ステップSc4)
デノイズデータに対して逆フーリエ変換を実行することにより、振動デノイズデータが生成される。具体的には、処理回路141は、変換機能3131により、デノイズデータに対して逆フーリエ変換を実行する。処理回路141は、逆フーリヘ変換により、第1振動データのノイズが低減された振動デノイズデータを生成する。処理回路141は、振動デノイズデータを、ディスプレイ311に表示させる。
本適用例の変形例として、参照信号102は、非破壊検査が実施される構造物に関する振動の周波数特性(以下、基準スペクトラムと呼ぶ)が用いられてもよい。基準スペクトラムは、例えば、構造物の形状、構造物の基礎地盤および非破壊検査が実施される季節などを条件として、構造物の固有振動などをシミュレーションすることにより、重畳されるノイズも含めて求められる。基準スペクトラムは、ノイズ相関マップに対応するものとして、メモリ307に記憶される。処理回路141は、入力機能1415により、第1変換データ101と基準スペクトラム102とを入力層103に入力する。次いで、処理回路141は、ノイズ低減機能1417により、第1変換データ101と基準スペクトラム102とを用いたノイズ低減プログラムの実行により、CNN105を用いてデノイズデータ108を生成する。デノイズデータは、構造物の経年劣化に対応する特徴的な振動データ(以下、経年劣化データと呼ぶ)のフーリエ変換に対応する。本変形例におけるCNN105は、基準スペクトラムに基づくノイズを経年劣化データに重畳させたノイズ包含データと、経年劣化データと、基準スペクトラムとを一つの組の学習データとして用いて学習されることにより、生成される。
以上に述べた構成によれば、以下の効果を得ることができる。
本適用例における振動計測装置301によれば、時系列に沿って振動を計測し、振動において周波数ごとの振動のノイズに相関するノイズ相関データ(第2変換データ)と振動における周波数ごとのデータ(第1変換データ)とに基づいて振動のノイズを周波数ごとに低減したデノイズデータを生成する学習済みモデルを記憶し、学習済みモデルに振動のデータとノイズ相関データとを入力し、学習済みモデルを用いてデノイズデータを生成することができる。また、本振動計測装置301によれば、振動のデータ(第1振動データ)に基づいてノイズ相関データを生成する第2の学習済みモデルをさらに記憶し、振動のデータを第2の学習済みモデルに入力し、第2の学習済みモデルを用いてノイズ相関データを生成することができる。
以上のことから、本適用例における振動計測装置301によれば、加速度センサで対象の振動を計測する場合において、計測対象以外の周囲の振動を事前に除去することで計測精度を向上させることができる。すなわち、例えば周囲の振動の周波数ごとの強弱が既知であるなら、計測データである第1振動データをフーリエ変換してから入力層103に設定し、参照信号102として周囲振動の周波数特性(第2変換データ)も入力層103に設定することで、出力層107からの出力信号としてデノイズデータを生成することができる。また、デノイズデータを、必要に応じて逆フーリエ変換することで、振動デノイズデータを生成することができる。
(第4の適用例)
本適用例における産業用CT装置は、本実施形態における処理回路141を搭載する。産業用CT装置は、製造物(アルミダイカスト、鉄、鋳物、シリンダー、タイヤ、エンジンブロック、小型電子部品、電池、モールド品、樹脂、繊維、炭素繊維強化プラスチック(CFRP:Carbon−Fiber−Reinforced Plastic)、ガラス繊維強化プラスチック(GFRP:Glass−Fiber−Reinforced Plastic)、ネジなどの各種部品など)を含む構造物または構造物の一部分に対する非破壊検査において用いられる。以下、構造物として製造物を用いて説明する。非破壊検査などで用いられ産業用CT装置は、製造物を回転軸周りに回転させながら収集されたX線の透過量(サイノグラム)から断層画像を再構成する。
本適用例において、ノイズ低減対象画像101に相当する画像は、図1におけるノイズ低減機能1417によるデノイズ処理前であって、製造物MAに対するCTスキャンに関して生成された投影データに基づくサイノグラム(以下、デノイズ前サイノグラムと呼ぶ)または、前処理後の投影データに基づいて再構成された画像(以下、デノイズ前CT画像と呼ぶ)に相当する。
また、本適用例において、入力層103に入力されるノイズ低減対象画像101がデノイズ前サイノグラムである場合、ノイズ相関マップ102は、デノイズ前CT画像において、構造物が載置された後述する回転テーブルの回転角度ごとに製造物を透過するX線のレイに沿った製造物の透過長を示すマップ(以下、透過長マップと呼ぶ)に対応する。透過長マップは、X線管においてX線が発生する焦点からX線検出素子に入射するX線のレイに沿った透過長を、例えば、回転角度を縦軸、チャネル方向に配列された複数のX線検出素子の素子番号を横軸として配列させたデータに相当する。以下、説明を具体的にするために、素子番号は、1乃至M(Mは自然数)であるものとする。なお、ノイズ相関マップ102は、透過長マップに限定されず、デノイズ前CT画像におけるノイズ量に相関する画像であれば、いずれの画像であってもよい。
また、本適用例において、入力層103に入力されるノイズ低減対象画像101がデノイズ前CT画像である場合、ノイズ相関マップ102は、透過長マップを用いて再構成された画像(以下、透過長再構成画像と呼ぶ)に対応する。
本適用例において、デノイズ前CT画像を用いてデノイズを行う場合の処理内容については、後程説明する。また、本適用例において、第1の応用例および第2の応用例に関する処理内容については、ノイズ低減対象画像101をデノイズ前サイノグラムに読み替え、ノイズ相関マップ102を透過長マップに読み替えることで理解できるため、説明は省略する。
図23は、本適用例における産業用CT装置10の構成の一例を示す図である。産業用CT装置10は、X線管11から製造物MAに対してX線を照射し、照射されたX線をX線検出器13で検出する。産業用CT装置10は、X線検出器13からの出力に基づいて製造物MAに関するデノイズ前CT画像を生成する。図23に示すように、産業用CT装置10は、X線管11と、X線検出器13と、回転テーブル15と、回転昇降機構16と、シフト機構17と、処理回路141とを有する。
X線管11は、メタルアーチファクトを生じさせずかつ製造物MAを透過可能な高線量のX線を、X線の照射範囲12に配置された製造物MAに照射する。具体的には、X線管11は、熱電子を発生する陰極と、陰極から放出される熱電子を受けてX線を発生する陽極と、陰極と陽極とを保持する真空管とを含む。X線管11は、高圧ケーブルを介して不図示のX線高電圧装置に接続されている。陰極と陽極との間には、X線高電圧装置により管電圧が印加される。管電圧の印加により陰極から陽極に向けて熱電子が放出される。陰極から陽極に向けて熱電子が放出されることにより管電流が流れる。X線高電圧装置からの高電圧の印加及びフィラメント電流の供給により、陰極(フィラメント)から陽極(ターゲット)に向けて熱電子が放出される。熱電子が陽極に衝突することにより、焦点FにおいてX線が発生される。例えば、X線管11には、回転する陽極に熱電子を照射することでX線を発生させる回転陽極型のX線管がある。
X線検出器13は、X線管11から照射され製造物MAを通過したX線を検出し、検出されたX線の線量に対応した電気信号を処理回路141に出力する。X線検出器13は、チャネル方向(z方向)に複数のX線検出素子が配列されたX線検出素子列がスライス方向(y方向)に複数配列された構造を有する。X線検出器13は、例えば、グリッド、シンチレータアレイ及び光センサアレイを有する間接変換型の検出器である。なお、X線検出器13は、入射したX線を電気信号に変換する半導体素子を有する直接変換型の検出器であってもよい。X線検出器は、X線検出部の一例である。
回転テーブル15には、製造物MAが載置される。このとき、製造物MAは、回転テーブル15に固定具を介して固定されても良い。回転テーブル15は、製造物MAに対するCTスキャンの実行時において、回転昇降機構16により、X線の光軸OAに垂直であって回転テーブル15の中心Cを通る回転軸AR周りに回転する。X線の光軸OAは、例えば、焦点FとX線検出器13における中心とを結ぶ直線である。
回転昇降機構16は、回転軸AR周りに回転テーブル15を回転可能に支持する。回転昇降機構16は、鉛直線であるz軸に沿って、回転テーブル15を昇降可能に支持する。回転昇降機構16は、回転テーブル15を回転させるためのモータおよびベアリングを有する。また、回転昇降機構16は、回転テーブル15を昇降させるための直動軸受、ガイドレールおよびモータを有する。回転昇降機構16は、処理回路141におけるシステム制御機能441による制御のもとで、回転テーブル15を回転および昇降させる。
シフト機構17は、X線管11とX線検出器13と回転昇降機構16とを支持する。具体的には、シフト機構17は、X線管11とX線検出器13との間の距離FDDを変更可能に、X線管11とX線検出器13とのうち少なくとも一方を、光軸OAに沿って移動可能に支持する。シフト機構17は、焦点Fと回転軸ARとの間異の距離を変更可能に、回転昇降機構16を光軸OAに沿って移動可能に支持する。シフト機構17は、X線管11とX線検出器13とのうち少なくとも一方と回転昇降機構16とを、光軸OAに沿って移動させるための直動軸受、ガイドレールおよびモータを有する。シフト機構17は、処理回路141におけるシステム制御機能441による制御のもとで、X線管11とX線検出器13とのうち少なくとも一方と回転昇降機構16とを、光軸OAに沿って移動させる。
メモリ41は、種々の情報を記憶するHDDやSSD、集積回路記憶装置等の記憶装置である。メモリ41は、例えば、前処理機能442により生成された投影データや再構成処理機能443により生成されたデノイズ前CT画像、ノイズ低減機能1417により生成されたデノイズ画像(以下、デノイズサイノグラムと呼ぶ)108等を記憶する。また、メモリ41は、デノイズ前サイノグラム101と透過長マップ102とに基づいてデノイズ前サイノグラム101におけるノイズを低減したデノイズサイノグラム108を生成するように機能付けられた学習済みモデルを記憶する。メモリ41は、学習済みモデルに用いられる透過長マップ102を記憶する。メモリ41は、デノイズサイノグラム108に基づいて再構成されたCT画像(以下、デノイズCT画像と呼ぶ)を記憶する。また、メモリ41は、処理回路141において実行される各種機能に対応するプログラムを記憶する。例えば、メモリ41は、上述の学習済みモデルに対応するCNN105を実行するためのノイズ低減プログラムを記憶する。
メモリ41は、HDDやSSD等以外にも、CD(Compact Disc)、DVD(Digital Versatile Disc)、フラッシュメモリ等の可搬性記憶媒体であってもよい。なお、メモリ41は、フラッシュメモリ、RAM等の半導体メモリ素子等との間で種々の情報を読み書きする駆動装置であってもよい。
ディスプレイ42は、各種の情報を表示する。例えば、ディスプレイ42は、処理回路141における再構成処理機能443によって生成されたデノイズCT画像や、操作者からの各種操作を受け付けるためのGUI(Graphical User Interface)等を出力する。ディスプレイ42としては、種々の任意のディスプレイが、適宜、使用可能となっている。例えばディスプレイ42として、液晶ディスプレイ、CRTディスプレイ、有機ELディスプレイ又はプラズマディスプレイが使用可能である。また、ディスプレイ42は、デスクトップ型でもよいし、処理回路141と無線通信可能なタブレット端末等で構成されることにしても構わない。
入力インターフェース43は、操作者からの各種の入力操作を受け付け、受け付けた入力操作を電気信号に変換して処理回路141に出力する。例えば、入力インターフェース43は、投影データを収集する際の収集条件や、デノイズCT画像およびデノイズ前CT画像を再構成する際の再構成条件、デノイズCT画像から後処理画像を生成する際の画像処理条件等を操作者から受け付ける。入力インターフェース43としては、例えば、マウス、キーボード、スイッチ、ボタン、ジョイスティック、タッチパッド及びタッチパネルディスプレイ等が適宜、使用可能となっている。なお、本実施形態において、入力インターフェース43は、マウス、キーボード、トラックボール、スイッチ、ボタン、ジョイスティック、タッチパッド及びタッチパネルディスプレイ等の物理的な操作部品を備えるものに限られない。例えば、装置とは別体に設けられた外部の入力機器から入力操作に対応する電気信号を受け取り、この電気信号を処理回路141へ出力する電気信号の処理回路も入力インターフェース43の例に含まれる。また、入力インターフェース43は、処理回路141と無線通信可能なタブレット端末等で構成されることにしても構わない。
処理回路141は、入力インターフェース43から出力される入力操作の電気信号に応じて本産業用CT装置10全体の動作を制御する。例えば、処理回路141は、ハードウェア資源として、CPUやMPU、GPU等のプロセッサとROMやRAM等のメモリとを有する。処理回路141は、メモリに展開されたプログラムを実行するプロセッサにより、システム制御機能441、前処理機能442、再構成処理機能443、画像処理機能444、入力機能1415、ノイズ低減機能1417等を実行する。なお、上記複数の機能は単一の処理回路で実現される場合に限らない。複数の独立したプロセッサを組み合わせて処理回路を構成し、各プロセッサがプログラムを実行することにより上記複数の機能を実現するものとしても構わない。なお、本適用例において、第1の応用例に記載のようにデノイズ前画像からノイズ相関マップを生成する場合、処理回路141は、図6に示す相関データ生成機能1419をさらに有する。
処理回路141は、システム制御機能441により、製造物MAに対してCTスキャンを行うために、X線高電圧装置と回転昇降機構16とシフト機構17とを制御する。例えば、製造物MAに対するCTスキャンの実行前において、処理回路141は、入力インターフェース43を介した操作者の指示により、製造物MAが照射範囲12に包含されるように、回転昇降機構16とシフト機構17とを制御する。次いで、処理回路141は、製造物MAに対するCTスキャンの実行期間に亘って、回転テーブル15を回転軸AR周りに1回転させるように、回転昇降機構16を制御する。システム制御機能441を実行する処理回路141は、システム制御部の一例である。
処理回路141は、前処理機能442により、X線検出器13から出力された検出データに対して対数変換処理やオフセット補正処理、チャネル間の感度補正処理、ビームハードニング補正等の前処理を施す。これにより、処理回路141は、複数の回転角度各々に対応する投影データを生成する。処理回路141は、複数の回転角度に亘る投影データを用いて、サイノグラムを生成する。なお、サイノグラムの生成は、再構成処理機能443により実行されてもよい。前処理機能442を実行する処理回路141は、前処理部の一例である。
処理回路141は、再構成処理機能443により、前処理後であってデノイズ処理前の投影データに対して、フィルタ補正逆投影法や逐次近似再構成法等を用いた再構成処理を行い、デノイズ前CT画像のデータを生成する。また、処理回路141は、デノイズ画像に対応するデノイズサイノグラム108に対して再構成処理を行い、デノイズCT画像のデータを生成する。再構成処理機能443を実行する処理回路141は、再構成処理部の一例である。
処理回路141は、画像処理機能444により、ノイズ低減機能1417によって生成されたデノイズCT画像のデータを、任意断面の断面画像データや任意視点方向のレンダリング画像データに変換する。変換は、入力インターフェース43を介して操作者から受け付けた入力操作に基づいて行われる。例えば、処理回路141は、当該デノイズCT画像のデータにボリュームレンダリングや、サーフェスボリュームレンダリング、画像値投影処理、MPR(Multi−Planer Reconstruction)処理、CPR(Curved MPR)処理等の3次元画像処理を施して、任意視点方向のレンダリング画像データを生成する。なお、任意視点方向のレンダリング画像データの生成は再構成処理機能443が直接行っても構わない。
以上が本適用例における産業用CT装置10の全体構成についての説明である。以下、本適用例における入力機能1415、ノイズ低減機能1417等について、以下のデノイズ処理の説明において詳述する。
(デノイズ処理)
本適用例におけるデノイズ処理は、デノイズ前サイノグラム101と、透過長マップ102とを用いたノイズ低減プログラムの実行により、デノイズサイノグラム108を生成する処理である。図24は、本適用例におけるデノイズ処理の手順の一例を示すフローチャートである。
(ステップSd1)
製造物MAに対するCTスキャンにより、投影データが生成される。具体的には、処理回路141は、前処理機能442により、X線検出器13から出力された検出データに対して前処理を行うことで、投影データを生成する。
(ステップSd2)
投影データに基づいて製造物画像(構造物画像)が再構成される。具体的には、処理回路141は、再構成処理機能443により、投影データに対して再構成処理を行い、デノイズ前CT画像を再構成する。
(ステップSd3)
投影データに基づいてサイノグラムが生成される。具体的には、処理回路141は、前処理機能442により、製造物MAに対するCTスキャンにおける複数の回転角度に亘る投影データを用いて、デノイズ前サイノグラム101を生成する。
図25は、デノイズ前サイノグラム101の一例を示す図である。図25に示すように、デノイズ前サイノグラム101は、回転テーブル15の回転角度を縦軸、チャネル方向に配列された複数のX線検出素子の素子番号を横軸として、回転角度および素子番号に対応付けられた投影データを配列することにより生成される。図25に示すように、デノイズ前サイノグラム101は、ノイズのため不鮮明となっている。
(ステップSd4)
製造物画像に基づいてデノイズ前サイノグラム101に対応するノイズ相関マップ102が生成される。具体的には、処理回路141は、画像処理機能444により、デノイズ前CT画像を用いて、複数の回転角度に各々において、複数のX線検出素子各々に入射するX線のレイに沿った透過長を算出する。処理回路141は、複数の回転角度各々および複数の素子番号各々に対応付けられた透過長を用いて、ノイズ相関マップとして、透過長マップ102を生成する。なお、透過長マップ102の生成は、処理回路141における他の機能において実施されてもよい。
図26は、回転角度が0°において、複数の素子番号にそれぞれ対応する複数の透過長の一例を示す図である。図26におけるデノイズ前CT画像BdnCTに示すように、焦点Fから素子番号ch1に向かうX線のレイr1は、透過長L1で被検体Pを通過する。同様に、焦点Fから素子番号ch2、ch3、chMに向かうX線のレイr2、レイr3、レイrMは、透過長L2、透過長L3、および透過長LMで被検体Pをそれぞれ通過する。図26において透過長LMは、ゼロである。
図27は、透過長マップ102の一例を示す図である。図27に示すように、透過長マップ102は、例えば、回転角度を縦軸、素子番号を横軸として、透過長を配列させた画像である。
(ステップSd5)
デノイズ前サイノグラム101と、ノイズ相関マップ102とが学習済みモデルに入力される。具体的には、処理回路141は、入力機能1415により、デノイズ前サイノグラム101と透過長マップ102とを入力層103に入力する。より詳細には、処理回路141は、ステップSd3において生成されたデノイズ前サイノグラム101における複数の画素値を、入力層103の第1の入力範囲104aにおける複数のノードに入力する。処理回路141は、ステップSd4において生成された透過長マップ102における複数の画素値を、入力層103の第2の入力範囲104bにおける複数のノードに入力する。
処理回路141は、ノイズ低減機能1417により、入力層103において、デノイズ前サイノグラム101における複数の画素値と、透過長マップ102における複数の画素値とを組み合わせて、組み合わせデータ104を生成する。処理回路141は、組み合わせデータを、CNN105に出力する。
なお、第2の応用例が本適用例に用いられる場合、処理回路141は、デノイズ前サイノグラム101を入力層103に入力し、透過長マップ102をCNN105における少なくとも一つの中間層に入力する。
(ステップSd6)
サイノグラムのノイズが低減されたデノイズ画像が生成される。具体的には、処理回路141は、ノイズ低減機能1417により、デノイズ前サイノグラム101と透過長マップ102とを用いたノイズ低減プログラムの実行により、デノイズサイノグラム108を生成する。デノイズサイノグラム108は、デノイズ前サイノグラム101におけるノイズが低減された画像である。
(ステップSd7)
デノイズ画像に対して再構成処理を実行することにより、ノイズが低減された製造物画像が生成される。具体的には、処理回路141は、再構成処理機能443により、デノイズサイノグラム108に対して再構成処理を実行することにより、デノイズCT画像を再構成する。
以下、本適用例の変形例として、製造物画像101としてデノイズ前CT画像を用いた場合のデノイズ処理について説明する。図28は、本適用例の変形例におけるデノイズ処理の手順の一例を示すフローチャートである。ステップSe1およびステップSe2は、ステップSd1およびステップSd2と同様な処理なため、説明を省略する。
(ステップSe3)
製造物画像に基づいてデノイズ前サイノグラムに対応する透過長を示すデータが生成される。透過長を示すデータは、図27に示す透過長マップに対応する。
(ステップSe4)
透過長を示すデータを再構成することにより、ノイズ相関マップが生成される。具体的には、処理回路141は、再構成処理機能443により、透過長を示すデータに対して再構成処理を実行することで、透過長再構成画像を生成する。透過長再構成画像は、ノイズ相関マップ102に相当する。
(ステップSe5)
デノイズ前CT画像101と透過長再構成画像102とが学習済みモデルに入力される。具体的には、処理回路141は、入力機能1415により、デノイズ前CT画像101と透過長再構成画像102とを入力層103に入力する。より詳細には、処理回路141は、ステップSe2において生成されたデノイズ前再構成画像101における複数の画素値を、入力層103の第1の入力範囲104aにおける複数のノードに入力する。処理回路141は、ステップSe4により生成された透過長再構成画像102における複数の画素値を、入力層103の第2の入力範囲104bにおける複数のノードに入力する。
処理回路141は、ノイズ低減機能1417により、入力層103において、デノイズ前CT画像101における複数の画素値と、透過長再構成画像102における複数の画素値とを組み合わせて、組み合わせデータ104を生成する。処理回路141は、組み合わせデータを、CNN105に出力する。
なお、第2の応用例が本適用例に用いられる場合、処理回路141は、デノイズ前CT画像101を入力層103に入力し、透過長再構成画像102をCNN105における少なくとも一つの中間層に入力する。
(ステップSe6)
デノイズ前CT画像101のノイズが低減されたデノイズ画像108が生成される。デノイズ画像は、デノイズCT画像に対応する。具体的には、処理回路141は、ノイズ低減機能1417により、デノイズ前CT画像101と透過長再構成画像102とを用いたノイズ低減プログラムの実行により、デノイズCT画像108を生成する。
以上に述べた構成によれば、以下の効果を得ることができる。
本適用例における産業用CT装置10によれば、製造物MAに対して収集された投影データに基づいて生成された製造物画像(デノイズ前CT画像)または製造物画像を生成する前段の中間画像(デノイズ前サイノグラム)と、製造物画像または中間画像に含まれるノイズに相関するノイズ相関マップ(透過長マップまたは透過長再構成画像)とに基づいて製造物画像のノイズまたは中間画像のノイズを低減したデノイズ画像を生成するように機能付けられた学習済みモデルを記憶し、製造物画像または中間画像とノイズ相関マップとを学習済みモデルに入力し、学習済みモデルを用いて、製造物画像のノイズまたは中間画像のノイズが低減されたデノイズ画像を生成することができる。
また、本産業用CT装置10によれば、学習済みモデルとしてのニューラルネットワークにおける入力層103の互いに別のチャンネルに、デノイズ前CT画像またはデノイズ前サイノグラムと、ノイズ相関マップ102とを入力することができる。また、本産業用CT装置10によれば、デノイズ前CT画像またはデノイズ前サイノグラムに基づいてノイズ相関マップを生成するように機能付けられた第2の学習済みモデルをメモリ41に記憶させ、デノイズ前CT画像またはデノイズ前サイノグラムを第2の学習済みモデルに入力し、第2の学習済みモデルを用いてノイズ相関マップを生成することができる。
また、本産業用CT装置10によれば、学習済みモデルとしてのニューラルネットワークにおける入力層103に、デノイズ前CT画像またはデノイズ前サイノグラムとを入力し、ニューラルネットワークにおける複数の中間層のうち少なくとも一つに、ノイズ相関マップを入力することができる。これにより、ノイズ相関マップ102が入力される中間層において、ノイズ量に応じて出力が変化する自由度が得られるため、デノイズ前CT画像またはデノイズ前サイノグラム101における部分領域ごとのノイズ量に応じた強度でノイズを低減することができる。
以上のことから、製造物MAの厚い部分ではX線の透過量が少なくなるため、X線の検出信号に対するノイズが相対的に増え、サイノグラムや断層画像の中央部でノイズが多くなる場合においても、本産業用CT装置10によれば、サイノグラムや断層画像を処理対象信号101、およびX線が製造物MAを通過した長さから算出したノイズ相関マップを参照信号102を用いることで、製造物MAの断層画像のノイズを効果的に低減することができる。
本実施形態および各種応用例の変形例として、距離計測装置110、音声処理装置201、振動計測装置301、および産業用CT装置10に関する技術的思想は、ノイズ低減プログラムをワークステーション等のコンピュータにインストールし、これらをメモリ上で展開することによっても実現することができる。コンピュータに当該手法を実行させることのできるプログラムは、磁気ディスク、光ディスク、半導体メモリなどの各種可搬型記憶媒体に格納して頒布することも可能である。
以上に説明した実施形態、応用例、適用例に関する距離計測装置110、音声処理装置201、振動計測装置301、産業用CT装置10、および距離計測方法によれば、ノイズ低減の精度を向上させることができる。すなわち、本実施形態、応用例、適用例等によれば、ノイズ低減対象画像などの処理対象信号101に加えて、ノイズ量の空間分布を表すノイズ相関マップなどの参照信号102もCNN105に入力することで、ノイズ低減の精度を向上させることができる距離計測装置110、音声処理装置201、振動計測装置301、産業用CT装置10、および距離計測方法を提供することができる。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
10 産業用CT装置
11 X線管
12 X線の照射範囲
13 X線検出器
15 回転テーブル
16 回転昇降機構
17 シフト機構
41 メモリ
42 ディスプレイ
43 入力インターフェース
101 処理対象信号
102 参照信号
103 入力層
104 組み合わせデータ
104a 第1の入力範囲
104b 第2の入力範囲
105 学習済みモデル
106 信号
107 出力層
107a 出力ベクトル
108 デノイズ画像
110 距離計測装置
113 発光素子
115 イメージセンサ
117 メモリ
119 インタフェース
141 処理回路
201 音声処理装置
202 第1マイクロフォン
203 第2マイクロフォン
204 中間層
204a 畳み込み後入力範囲
204b マップ入力範囲
205 ノード
206 第3の中間層
207 メモリ
209 インタフェース
301 振動計測装置
303 第1加速度センサ
305 第2加速度センサ
307 メモリ
309 インタフェース
311 ディスプレイ
441 システム制御機能
442 前処理機能
443 再構成処理機能
444 画像処理機能
1411 距離画像生成機能
1413 強度画像生成機能
1415 入力機能
1417 ノイズ低減機能
1419 相関データ生成機能
3131 変換機能
2041 活性化されたデータ

Claims (11)

  1. 出射された光が障害物で反射して反射光として戻ってくるまでの時間を用いて前記障害物までの距離を計測することにより、距離画像を生成する距離画像生成部と、
    前記反射光の強度、または環境光の強度を計測することにより、強度画像を生成する強度画像生成部と、
    前記距離画像と前記強度画像とに基づいて前記距離画像におけるノイズを低減したデノイズ画像を生成する学習済みモデルを記憶する記憶部と、
    前記学習済みモデルに、前記距離画像と前記強度画像とを入力する入力部と、
    前記学習済みモデルを用いて、前記デノイズ画像を生成するノイズ低減部と、
    を具備する距離計測装置。
  2. 前記学習済みモデルは、ニューラルネットワークであって、
    前記入力部は、前記ニューラルネットワークにおける入力層の互いに別のチャンネルに、前記距離画像と前記強度画像とを入力する、
    請求項1に記載の距離計測装置。
  3. 前記学習済みモデルは、ニューラルネットワークであって、
    前記入力部は、
    前記ニューラルネットワークにおける入力層に、前記距離画像を入力し、
    前記ニューラルネットワークにおける複数の中間層のうち少なくとも一つに、前記強度画像を入力する、
    請求項1に記載の距離計測装置。
  4. 前記強度画像は、複数の画素各々において、前記距離に対するノイズ量またはボケ量に相関する画素値を有する、
    請求項1乃至3のうちいずれか一項に記載の距離計測装置。
  5. 時系列に沿って音声を取得する音声取得部と、
    前記音声において時刻ごとの前記音声のノイズに相関するノイズ相関データと前記音声のデータとに基づいて前記ノイズを前記時系列に沿って低減したデノイズデータを生成する学習済みモデルを記憶する記憶部と、
    前記学習済みモデルに、前記音声のデータと前記ノイズ相関データとを入力する入力部と、
    前記学習済みモデルを用いて、前記デノイズデータを生成するノイズ低減部と、
    を具備する音声処理装置。
  6. 前記記憶部は、前記音声のデータに基づいて前記ノイズ相関データを生成する第2の学習済みモデルをさらに記憶し、
    前記入力部は、前記音声のデータを前記第2の学習済みモデルに入力し、
    前記第2の学習済みモデルを用いて、前記ノイズ相関データを生成する相関データ生成部をさらに具備する、
    請求項5に記載の音声処理装置。
  7. 時系列に沿って振動を計測する振動計測部と、
    前記振動において周波数ごとの前記振動のノイズに相関するノイズ相関データと前記振動における前記周波数ごとのデータとに基づいて前記振動のノイズを前記周波数ごとに低減したデノイズデータを生成する学習済みモデルを記憶する記憶部と、
    前記学習済みモデルに、前記振動のデータと前記ノイズ相関データとを入力する入力部と、
    前記学習済みモデルを用いて、前記デノイズデータを生成するノイズ低減部と、
    を具備する振動計測装置。
  8. 前記記憶部は、前記振動のデータに基づいて前記ノイズ相関データを生成する第2の学習済みモデルをさらに記憶し、
    前記入力部は、前記振動のデータを前記第2の学習済みモデルに入力し、
    前記第2の学習済みモデルを用いて、前記ノイズ相関データを生成する相関データ生成部をさらに具備する、
    請求項7に記載の振動計測装置。
  9. 構造物に対して収集された投影データに基づいて再構成された構造物画像または前記投影データに基づいて生成されたサイノグラムと、前記構造物画像または前記サイノグラムに含まれるノイズに相関するノイズ相関マップとに基づいて前記構造物画像のノイズまたは前記サイノグラムのノイズを低減したデノイズ画像を生成するように機能付けられた学習済みモデルを記憶する記憶部と、
    前記ノイズ相関マップと、前記構造物画像または前記サイノグラムとを前記学習済みモデルに入力する入力部と、
    前記学習済みモデルを用いて、前記構造物画像のノイズまたは前記サイノグラムのノイズが低減された前記デノイズ画像を生成するノイズ低減部と、
    を具備する産業用コンピュータ断層撮影装置。
  10. 前記ノイズ相関マップは、
    前記構造物画像において、前記構造物が載置された回転テーブルの回転角度ごとに前記構造物を透過するX線のレイに沿った前記構造物の透過長を示す透過長マップ、
    または前記透過長マップを用いて再構成された透過長再構成画像である、
    請求項9に記載の産業用コンピュータ断層撮影装置。
  11. 出射された光が障害物で反射して反射光として戻ってくるまでの時間を用いて前記障害物までの距離を計測することにより、距離画像を生成し、
    前記反射光の強度、または環境光の強度を計測することにより、強度画像を生成し、
    前記距離画像と前記強度画像とに基づいて前記距離画像におけるノイズを低減したデノイズ画像を生成する学習済みモデルを記憶し、
    前記学習済みモデルに、前記距離画像と前記強度画像とを入力し、
    前記学習済みモデルを用いて、前記デノイズ画像を生成する、
    ことを具備する距離計測方法。
JP2018109559A 2018-06-07 2018-06-07 距離計測装置、および距離計測方法 Active JP7068054B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2018109559A JP7068054B2 (ja) 2018-06-07 2018-06-07 距離計測装置、および距離計測方法
US16/285,997 US11315220B2 (en) 2018-06-07 2019-02-26 Distance measuring apparatus, vibration measuring apparatus, and industrial computed tomography apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018109559A JP7068054B2 (ja) 2018-06-07 2018-06-07 距離計測装置、および距離計測方法

Publications (2)

Publication Number Publication Date
JP2019211391A true JP2019211391A (ja) 2019-12-12
JP7068054B2 JP7068054B2 (ja) 2022-05-16

Family

ID=68765280

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018109559A Active JP7068054B2 (ja) 2018-06-07 2018-06-07 距離計測装置、および距離計測方法

Country Status (2)

Country Link
US (1) US11315220B2 (ja)
JP (1) JP7068054B2 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190120591A (ko) * 2018-04-16 2019-10-24 한국과학기술원 와이어 마찰력 조절 장치
CN111693139A (zh) * 2020-06-19 2020-09-22 浙江讯飞智能科技有限公司 声音强度测量方法、装置、设备及存储介质
CN113029327A (zh) * 2021-03-02 2021-06-25 招商局重庆公路工程检测中心有限公司 基于度量注意力卷积神经网络的隧道风机预埋基础损伤识别方法
CN113468955A (zh) * 2021-05-21 2021-10-01 香港生产力促进局 用于估计交通场景中两点间距离的方法、设备及存储介质
US11257189B2 (en) 2019-05-02 2022-02-22 Samsung Electronics Co., Ltd. Electronic apparatus and image processing method thereof

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110349236B (zh) * 2019-07-15 2022-12-06 上海联影医疗科技股份有限公司 一种图像校正方法和系统
CN111640073B (zh) * 2020-05-15 2021-06-01 哈尔滨工业大学 图像盲去噪系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017223648A (ja) * 2016-03-16 2017-12-21 アナログ ディヴァイスィズ インク 飛行時間型深度イメージングの際の消費電力の低減
JP2018077786A (ja) * 2016-11-11 2018-05-17 株式会社東芝 画像処理装置、画像処理方法、プログラム、運転制御システム、および、車両
JP2018084982A (ja) * 2016-11-24 2018-05-31 キヤノン株式会社 画像処理装置、情報処理方法及びプログラム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7583364B1 (en) * 2004-03-19 2009-09-01 University Corporation For Atmospheric Research High pulse-energy, eye-safe lidar system
WO2014053198A1 (en) * 2012-10-05 2014-04-10 MAX-PLANCK-Gesellschaft zur Förderung der Wissenschaften e.V. Co-registration - simultaneous alignment and modeling of articulated 3d shapes
US9734424B2 (en) * 2014-04-14 2017-08-15 Microsoft Technology Licensing, Llc Sensor data filtering
EP3289430B1 (en) * 2015-04-27 2019-10-23 Snap-Aid Patents Ltd. Estimating and using relative head pose and camera field-of-view
US20160321523A1 (en) * 2015-04-30 2016-11-03 The Regents Of The University Of California Using machine learning to filter monte carlo noise from images
JP7169094B2 (ja) 2017-06-01 2022-11-10 株式会社東芝 画像処理システム及び医用情報処理システム
US20190187253A1 (en) * 2017-12-14 2019-06-20 Vathys, Inc. Systems and methods for improving lidar output

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017223648A (ja) * 2016-03-16 2017-12-21 アナログ ディヴァイスィズ インク 飛行時間型深度イメージングの際の消費電力の低減
JP2018077786A (ja) * 2016-11-11 2018-05-17 株式会社東芝 画像処理装置、画像処理方法、プログラム、運転制御システム、および、車両
JP2018084982A (ja) * 2016-11-24 2018-05-31 キヤノン株式会社 画像処理装置、情報処理方法及びプログラム

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190120591A (ko) * 2018-04-16 2019-10-24 한국과학기술원 와이어 마찰력 조절 장치
US11257189B2 (en) 2019-05-02 2022-02-22 Samsung Electronics Co., Ltd. Electronic apparatus and image processing method thereof
US11861809B2 (en) 2019-05-02 2024-01-02 Samsung Electronics Co., Ltd. Electronic apparatus and image processing method thereof
CN111693139A (zh) * 2020-06-19 2020-09-22 浙江讯飞智能科技有限公司 声音强度测量方法、装置、设备及存储介质
CN113029327A (zh) * 2021-03-02 2021-06-25 招商局重庆公路工程检测中心有限公司 基于度量注意力卷积神经网络的隧道风机预埋基础损伤识别方法
CN113468955A (zh) * 2021-05-21 2021-10-01 香港生产力促进局 用于估计交通场景中两点间距离的方法、设备及存储介质
CN113468955B (zh) * 2021-05-21 2024-02-02 香港生产力促进局 用于估计交通场景中两点间距离的方法、设备及存储介质

Also Published As

Publication number Publication date
US11315220B2 (en) 2022-04-26
US20190378248A1 (en) 2019-12-12
JP7068054B2 (ja) 2022-05-16

Similar Documents

Publication Publication Date Title
JP7068054B2 (ja) 距離計測装置、および距離計測方法
US20220254021A1 (en) Medical image diagnostic apparatus
JP4656413B2 (ja) 予備補正を備えたct再構成方法及びシステム
US9224216B2 (en) High density forward projector for spatial resolution improvement for medical imaging systems including computed tomography
KR102301379B1 (ko) 영상 처리 장치, 영상 촬영 장치, 영상 처리 방법 및 영상 촬영 장치의 제어 방법
JP4717511B2 (ja) X線ct画像再構成方法およびx線ct装置
JP6283875B2 (ja) 医用画像処理装置、x線診断装置およびx線コンピュータ断層撮影装置
US20130272490A1 (en) Radio tomographic image generation method and device
JP6482934B2 (ja) 画像処理装置、放射線検出装置および画像処理方法
JP2019154854A (ja) 医用画像診断装置、医用信号復元方法、医用信号復元プログラム、モデル学習方法、モデル学習プログラム、および磁気共鳴イメージング装置
US10012619B2 (en) Imaging apparatus, ultrasonic imaging apparatus, method of processing an image, and method of processing an ultrasonic image
JP7419413B2 (ja) 信号処理装置、距離計測装置、および距離計測方法
US6463116B1 (en) Radiographic apparatus
JP4950607B2 (ja) 画像処理方法およびx線ct装置
JP6359278B2 (ja) X線コンピュータ断層撮影装置、および医用画像処理装置
JP7187131B2 (ja) 画像生成装置、x線コンピュータ断層撮影装置及び画像生成方法
EP2866203B1 (en) X-ray computed tomography apparatus, medical image processing apparatus, and medical image processing method
JP6449383B2 (ja) 医用画像処理装置、およびx線診断装置
JP4602703B2 (ja) 放射線撮影装置および画像生成装置
US20220343568A1 (en) Apparatus and method of producing a tomogram
JP2011177373A (ja) X線撮影装置
JP4638316B2 (ja) 放射線撮影装置ならびに画像処理装置および画像処理方法
JP2016083038A (ja) 光音響画像化装置および光音響画像化方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200625

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210518

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210608

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210806

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220201

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220316

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220405

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220428

R151 Written notification of patent or utility model registration

Ref document number: 7068054

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151