JP2021163038A - 平面データ処理装置、平面データ処理方法及び平面データ処理用プログラム - Google Patents
平面データ処理装置、平面データ処理方法及び平面データ処理用プログラム Download PDFInfo
- Publication number
- JP2021163038A JP2021163038A JP2020062483A JP2020062483A JP2021163038A JP 2021163038 A JP2021163038 A JP 2021163038A JP 2020062483 A JP2020062483 A JP 2020062483A JP 2020062483 A JP2020062483 A JP 2020062483A JP 2021163038 A JP2021163038 A JP 2021163038A
- Authority
- JP
- Japan
- Prior art keywords
- data
- plane data
- processing
- plane
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 131
- 238000003672 processing method Methods 0.000 title claims description 12
- 238000007781 pre-processing Methods 0.000 claims abstract description 23
- 238000012805 post-processing Methods 0.000 claims abstract description 11
- 238000013527 convolutional neural network Methods 0.000 claims description 61
- 230000001965 increasing effect Effects 0.000 claims description 12
- 239000000284 extract Substances 0.000 claims description 6
- 230000006870 function Effects 0.000 claims description 6
- 230000002441 reversible effect Effects 0.000 claims description 5
- 238000001914 filtration Methods 0.000 claims 6
- 238000010606 normalization Methods 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 36
- 238000000034 method Methods 0.000 description 35
- 230000008569 process Effects 0.000 description 26
- 230000008859 change Effects 0.000 description 19
- 239000010410 layer Substances 0.000 description 16
- 238000001514 detection method Methods 0.000 description 14
- 230000000694 effects Effects 0.000 description 10
- 239000002245 particle Substances 0.000 description 10
- 238000013528 artificial neural network Methods 0.000 description 8
- 238000000605 extraction Methods 0.000 description 8
- 238000003860 storage Methods 0.000 description 8
- 238000010801 machine learning Methods 0.000 description 7
- 238000009826 distribution Methods 0.000 description 6
- 238000005259 measurement Methods 0.000 description 6
- 238000012876 topography Methods 0.000 description 6
- 238000012544 monitoring process Methods 0.000 description 4
- 230000002829 reductive effect Effects 0.000 description 4
- 238000003062 neural network model Methods 0.000 description 3
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 3
- 230000006399 behavior Effects 0.000 description 2
- 210000004556 brain Anatomy 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000008094 contradictory effect Effects 0.000 description 2
- 230000008451 emotion Effects 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 210000003128 head Anatomy 0.000 description 2
- 230000036961 partial effect Effects 0.000 description 2
- 238000003825 pressing Methods 0.000 description 2
- 239000002096 quantum dot Substances 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 210000001015 abdomen Anatomy 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013075 data extraction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000002996 emotional effect Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 210000004761 scalp Anatomy 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 239000002356 single layer Substances 0.000 description 1
- 230000036962 time dependent Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Landscapes
- Complex Calculations (AREA)
- Image Analysis (AREA)
Abstract
Description
特徴マップとは、「平面データのある位置近傍の矩形領域に含まれる値の分布の特徴を複数のフィルタによって数量化する処理を、平面データの各点について同様に実施し空間方向およびチャンネル方向に並べた3次元配列」である。フィルタとは、「ある矩形領域に特定のパターンが含まれる場合大きな値に変換し、そうでなければ小さな値へ変換する処理」である。また、チャンネルとは、「複数のフィルタ出力を並べたもの」である。
平面データ処理装置100Aでは、第1の実施形態のエンコーダ130は、畳み込みニューラルネットワーク(以下、CNN)135により構成される。CNN135は1層の構成とするが、2層以上であっても良い。また、第1の実施形態のデコーダ140は、トランスポーズド畳み込みニューラルネットワーク(Transposed CNN.以下、TCNN)145により構成されている。ニューラルネットワークにおけるTCNNは、転置畳み込みとでも称すべき処理であり、元となる特徴マップデータを拡大(空間解像度を上昇)させてから畳み込む処理を行うものである。
第2の実施形態では、時刻t0、t1、t2、…の平面データをチャンネル方向に連結し、Z個の矩形領域(1区画)に含まれる全数値を1つのフィルタに適用し、1つの数値を出力する。
この処理が平面データの畳み込み処理の際の並列データの1区画分の処理である。この処理を行うフィルタ処理部(処理ステップ、処理手段)が、CNN135に含まれている。この処理結果が1フィルタ分の出力となり、平面データの全区画分に同様の処理が行われる。全区画分の出力を平面上に並べ、全フィルタ分の出力をチャンネル方向に連結する
上記のエンコーダ130Bとして機能するCPU210は、各時刻での入力データを1つに連結させてからCNNを行う。例えば、時系列の各時点の平面データを1枚の平面データと表現するならば、例えば、現在の平面データ(1枚)と、1時刻過去の平面データ(1枚)と2時刻過去の平面データ(1枚)を1枚の大きな平面データとしてエンコードし、形状特徴量と位置(移動)特徴量を共に抽出する。これによって、形状と位置(移動)の2つの特徴を含んだ特徴マップの抽出が行われる。
入力される時系列データの中での移動は、特徴抽出の対象である。次の平面データへの移動は予測する対象である。エンコーダとして機能するCPU210への入力は「移動する形状」のデータであるため、移動の特徴と形状の特徴を抽出する処理対象になる。
例えば、CNN135は、図16Aに示すように、幅方向にX区画と、高さ方向にY区画とのX×Yの区画に値を有するフィルタを、Zチャネル備えたものであるとする。この場合に図16Bに示すように、時系列t0、t1、t2、・・・に入力される平面データを処理するときには、次のようである。最初の時刻t0の平面データの端から矩形領域(1区画)のデータを取り出し、チャネル方向の先頭のフィルタを用いて処理を行い、1区画目の処理を完了する(図16B)。次に、図16Cに示すように2区画目となる矩形領域(1区画)のデータを取り出し、チャネル方向の先頭のフィルタを用いて処理を行い、2区画目の処理を完了する(図16C)。以下同様に、最初の時刻t0の平面データの全区画のデータに対して処理を行い、1枚の平面データの処理を完了する。この最初の時刻t0の平面データは、チャネル方向の第2番目のフィルタを用いて上記と処理を行い、以下チャネル方向の第3番目、第4番目、・・・のフィルタを用いて上記と処理を行う。一方、時系列t1に入力される平面データは、チャネル方向の先頭のフィルタを用いて処理を行い、全区画の処理が完了すると、時系列t0に入力される平面データの処理に続いてチャネル方向の第2番目のフィルタを用いて上記と処理を行い、以下チャネル方向の第3番目、第4番目、・・・のフィルタを用いて上記と処理を行う。このように、エンコーダへの入力は、平面データは、チャンネル方向に時系列で並べた順でエンコーダへ入力される。このようにして複数のフィルタを経たエンコードの結果得られる特徴マップは、チャンネル方向に並べた順でデコーダに出力される。
上記において述べた高精度化と高速化という第3の実施形態の効果を、第2の実施形態等と比較する測定を行ってみた。図18Aは、この第3の実施形態の効果を示す図である。ここでは、第2の実施形態を1.0とし、デコーダは最適設計とした。第3の実施形態によって予測精度は40%向上した。CNNは、1層または複数層の構成により畳み込みを行うことが知られており、2層の構成により畳み込みCNNをCNN2層化と称することにする。CNN2層化と比較すると、第3の実施形態は、処理時間を20%削減できることが判った。
Claims (15)
- 入力される平面データを所定範囲で規格化する前処理部と、
規格化された前記平面データの空間解像度を低下させて特徴量データを抽出するエンコーダと、
前記特徴量データの空間解像度を上昇させて予測データを求めるデコーダと、
前記デコーダの出力に対して、前記前処理部が行った規格化と逆の処理を行って予測平面データを作成する後処理部と
を具備することを特徴とする平面データ処理装置。 - 前記エンコーダは、形状特徴データと位置特徴データを含む特徴量データを抽出することを特徴とする請求項1に記載の平面データ処理装置。
- 前記エンコーダは、平面データにフィルタを適用して畳み込みを行う畳み込みニューラルネットワークであって、時系列に並ぶ平面データを連結して各平面データの1区画の数値を1つのフィルタに適用して1つの数値を出力するフィルタ処理を行うフィルタ処理部を含む畳み込みニューラルネットワークにより構成され、
前記フィルタ処理部は、前記時系列に並ぶ平面データの全区画に対し前記フィルタ処理を行うことを特徴とする請求項1または2に記載の平面データ処理装置。 - 前記エンコーダは、複数の畳み込みニューラルネットワークにより構成され、
前記複数の畳み込みニューラルネットワークのそれぞれは、前記前処理部から異なる時の規格化された平面データを受けて、並列処理を行うことを特徴とする請求項1に記載の平面データ処理装置。 - 前記デコーダは、前記複数の畳み込みニューラルネットワークにより並列処理された結果に係る複数の前記特徴量データが連結された特徴量データを受けて、この連結された特徴量データの空間解像度を上昇させて予測データを求めることを特徴とする請求項4に記載の平面データ処理装置。
- 入力される平面データを所定範囲で規格化する前処理ステップと、
規格化された前記平面データの空間解像度を低下させて特徴量データを抽出するエンコードステップと、
特徴量データの空間解像度を上昇させて予測データを求めるデコーダステップと、
前記デコーダステップの出力に対して、前記前処理ステップにおいて行った規格化と逆の処理を行って予測平面データを作成する後処理ステップと
を実行することを特徴とする平面データ処理方法。 - 前記エンコードステップでは、形状特徴データと位置特徴データを含む特徴量データを抽出することを特徴とする請求項6に記載の平面データ処理方法。
- 前記エンコードステップは、平面データにフィルタを適用して畳み込みを行う畳み込みニューラルネットワークであって、時系列に並ぶ平面データを連結して各平面データの1区画の数値を1つのフィルタに適用して1つの数値を出力するフィルタ処理を行うフィルタ処理ステップを含む畳み込みニューラルネットワークにより構成され、
前記フィルタ処理ステップは、前記時系列に並ぶ平面データの全区画に対し前記フィルタ処理を行うことを特徴とする請求項6または7に記載の平面データ処理方法。 - 前記エンコードステップでは、複数の畳み込みニューラルネットワークを用い、前記複数の畳み込みニューラルネットワークのそれぞれにおいて、前記前処理ステップから異なる時の規格化された平面データを受けて、並列処理を行うことを特徴とする請求項6に記載の平面データ処理方法。
- 前記デコーダステップでは、前記複数の畳み込みニューラルネットワークを用いて並列処理された結果に係る複数の前記特徴量データの連結された特徴量データを受けて、この連結された特徴量データの空間解像度を上昇させて予測データを求めることを特徴とする請求項9に記載の平面データ処理方法。
- コンピュータを、
入力される平面データを所定範囲で規格化する前処理手段、
規格化された前記平面データの空間解像度を低下させて特徴量データを抽出するエンコーダ手段と、
特徴量データの空間解像度を上昇させて予測データを求めるデコード手段、
前記デコード手段の出力に対して、前記前処理手段が行った規格化と逆の処理を行って予測平面データを作成する後処理手段
として機能させることを特徴とする
平面データ処理用プログラム。 - 前記コンピュータを前記エンコーダ手段として、形状特徴データと位置特徴データを含む特徴量データを抽出するように機能させることを特徴とする請求項11に記載の平面データ処理用プログラム。
- 前記エンコーダ手段は、平面データにフィルタを適用して畳み込みを行う畳み込みニューラルネットワークであって、前記コンピュータを、時系列に並ぶ平面データ連結して各平面データの1区画の数値を1つのフィルタに適用して1つの数値を出力するフィルタ処理を行うフィルタ処理手段としてさせる畳み込みニューラルネットワークにより構成され、
前記コンピュータを前記フィルタ処理手段として、前記時系列に並ぶ平面データの全区画に対し前記フィルタ処理を行うように機能させること
を特徴とする請求項11または12に記載の平面データ処理用プログラム。 - 前記エンコーダ手段は、複数の畳み込みニューラルネットワークにより構成され、
前記コンピュータを、前記複数の畳み込みニューラルネットワークのそれぞれとして、前記前処理手段から異なる時の規格化された平面データを受けて、並列処理を行うように機能させることを特徴とする請求項11に記載の平面データ処理用プログラム。 - 前記コンピュータを前記デコード手段として、前記複数の畳み込みニューラルネットワークにより並列処理された結果に係る複数の前記特徴量データの連結された特徴量データを受けて、この連結された特徴量データの空間解像度を上昇させて予測データを求めるように機能させることを特徴とする請求項14に記載の平面データ処理用プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020062483A JP7216264B2 (ja) | 2020-03-31 | 2020-03-31 | 平面データ処理装置、平面データ処理方法及び平面データ処理用プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020062483A JP7216264B2 (ja) | 2020-03-31 | 2020-03-31 | 平面データ処理装置、平面データ処理方法及び平面データ処理用プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021163038A true JP2021163038A (ja) | 2021-10-11 |
JP7216264B2 JP7216264B2 (ja) | 2023-02-01 |
Family
ID=78003383
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020062483A Active JP7216264B2 (ja) | 2020-03-31 | 2020-03-31 | 平面データ処理装置、平面データ処理方法及び平面データ処理用プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7216264B2 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20230065419A (ko) * | 2021-11-04 | 2023-05-12 | 서울대학교산학협력단 | 자율 주행 차량 또는 로봇을 위한 장애물 탐지 시스템 |
WO2024142874A1 (ja) * | 2022-12-27 | 2024-07-04 | オムロン株式会社 | 予測方法、表示方法、プログラム、予測システム、表示システム、及び学習済みモデル |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019504659A (ja) * | 2015-11-29 | 2019-02-21 | アーテリーズ インコーポレイテッド | 自動化された心臓ボリュームセグメンテーション |
-
2020
- 2020-03-31 JP JP2020062483A patent/JP7216264B2/ja active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019504659A (ja) * | 2015-11-29 | 2019-02-21 | アーテリーズ インコーポレイテッド | 自動化された心臓ボリュームセグメンテーション |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20230065419A (ko) * | 2021-11-04 | 2023-05-12 | 서울대학교산학협력단 | 자율 주행 차량 또는 로봇을 위한 장애물 탐지 시스템 |
KR102609489B1 (ko) * | 2021-11-04 | 2023-12-06 | 서울대학교 산학협력단 | 자율 주행 차량 또는 로봇을 위한 장애물 탐지 시스템 |
WO2024142874A1 (ja) * | 2022-12-27 | 2024-07-04 | オムロン株式会社 | 予測方法、表示方法、プログラム、予測システム、表示システム、及び学習済みモデル |
Also Published As
Publication number | Publication date |
---|---|
JP7216264B2 (ja) | 2023-02-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107766894B (zh) | 基于注意力机制和深度学习的遥感图像自然语言生成方法 | |
CN111401177B (zh) | 基于自适应时空注意力机制的端到端行为识别方法及系统 | |
Molina-Cabello et al. | Vehicle type detection by ensembles of convolutional neural networks operating on super resolved images | |
KR101880907B1 (ko) | 비정상 세션 감지 방법 | |
WO2019096952A1 (en) | A system and method for single image object density estimation | |
CN110503630B (zh) | 一种基于三维深度学习模型的脑出血分类、定位与预测方法 | |
CN113724880A (zh) | 一种异常脑连接预测系统、方法、装置及可读存储介质 | |
CN107944443A (zh) | 一种基于端到端深度学习进行对象一致性检测方法 | |
CN108447078A (zh) | 基于视觉显著性的干扰感知跟踪算法 | |
Rajput et al. | An accurate and noninvasive skin cancer screening based on imaging technique | |
JP2021163038A (ja) | 平面データ処理装置、平面データ処理方法及び平面データ処理用プログラム | |
Bhattacharya et al. | Interleaved deep artifacts-aware attention mechanism for concrete structural defect classification | |
CN110879982A (zh) | 一种人群计数系统及方法 | |
CN112288776B (zh) | 一种基于多时间步金字塔编解码器的目标跟踪方法 | |
CN113312973B (zh) | 一种手势识别关键点特征提取方法及系统 | |
CN112766123B (zh) | 一种基于纵横交叉注意力网络的人群计数方法及系统 | |
Naik et al. | Improved and Accurate Face Mask Detection Using Machine Learning in the Crowded Places | |
Wu et al. | Robust fall detection in video surveillance based on weakly supervised learning | |
CN115601403A (zh) | 一种基于自注意力机制的事件相机光流估计方法及装置 | |
CN113220114A (zh) | 一种融合人脸识别的可嵌入非接触式电梯按键交互方法 | |
Xu et al. | Concrete crack segmentation based on convolution–deconvolution feature fusion with holistically nested networks | |
CN117934824A (zh) | 一种超声影像的目标区域分割方法、系统及电子设备 | |
Fa et al. | Multi-scale spatial–temporal attention graph convolutional networks for driver fatigue detection | |
CN109493370A (zh) | 一种基于空间偏移学习的目标跟踪方法 | |
Al-Shakarchy et al. | Detecting abnormal movement of driver's head based on spatial-temporal features of video using deep neural network DNN |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200826 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211102 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211223 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220524 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220725 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221213 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221226 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7216264 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |