JP2021124832A - 推論装置、推論方法、及びプログラム - Google Patents
推論装置、推論方法、及びプログラム Download PDFInfo
- Publication number
- JP2021124832A JP2021124832A JP2020016491A JP2020016491A JP2021124832A JP 2021124832 A JP2021124832 A JP 2021124832A JP 2020016491 A JP2020016491 A JP 2020016491A JP 2020016491 A JP2020016491 A JP 2020016491A JP 2021124832 A JP2021124832 A JP 2021124832A
- Authority
- JP
- Japan
- Prior art keywords
- intermediate layer
- inference
- neural network
- layer
- inference device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 36
- 238000012545 processing Methods 0.000 claims abstract description 95
- 238000013528 artificial neural network Methods 0.000 claims abstract description 85
- 238000004891 communication Methods 0.000 claims abstract description 59
- 230000005540 biological transmission Effects 0.000 claims abstract description 10
- 230000008569 process Effects 0.000 claims description 25
- 238000003384 imaging method Methods 0.000 description 16
- 238000010586 diagram Methods 0.000 description 12
- 230000004044 response Effects 0.000 description 10
- 238000004364 calculation method Methods 0.000 description 9
- 238000013527 convolutional neural network Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 238000001994 activation Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000008014 freezing Effects 0.000 description 1
- 238000007710 freezing Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000002834 transmittance Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
- G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- General Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Neurology (AREA)
- Image Analysis (AREA)
Abstract
【解決手段】推論装置において、第1のニューラルネットワークは、入力層に入力された入力データについて、第1のニューラルネットワークの第1の部分が、入力層よりもノード数が少ない特定の中間層までの部分である制御手段と、特定の中間層の出力データを外部の推論装置へ送信する送信手段と、第1のニューラルネットワークの第2の部分が、第1のニューラルネットワークから第1の部分を除いた残りの部分である送信手段と、外部の推論装置から第1の推論結果を受信する受信手段と、を備え、外部の推論装置は、前記特定の中間層の前記出力データについて第1のニューラルネットワークの第2の部分の演算処理を行うことにより第1の推論結果を取得する推論装置を提供する。
【選択図】図3
Description
図1は、ニューラルネットワークを用いる推論システム100の全体構成例を示す図である。推論システム100は、入力層と、前階層から入力されるデータに含まれる特徴量を抽出する複数の中間層と、出力層とが階層的に接続された演算を実行する。図1に示すように、推論システム100は、撮像装置101(例えばデジタルカメラ)、サーバ103、及び通信ネットワーク102(例えばインターネット)を含む。撮像装置101とサーバ103とは、通信ネットワーク102を介して、各種の情報を通信する。
第2の実施形態では、撮像装置101とサーバ103との間の通信に用いる通信ネットワーク102が遮断されている場合(例えば通信ネットワーク102が無線ネットワークであって電波状況が悪い場合)の処理について説明する。本実施形態において、推論システム100、撮像装置101、及びサーバ103の基本的な構成は第1の実施形態と同様である(図1及び図2参照)。以下、主に第1の実施形態と異なる点について説明する。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
Claims (16)
- 入力層と、複数の中間層と、出力層とを有する第1のニューラルネットワークを用いる推論処理を外部の推論装置と分担して行う推論装置であって、
前記入力層に入力された入力データについて、前記第1のニューラルネットワークの第1の部分の演算処理を行うように制御する制御手段であって、前記第1のニューラルネットワークの前記第1の部分は、前記入力層から前記複数の中間層のうちの前記入力層よりもノード数が少ない特定の中間層までの部分である、制御手段と、
前記特定の中間層の出力データを前記外部の推論装置へ送信する送信手段であって、前記外部の推論装置は、前記特定の中間層の前記出力データについて前記第1のニューラルネットワークの第2の部分の演算処理を行うことにより第1の推論結果を取得するように構成され、前記第1のニューラルネットワークの前記第2の部分は、前記第1のニューラルネットワークから前記第1の部分を除いた残りの部分である、送信手段と、
前記外部の推論装置から前記第1の推論結果を受信する受信手段と、
を備えることを特徴とする推論装置。 - 前記特定の中間層は、前記複数の中間層のうちの最もノード数の少ない中間層である
ことを特徴とする請求項1に記載の推論装置。 - 前記複数の中間層は、前記入力層よりもノード数が少ない第1の中間層と、前記第1の中間層よりも後に配置され前記第1の中間層よりもノード数が少ない第2の中間層とを含み、
前記制御手段は、前記第1の中間層又は前記第2の中間層を前記特定の中間層として用いるように制御する
ことを特徴とする請求項1に記載の推論装置。 - 前記第2の中間層は、前記複数の中間層のうちの最もノード数の少ない中間層であり、
前記第1の中間層は、前記複数の中間層のうちの、前記第2の中間層を除いて最もノード数の少ない中間層である
ことを特徴とする請求項3に記載の推論装置。 - 前記制御手段は、前記外部の推論装置との通信速度が第1の閾値以上の場合、前記第1の中間層を前記特定の中間層として用い、前記通信速度が前記第1の閾値未満の場合、前記第2の中間層を前記特定の中間層として用いるように制御する
ことを特徴とする請求項3又は4に記載の推論装置。 - 前記制御手段は、前記推論装置の電池残量が第2の閾値未満の場合、前記第1の中間層を前記特定の中間層として用い、前記電池残量が前記第2の閾値以上の場合、前記第2の中間層を前記特定の中間層として用いるように制御する
ことを特徴とする請求項3又は4に記載の推論装置。 - 所定の条件が満たされる場合、前記制御手段は、前記特定の中間層の前記出力データについて、入力層を含む第1の部分と出力層を含む第2の部分とから構成される第2のニューラルネットワークの前記第2の部分の演算処理を行うことにより、第2の推論結果を取得するように制御し、
前記第2のニューラルネットワークの中間層の数は、前記第1のニューラルネットワークの中間層の数よりも少なく、
前記第2のニューラルネットワークの前記第1の部分は、前記第1のニューラルネットワークの前記第1の部分と共通であり、
前記第1のニューラルネットワークの前記第1の部分と前記第2のニューラルネットワークの前記第1の部分とは、共通の学習済みパラメータを有する
ことを特徴とする請求項1又は2に記載の推論装置。 - 前記外部の推論装置との通信が不可能な場合に、前記所定の条件が満たされる
ことを特徴とする請求項7に記載の推論装置。 - 入力層と、複数の中間層と、出力層とを有する第1のニューラルネットワークを用いる推論処理を外部の推論装置と分担して行う推論装置であって、
前記入力層に入力された入力データについて、前記入力層よりもノード数が少ない特定の中間層を含む前記第1のニューラルネットワークの第1の部分の演算処理を行うことにより得られた、前記特定の中間層の出力データを、前記外部の推論装置から受信する受信手段であって、前記第1のニューラルネットワークの前記第1の部分は、前記入力層から前記特定の中間層までの部分である、受信手段と、
前記特定の中間層の前記出力データについて前記第1のニューラルネットワークの第2の部分の演算処理を行うことにより第1の推論結果を取得するように制御する制御手段であって、前記第1のニューラルネットワークの前記第2の部分は、前記第1のニューラルネットワークから前記第1の部分を除いた残りの部分である、制御手段と、
前記第1の推論結果を前記外部の推論装置へ送信する送信手段と、
を備えることを特徴とする推論装置。 - 前記特定の中間層は、前記複数の中間層のうちの最もノード数の少ない中間層である
ことを特徴とする請求項9に記載の推論装置。 - 前記複数の中間層は、前記入力層よりもノード数が少ない第1の中間層と、前記第1の中間層よりも後に配置され前記第1の中間層よりもノード数が少ない第2の中間層とを含み、
前記外部の推論装置は、前記第1の中間層又は前記第2の中間層を前記特定の中間層として用いるように構成され、
前記制御手段は、前記外部の推論装置から受信した前記特定の中間層の前記出力データのデータ構造に基づき、前記第1の中間層及び前記第2の中間層のいずれが前記特定の中間層として用いられているかを識別する
ことを特徴とする請求項9に記載の推論装置。 - 前記第2の中間層は、前記複数の中間層のうちの最もノード数の少ない中間層であり、
前記第1の中間層は、前記複数の中間層のうちの、前記第2の中間層を除いて最もノード数の少ない中間層である
ことを特徴とする請求項11に記載の推論装置。 - 入力層と、複数の中間層と、出力層とを有する第1のニューラルネットワークを用いる推論処理を外部の推論装置と分担して行うための、推論装置が実行する推論方法であって、
前記入力層に入力された入力データについて、前記第1のニューラルネットワークの第1の部分の演算処理を行うように制御する制御工程であって、前記第1のニューラルネットワークの前記第1の部分は、前記入力層から前記複数の中間層のうちの前記入力層よりもノード数が少ない特定の中間層までの部分である、制御工程と、
前記特定の中間層の出力データを前記外部の推論装置へ送信する送信工程であって、前記外部の推論装置は、前記特定の中間層の前記出力データについて前記第1のニューラルネットワークの第2の部分の演算処理を行うことにより第1の推論結果を取得するように構成され、前記第1のニューラルネットワークの前記第2の部分は、前記第1のニューラルネットワークから前記第1の部分を除いた残りの部分である、送信工程と、
前記外部の推論装置から前記第1の推論結果を受信する受信工程と、
を備えることを特徴とする推論方法。 - 入力層と、複数の中間層と、出力層とを有する第1のニューラルネットワークを用いる推論処理を外部の推論装置と分担して行うための、推論装置が実行する推論方法であって、
前記入力層に入力された入力データについて、前記入力層よりもノード数が少ない特定の中間層を含む前記第1のニューラルネットワークの第1の部分の演算処理を行うことにより得られた、前記特定の中間層の出力データを、前記外部の推論装置から受信する受信工程であって、前記第1のニューラルネットワークの前記第1の部分は、前記入力層から前記特定の中間層までの部分である、受信工程と、
前記特定の中間層の前記出力データについて前記第1のニューラルネットワークの第2の部分の演算処理を行うことにより第1の推論結果を取得するように制御する制御工程であって、前記第1のニューラルネットワークの前記第2の部分は、前記第1のニューラルネットワークから前記第1の部分を除いた残りの部分である、制御工程と、
前記第1の推論結果を前記外部の推論装置へ送信する送信工程と、
を備えることを特徴とする推論方法。 - コンピュータを、請求項1乃至8のいずれか1項に記載の推論装置の各手段として機能させるためのプログラム。
- コンピュータを、請求項9乃至12のいずれか1項に記載の推論装置の各手段として機能させるためのプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020016491A JP7475150B2 (ja) | 2020-02-03 | 2020-02-03 | 推論装置、推論方法、及びプログラム |
US17/161,207 US20210241105A1 (en) | 2020-02-03 | 2021-01-28 | Inference apparatus, inference method, and storage medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020016491A JP7475150B2 (ja) | 2020-02-03 | 2020-02-03 | 推論装置、推論方法、及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021124832A true JP2021124832A (ja) | 2021-08-30 |
JP7475150B2 JP7475150B2 (ja) | 2024-04-26 |
Family
ID=77062021
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020016491A Active JP7475150B2 (ja) | 2020-02-03 | 2020-02-03 | 推論装置、推論方法、及びプログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US20210241105A1 (ja) |
JP (1) | JP7475150B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023070655A1 (en) * | 2021-11-01 | 2023-05-04 | Huawei Technologies Co., Ltd. | Interfacing with coded inference networks |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010287062A (ja) | 2009-06-11 | 2010-12-24 | Honda Motor Co Ltd | ニューラルネットワーク・シミュレーション演算方法 |
US10878318B2 (en) | 2016-03-28 | 2020-12-29 | Google Llc | Adaptive artificial neural network selection techniques |
US20180260687A1 (en) | 2016-04-26 | 2018-09-13 | Hitachi, Ltd. | Information Processing System and Method for Operating Same |
KR102474246B1 (ko) | 2018-01-23 | 2022-12-06 | 삼성전자주식회사 | 복수 개의 전자 디바이스를 이용하여 신경망 모델을 처리하는 방법 및 시스템 |
JP7056345B2 (ja) | 2018-04-18 | 2022-04-19 | 日本電信電話株式会社 | データ分析システム、方法、及びプログラム |
US11568257B2 (en) * | 2019-05-20 | 2023-01-31 | Vmware, Inc. | Secure cloud-based machine learning without sending original data to the cloud |
-
2020
- 2020-02-03 JP JP2020016491A patent/JP7475150B2/ja active Active
-
2021
- 2021-01-28 US US17/161,207 patent/US20210241105A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
JP7475150B2 (ja) | 2024-04-26 |
US20210241105A1 (en) | 2021-08-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20220261960A1 (en) | Super-resolution reconstruction method and related apparatus | |
US20220092795A1 (en) | Feature pyramid warping for video frame interpolation | |
US11475536B2 (en) | Context-aware synthesis for video frame interpolation | |
EP3451157B1 (en) | Device and method for performing forward operation of convolutional neural network | |
CN109375951B (zh) | 一种用于执行全连接层神经网络正向运算的装置和方法 | |
US11307865B2 (en) | Data processing apparatus and method | |
TW201805858A (zh) | 一種用於執行神經網絡運算的裝置及方法 | |
KR20210111833A (ko) | 타겟의 위치들을 취득하기 위한 방법 및 장치와, 컴퓨터 디바이스 및 저장 매체 | |
CN111897639A (zh) | 图像增广方法、装置、计算机设备及存储介质 | |
CN107122147B (zh) | 用于将图像基元部署至计算构造的图像流管线控制器 | |
US11138504B2 (en) | Deployment of deep neural networks (DNN) in embedded devices by means of peer-to-peer routing between computational points | |
CN111327887A (zh) | 电子装置及其操作方法,以及处理电子装置的图像的方法 | |
CN111338808B (zh) | 一种协同计算方法及系统 | |
US11556784B2 (en) | Multi-task fusion neural network architecture | |
JP2021124832A (ja) | 推論装置、推論方法、及びプログラム | |
US11729515B2 (en) | Imaging apparatus, information processing method, and recording medium for determining whether an image analysis of a predetermined image is complete | |
JP7251646B2 (ja) | 制御装置、方法及びシステム | |
US20200110635A1 (en) | Data processing apparatus and method | |
US20200150971A1 (en) | Data processing apparatus and method | |
US20230274539A1 (en) | Inference processing system capable of reducing load when executing inference processing, edge device, method of controlling inference processing system, method of controlling edge device, and storage medium | |
US20230274530A1 (en) | Inference processing system in which server and edge device cooperate to perform computation, server, edge device, and control method thereof, and storage medium | |
CN112669220B (zh) | 深度图像插值方法、装置、设备和介质 | |
KR102669839B1 (ko) | 3차원 가상모델 생성을 위한 전처리 방법 및 그를 위한 컴퓨팅 장치 | |
CN112883757B (zh) | 生成跟踪姿态结果的方法 | |
US20230112494A1 (en) | Hole filling method for providing virtual three-dimensional model and computing device therefor |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20210103 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210113 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230127 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20240116 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240119 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240312 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240318 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240416 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7475150 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |