JP2020120406A - 固体撮像装置、情報処理システム、固体撮像方法及びプログラム - Google Patents
固体撮像装置、情報処理システム、固体撮像方法及びプログラム Download PDFInfo
- Publication number
- JP2020120406A JP2020120406A JP2020076841A JP2020076841A JP2020120406A JP 2020120406 A JP2020120406 A JP 2020120406A JP 2020076841 A JP2020076841 A JP 2020076841A JP 2020076841 A JP2020076841 A JP 2020076841A JP 2020120406 A JP2020120406 A JP 2020120406A
- Authority
- JP
- Japan
- Prior art keywords
- dnn
- solid
- state imaging
- unit
- imaging device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Transforming Light Signals Into Electric Signals (AREA)
- Studio Devices (AREA)
Abstract
Description
1.第1実施形態
1−1.第1実施形態に係る固体撮像システムの構成
1−2.第1実施形態に係る固体撮像システムの処理
1−3.第1実施形態に係る固体撮像システムのユースケース
1−4.第1実施形態に係る固体撮像システムの変形例
2.第2実施形態
2−1.第2実施形態に係る固体撮像システムの構成
2−2.第2実施形態に係る固体撮像システムの変形例の構成
3.第3実施形態
3−1.第3実施形態に係る固体撮像システムの構成
4.ハードウェア構成
[1−1.第1実施形態に係る固体撮像システムの構成]
図1と、図2とを用いて、本開示の第1実施形態に係る固体撮像システムの構成について説明する。図1は、本開示の第1実施形態に係る固体撮像システムの構成の一例を示すブロック図である。図2は、本開示の第1実施形態に係る固体撮像システムの接続関係を説明するための図である。
図5を用いて、固体撮像装置100と、情報処理装置200との処理について説明する。図5は、固体撮像装置100と、情報処理装置200との処理の流れを示すシーケンス図である。
図9を用いて、DNNモデルを変更する場合のユースケースについて説明する。図9は、DNNモデルを変更する場合のユースケースを示す表である。
図10を用いて、第1実施形態の変形例に係る固体撮像システムの構成について説明する。図10は、第1実施形態の変形例に係る固体撮像システムの構成を示すブロック図である。
[2−1.第2実施形態に係る固体撮像システムの構成]
図11と、図12とを用いて、本開示の第2実施形態に係る固体撮像システムの構成について説明する。図11は、本開示の第2実施形態に係る固体撮像システムの構成の一例を示すブロック図である。図12は、本開示の第2実施形態に係る固体撮像システムの接続関係を説明するための図である。
図13を用いて、本開示の第2実施形態に係る固体撮像システムの変形例について説明する。図13は、本開示の第2実施形態に係る固体撮像システムの接続関係の変形例を説明するための図である。
[3−1.第3実施形態に係る固体撮像システムの構成]
図14と、図15とを用いて、本開示の第3実施形態に係る固体撮像システムの構成について説明する。図14は、本開示の第3実施形態に係る固体撮像システムの構成の一例を示すブロック図である。図15は、本開示の第3実施形態に係る固体撮像システムの接続関係を説明するための図である。
上述してきた各実施形態に係る固体撮像装置及び情報処理装置は、例えば、図16に示すような構成のコンピュータ1000によって実現される。以下、第1の実施形態に係る固体撮像装置100を例に挙げて説明する。図16は、固体撮像装置100の機能を実現するコンピュータ1000の一例を示すハードウェア構成図である。コンピュータ1000は、CPU1100、RAM1200、ROM(Read Only Memory)1300、HDD(Hard Disk Drive)1400、通信インターフェイス1500、及び入出力インターフェイス1600を有する。コンピュータ1000の各部は、バス1050によって接続される。
(1)
DNNモデルに基づいて入力画像に対しDNNを実行するDNN処理部と、
前記DNNの実行結果の評価情報に基づいて生成された制御情報を受け、前記制御情報に基づいて前記DNNモデルを変更するDNN制御部と、
を備える固体撮像装置。
(2)
前記DNN制御部は、前記制御情報に基づいて、前記DNNモデルのパラメータを変更する、
前記(1)に記載の固体撮像装置。
(3)
前記DNN制御部は、少なくとも、前記DNNモデルの入力画像サイズ及びフィルタサイズのいずれか一方を変更する、
前記(2)に記載の固体撮像装置。
(4)
前記DNN処理部が実行する前記DNNモデルを少なくとも1つ記憶している記憶部をさらに備える、
前記(1)〜(3)のいずれか1つに記載の固体撮像装置。
(5)
前記記憶部は、前記DNN処理部の学習用データを記憶している、
前記(4)に記載の固体撮像装置。
(6)
前記DNN制御部は、前記制御情報に基づいて、実行した前記DNNモデルを前記記憶部が記憶している前記DNNモデルに切り替える、
前記(4)または(5)に記載の固体撮像装置。
(7)
前記DNNの実行結果を評価して評価情報を生成する評価部をさらに備える、
前記(1)〜(6)のいずれか1つに記載の固体撮像装置。
(8)
前記評価部は、前記DNN処理部の推論時及び学習時の処理状況を評価して前記評価情報を生成する、
前記(7)に記載の固体撮像装置。
(9)
前記評価部は、前記DNNの認識結果と、前記評価情報とに基づいて正解データを生成する、
前記(7)または(8)に記載の固体撮像装置。
(10)
前記DNN制御部は、前記正解データに基づいて、前記DNNモデルを変更する、
前記(9)に記載の固体撮像装置。
(11)
前記評価情報は、前記DNNの認識結果に関する情報を含む、
前記(1)〜(10)のいずれか1つに記載の固体撮像装置。
(12)
外部装置で実行されたDNNモデルの実行結果の評価情報に基づいて、前記DNNモデルを変更するための制御情報を生成する制御部を備える、
情報処理装置。
(13)
前記制御部は、前記外部装置に記憶されている前記DNNモデルに関する情報を取得する、
前記(12)に記載の情報処理装置。
(14)
固体撮像装置と、情報処理装置とを含み、
前記固体撮像装置は、
DNNモデルに基づいて入力画像に対しDNNを実行するDNN処理部と、
前記DNNの実行結果の評価情報に基づいて生成された制御情報を受け、前記制御情報に基づいて前記DNNモデルを変更するDNN制御部と、を備え、
前記情報処理装置は、
前記DNNモデルの実行結果に基づいて、前記DNNモデルを変更するための制御情報を生成する制御部を備える、
情報処理システム。
(15)
DNNモデルに基づいて入力画像に対しDNNを実行し、
前記DNNの実行結果の評価情報に基づいて生成された制御情報を受け、前記制御情報に基づいて前記DNNモデルを変更する、
情報処理方法。
(16)
DNNモデルの実行結果の評価情報に基づいて、前記DNNモデルを変更するための制御情報を生成する、
情報処理方法。
(17)
コンピュータを、
DNNモデルに基づいて入力画像に対しDNNを実行するDNN処理部と、
前記DNNの実行結果の評価情報に基づいて生成された制御情報を受け、前記制御情報に基づいて前記DNNモデルを変更するDNN制御部と、
して機能させるためのプログラム。
(18)
コンピュータを、
DNNモデルの実行結果の評価情報に基づいて、前記DNNモデルを変更するための制御情報を生成する制御部として機能させるためのプログラム。
100 固体撮像装置
110 撮像部
120 撮像処理部
130 DNN処理部
140 記憶部
150 評価部
160 DNN制御部
170 セレクタ
171 マルチプレクサ
172 デマルチプレクサ
180,210 通信I/F
181,212 送信部
182,211 受信部
190,220 通信制御部
200 情報処理装置
230 制御部
Claims (12)
- 受光した光を光電変換して画像データを出力する撮像部と、
前記撮像部から出力された前記画像データに基づくデータに対してDNNモデルに基づいてDNNを実行するDNN処理部と、
前記DNNの実行結果に基づいて評価情報を生成する評価部と、
少なくとも前記撮像部に電力を供給するバッテリの電力残量を測定し、測定された前記電力残量と、前記評価情報とに基づいて、前記DNNモデルの消費電力を変更するための制御情報を生成する制御部と、
前記制御情報に基づいて前記DNNモデルの消費電力を変更するDNN制御部と、
を備え、
前記撮像部と前記DNN処理部と前記DNN制御部と前記評価部とは、単一のチップ内に配置されている固体撮像装置。 - 前記撮像部から取得された前記画像データ、前記DNN処理部による前記DNNの実行結果、及び、前記評価部によって生成された前記評価情報のうちの少なくとも1つを選択的に外部へ出力可能な出力部と、
前記画像データ、前記DNNの実行結果、及び、前記評価情報のうちの少なくとも1つを前記出力部に選択的に出力させる出力制御部と、
を備える請求項1に記載の固体撮像装置。 - 前記DNN制御部は、前記DNNモデルの入力画像サイズ及びフィルタサイズのいずれか一方をさらに変更する、
請求項1に記載の固体撮像装置。 - 前記DNN処理部が実行する前記DNNモデルを少なくとも1つ記憶している記憶部をさらに備える、
請求項1に記載の固体撮像装置。 - 前記記憶部は、前記DNN処理部の学習用データを記憶している、
請求項4に記載の固体撮像装置。 - 前記DNN制御部は、前記制御情報に基づいて、実行した前記DNNモデルを前記記憶部が記憶している前記DNNモデルに切り替える、
請求項4に記載の固体撮像装置。 - 前記評価部は、前記DNN処理部の推論時及び学習時の処理状況を評価して前記評価情報を生成する、
請求項1に記載の固体撮像装置。 - 前記評価部は、前記DNNの認識結果と、前記評価情報とに基づいて正解データを生成する、
請求項1に記載の固体撮像装置。 - 前記DNN制御部は、前記正解データに基づいて、前記DNNモデルの前記消費電力を変更する、
請求項8に記載の固体撮像装置。 - 固体撮像装置と、情報処理装置とを含み、
前記固体撮像装置は、
受光した光を光電変換して画像データを出力する撮像部と、
前記撮像部から出力された前記画像データに基づくデータに対してDNNモデルに基づいてDNNを実行するDNN処理部と、
前記DNNの実行結果に基づいて評価情報を生成する評価部と、
前記評価情報に基づいて生成された制御情報を受け、前記制御情報に基づいて前記DNNモデルの消費電力を変更するDNN制御部と、
を備え、
前記撮像部と前記DNN処理部と前記DNN制御部と前記評価部とは、単一のチップ内に配置され、
前記情報処理装置は、前記固体撮像装置に電力を供給するバッテリの電力残量を測定し、測定された前記電力残量と、前記評価情報とに基づいて、前記DNNモデルの消費電力を変更するための前記制御情報を生成する制御部を備える、
情報処理システム。 - 請求項1に記載の固体撮像装置を実現するための固体撮像方法。
- 請求項11に記載の固体撮像方法をコンピュータに実行させるためのプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020076841A JP6925474B2 (ja) | 2018-08-31 | 2020-04-23 | 固体撮像装置、情報処理システム、固体撮像装置の動作方法及びプログラム |
JP2021125880A JP7105976B2 (ja) | 2020-04-23 | 2021-07-30 | 固体撮像装置、固体撮像装置の動作方法及びプログラム |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018164001A JP6697042B2 (ja) | 2018-08-31 | 2018-08-31 | 固体撮像システム、固体撮像方法及びプログラム |
JP2020076841A JP6925474B2 (ja) | 2018-08-31 | 2020-04-23 | 固体撮像装置、情報処理システム、固体撮像装置の動作方法及びプログラム |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018164001A Division JP6697042B2 (ja) | 2018-08-31 | 2018-08-31 | 固体撮像システム、固体撮像方法及びプログラム |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021125880A Division JP7105976B2 (ja) | 2020-04-23 | 2021-07-30 | 固体撮像装置、固体撮像装置の動作方法及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020120406A true JP2020120406A (ja) | 2020-08-06 |
JP6925474B2 JP6925474B2 (ja) | 2021-08-25 |
Family
ID=71891420
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020076841A Active JP6925474B2 (ja) | 2018-08-31 | 2020-04-23 | 固体撮像装置、情報処理システム、固体撮像装置の動作方法及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6925474B2 (ja) |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003069891A (ja) * | 2001-08-27 | 2003-03-07 | Nikon Corp | 電子カメラ |
WO2017154284A1 (ja) * | 2016-03-09 | 2017-09-14 | ソニー株式会社 | 情報処理方法および情報処理装置 |
JP2017182710A (ja) * | 2016-03-31 | 2017-10-05 | ソニー株式会社 | 情報処理装置、情報処理方法および情報提供方法 |
WO2018051809A1 (ja) * | 2016-09-16 | 2018-03-22 | ソニーセミコンダクタソリューションズ株式会社 | 撮像装置、及び、電子機器 |
JP2018510399A (ja) * | 2015-01-22 | 2018-04-12 | 株式会社Preferred Networks | 異種環境におけるエッジデバイスのためのモデルフィルタリングおよびモデルミキシングによる機械学習 |
JP2018516412A (ja) * | 2015-06-05 | 2018-06-21 | ソニー株式会社 | 畳み込みニューラルネットワークに基づいたフルリファレンス画像品質評価方法 |
JP2018107759A (ja) * | 2016-12-28 | 2018-07-05 | ソニーセミコンダクタソリューションズ株式会社 | 画像処理装置、画像処理方法、及び画像処理システム |
WO2018142766A1 (ja) * | 2017-02-03 | 2018-08-09 | パナソニックIpマネジメント株式会社 | 学習済みモデル提供方法および学習済みモデル提供装置 |
-
2020
- 2020-04-23 JP JP2020076841A patent/JP6925474B2/ja active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003069891A (ja) * | 2001-08-27 | 2003-03-07 | Nikon Corp | 電子カメラ |
JP2018510399A (ja) * | 2015-01-22 | 2018-04-12 | 株式会社Preferred Networks | 異種環境におけるエッジデバイスのためのモデルフィルタリングおよびモデルミキシングによる機械学習 |
JP2018516412A (ja) * | 2015-06-05 | 2018-06-21 | ソニー株式会社 | 畳み込みニューラルネットワークに基づいたフルリファレンス画像品質評価方法 |
WO2017154284A1 (ja) * | 2016-03-09 | 2017-09-14 | ソニー株式会社 | 情報処理方法および情報処理装置 |
JP2017182710A (ja) * | 2016-03-31 | 2017-10-05 | ソニー株式会社 | 情報処理装置、情報処理方法および情報提供方法 |
WO2018051809A1 (ja) * | 2016-09-16 | 2018-03-22 | ソニーセミコンダクタソリューションズ株式会社 | 撮像装置、及び、電子機器 |
JP2018107759A (ja) * | 2016-12-28 | 2018-07-05 | ソニーセミコンダクタソリューションズ株式会社 | 画像処理装置、画像処理方法、及び画像処理システム |
WO2018142766A1 (ja) * | 2017-02-03 | 2018-08-09 | パナソニックIpマネジメント株式会社 | 学習済みモデル提供方法および学習済みモデル提供装置 |
Also Published As
Publication number | Publication date |
---|---|
JP6925474B2 (ja) | 2021-08-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6697042B2 (ja) | 固体撮像システム、固体撮像方法及びプログラム | |
JP7328379B2 (ja) | 畳み込み効率を向上させる方法、システム、及び装置 | |
TWI775896B (zh) | 用於使用卷積神經網路的視頻超解析度的方法和設備 | |
JP6695947B2 (ja) | 固体撮像システム、画像処理方法及びプログラム | |
CN108141525A (zh) | 具有集成存储器和处理器的智能图像传感器 | |
JP2021072615A (ja) | 映像復元装置及び方法 | |
CN110555360A (zh) | 鲁棒的面部检测 | |
US11563903B2 (en) | Optical sensor, learning apparatus, and image processing system for selection and setting light-receving elements | |
CN106797424A (zh) | 具有多个输出端口的图像传感器 | |
EP3621292B1 (en) | Electronic device for obtaining images by controlling frame rate for external moving object through point of interest, and operating method thereof | |
JP7086878B2 (ja) | 学習装置、学習方法、プログラムおよび認識装置 | |
WO2022133381A1 (en) | Object segmentation and feature tracking | |
EP3874404A1 (en) | Video recognition using multiple modalities | |
CN114282035A (zh) | 图像检索模型的训练和检索方法、装置、设备及介质 | |
KR20190123680A (ko) | 미디어사물인터넷의 거래 시스템 및 그 방법 | |
US20240007760A1 (en) | Low-power fusion for negative shutter lag capture | |
JP6925474B2 (ja) | 固体撮像装置、情報処理システム、固体撮像装置の動作方法及びプログラム | |
JP7105976B2 (ja) | 固体撮像装置、固体撮像装置の動作方法及びプログラム | |
US20220256068A1 (en) | Dual exposure control in a camera system | |
JP5982323B2 (ja) | 受信装置、受信方法、およびそのプログラム | |
JP2016195383A (ja) | フォト・クラスターの検出および圧縮 | |
JP2023527679A (ja) | モバイルカメラを用いたパノラマ生成 | |
US20240144506A1 (en) | Information processing device | |
US20230386056A1 (en) | Systems and techniques for depth estimation | |
US11843847B2 (en) | Device, information processing apparatus, control method therefor, and computer-readable storage medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200423 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210113 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210119 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210219 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210706 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210803 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6925474 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |