JP2013090161A - 撮像装置及びアクセス制御方法 - Google Patents
撮像装置及びアクセス制御方法 Download PDFInfo
- Publication number
- JP2013090161A JP2013090161A JP2011229222A JP2011229222A JP2013090161A JP 2013090161 A JP2013090161 A JP 2013090161A JP 2011229222 A JP2011229222 A JP 2011229222A JP 2011229222 A JP2011229222 A JP 2011229222A JP 2013090161 A JP2013090161 A JP 2013090161A
- Authority
- JP
- Japan
- Prior art keywords
- unit
- processing
- request
- memory access
- section
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Studio Devices (AREA)
Abstract
【解決手段】動画撮影中に静止画を撮影可能な撮像装置であって、動画処理を含むリアルタイム性が要求される処理のメモリアクセス要求を示す第1要求が実行される際に、複数の同期ポイント間における区間毎のトランザクションを記録する記録部と、静止画処理に関する処理のメモリアクセス要求を示す第2要求を蓄積する蓄積部と、記録部に記録された区間毎のトランザクションを用いて、複数の同期ポイント間における区間毎のトランザクションを累積する累積部と、累積された複数の同期ポイント間における区間毎のトランザクションに基づいて予測されたメモリアクセスの空き時間に、蓄積部に蓄積された第2要求を実行する実行部と、を備える。
【選択図】図2
Description
ベストエフォート系処理は、静止画処理に関する処理であり、例えば、主に静止画処理の中で、動画撮影と共通で行うリアルタイム性が必要な処理以外の静止画を生成するための処理である。
リアルタイム系処理は、リアルタイム性が要求される処理であり、例えば動画処理に関する処理である。リアルタイム系処理は、例えば、イメージセンサからのキャプチャ処理、簡易的なノイズ除去などの静止画処理と同様の処理、動画圧縮処理、電子ビューファインダーなどの処理を含む。
<構成>
図1は、実施例における撮像装置1の構成の一例を示すブロック図である。撮像装置1は、例えばデジタルカメラ、デジタルビデオカメラ、又はカムコーダである。図1に示す撮像装置1は、イメージセンサ10、キャプチャ処理部20、メモリ25、静止画向け処理部30、動画向け処理部40、電子ビューファインダー用映像処理部50、電子ビューファインダー51、バス制御部60、メモリ70、DMAエンジン81、制御CPU(Central Processing Unit)82、メディアRW83、記録メディア84を有する。上記各部の一部は、半導体集積回路により実装される。
次に、実施例におけるバス制御部60について説明する。図2は、実施例におけるバス制御部60の構成の一例を示すブロック図である。図2に示すバス制御部60は、アクセス判別部100、固定/臨時データ検出部110、同期ポイント抽出部111、Picture処理終了検出部112、粗密記録部120、バス権付与部130、MUX(マルチプレクサ)140、メモリコントローラ150を有する。
Response)的に更新する。更新部125は、例えば次の式(1)により区間毎のトランザクションを更新する。
v(t)=(1−α)×v(t)+α×c(t) ・・・式(1)
α:係数
v(t):累積部122に累積されているトランザクション
c(t):記録部121に記録されたトランザクション
なお、αは、SADに応じて変更される。例えば、SADが閾値以下の場合、αは、例えば0.2であり、SADが閾値より大きい場合、αは、例えば0.05〜0.1のいずれかの値である。
次に、実施例のアクセス制御に関する各処理の概要について説明する。
図3は、アクセス判別部100(その1)の一例を説明するための図である。図3に示す例では、アクセス判別部100は、複数のアクセス元からメモリアクセス要求を受ける。アクセス判別部100は、メモリアクセス要求をMUXer(マルチプレクサ)から受ける場合もある。
次に、同期ポイントの抽出における所定領域の決定処理について説明する。決定された所定領域は、粗密記録部120によるアクセスパターンの学習に用いられたり、ベストエフォート系のメモリアクセスの挿入に用いられたりする。
・MBLineの同期ポイントを起点にn1個のMBの同期ポイントを無視し、m1個以上のMBの同期ポイントを無視する。これにより、ピクチャの左右の端部を排除することができる。
・ピクチャの同期ポイントを起点にn2個のMBの同期ポイントを無視し、m2個以上のMBLineの同期ポイントを無視し、かつMBLineに含まれるMBの同期ポイントを無視する。これにより、ピクチャの上下の端部を排除することができる。
・MBLineの同期ポイントを起点にm3個のMBの同期ポイントを検出してから、次のMBLine同期のポイント又はピクチャの同期ポイントまでとする。これにより、MBLine間の空き時間を特定することができる。
・ピクチャの同期ポイントを起点にm4個以上のMBLineの同期ポイントを検出してから、次のピクチャの同期ポイントまでとする。これにより、ピクチャ間の空き時間を特定することができる。
次に、累積記録データの更新処理について説明する。図9は、累積記録データの更新を説明するための図である。図9(A)に示す例では、1つのMBLineを1つの同期ポイント間とし、4つの同期ポイント間のデータバス占有割合を累積記録データとする。
次に、ベストエフォート系のメモリアクセスが実行される処理について説明する。図11は、バス権付与部130の構成の一例を示す図である。図11に示すバス権付与部130は、FIFO131、実行部132、分割部133を有する。
次に、実施例におけるベストエフォート系のメモリアクセスの実行タイミングと、従来例におけるベストエフォート系のメモリアクセスの実行タイミングとの比較について説明する。
次に、実施例における撮像装置1の動作について説明する。図13は、1つのメモリアクセス要求に対する撮像装置1のアクセス制御処理の一例を示すフローチャートである。図13に示すステップS101で、アクセス判別部100は、アクセス要求元から取得したメモリアクセス要求が、リアルタイム系かベストエフォート系かを判別する。メモリアクセス要求がリアルタイム系である場合はステップS102に進み、メモリアクセス要求がベストエフォート系である場合はステップS106に進む。
(付記1)
動画撮影中に静止画を撮影可能な撮像装置であって、
動画処理を含むリアルタイム性が要求される処理のメモリアクセス要求を示す第1要求が実行される際に、複数の同期ポイント間における区間毎のトランザクションを記録する記録部と、
静止画処理に関する処理のメモリアクセス要求を示す第2要求を蓄積する蓄積部と、
前記記録部に記録された区間毎のトランザクションを用いて、複数の同期ポイント間における区間毎のトランザクションを累積する累積部と、
累積された複数の同期ポイント間における区間毎のトランザクションに基づいて予測されたメモリアクセスの空き時間に、前記蓄積部に蓄積された第2要求を実行する実行部と、
を備える撮像装置。
(付記2)
前記累積部は、
累積された各同期ポイント間の区間数に応じて、前記記録部に記録された各同期ポイント間の区間数をスケーリングするスケーリング部と、
スケーリング後の各同期ポイント間の区間毎に、該区間と、該区間に対応する累積された区間とのトランザクションの類似度を算出する算出部と、
区間毎の前記類似度に応じて、累積された区間毎のトランザクションを更新する更新部と、
を備える付記1記載の撮像装置。
(付記3)
メモリアクセス要求を受けた場合、該メモリアクセス要求を、前記第1要求と前記第2要求とが設定されたテーブルを参照して、前記第1要求か前記第2要求かを判別する判別部をさらに備え、
前記記録部は、
前記判別部により判別された前記第1要求を受け取り、
前記蓄積部は、
前記判別部により判別された前記第2要求を受け取る付記1又は2記載の撮像装置。
(付記4)
前記同期ポイントを、画像を格納する領域内の特定の領域に対するメモリアクセスにより抽出する抽出部をさらに備える付記1乃至3いずれか一項に記載の撮像装置。
(付記5)
前記記録部は、
画像内の所定の領域で抽出された同期ポイント間における区間毎のトランザクションを記録する付記1乃至4いずれか一項に記載の撮像装置。
(付記6)
前記実行部により実行される第2要求によるメモリアクセスを、前記空き時間に基づいて分割する分割部をさらに備える付記1乃至5いずれか一項に記載の撮像装置。
(付記7)
前記累積部は、
画像のピクチャタイプ毎に、複数の同期ポイント間における区間毎のトランザクションを累積し、
前記更新部は、
現在の処理対象画像のピクチャタイプに対応する、累積された複数の同期ポイント間における区間毎のトランザクションを更新する付記1乃至6いずれか一項に記載の撮像装置。
(付記8)
前記記録部は、
前記第1要求が、動画のビットストリームのWrite要求を含む臨時のメモリアクセス要求又は表示系のメモリアクセス要求を含む定期的なメモリアクセス要求ではない場合に、前記トランザクションの記録を行う請求項1乃至7いずれか一項に記載の撮像装置。
(付記9)
リアルタイム性が要求される動画処理に関する処理のメモリアクセス要求を示す第1要求が実行される際に、複数の同期ポイント間における区間毎のトランザクションを記録部に記録し、
静止画処理に関する処理のメモリアクセス要求を示す第2要求を蓄積部に蓄積し、
前記記録部に記録された区間毎のトランザクションを用いて、複数の同期ポイント間における区間毎のトランザクションを累積部に累積し、
前記累積部に累積された複数の同期ポイント間における区間毎のトランザクションに基づいて予測されたメモリアクセスの空き時間に、前記蓄積部に蓄積された第2要求を実行する処理をコンピュータが実行するアクセス制御方法。
20 キャプチャ処理部
30 静止画向け処理部
40 動画向け処理部
50 電子ビューファインダー用映像処理部
60 バス制御部
70 メモリ
100 アクセス判別部
110 固定/臨時データ検出部
111 同期ポイント抽出部
120 粗密記録部
121 記録部
122 累積部
123 スケーリング部
124 算出部
125 更新部
130 バス権付与部
131 FIFO
132 実行部
133 分割部
Claims (9)
- 動画撮影中に静止画を撮影可能な撮像装置であって、
動画処理を含むリアルタイム性が要求される処理のメモリアクセス要求を示す第1要求が実行される際に、複数の同期ポイント間における区間毎のトランザクションを記録する記録部と、
静止画処理に関する処理のメモリアクセス要求を示す第2要求を蓄積する蓄積部と、
前記記録部に記録された区間毎のトランザクションを用いて、複数の同期ポイント間における区間毎のトランザクションを累積する累積部と、
累積された複数の同期ポイント間における区間毎のトランザクションに基づいて予測されたメモリアクセスの空き時間に、前記蓄積部に蓄積された第2要求を実行する実行部と、
を備える撮像装置。 - 前記累積部は、
累積された各同期ポイント間の区間数に応じて、前記記録部に記録された各同期ポイント間の区間数をスケーリングするスケーリング部と、
スケーリング後の各同期ポイント間の区間毎に、該区間と、該区間に対応する累積された区間とのトランザクションの類似度を算出する算出部と、
区間毎の前記類似度に応じて、累積された区間毎のトランザクションを更新する更新部と、
を備える請求項1記載の撮像装置。 - メモリアクセス要求を受けた場合、該メモリアクセス要求を、前記第1要求と前記第2要求とが設定されたテーブルを参照して、前記第1要求か前記第2要求かを判別する判別部をさらに備え、
前記記録部は、
前記判別部により判別された前記第1要求を受け取り、
前記蓄積部は、
前記判別部により判別された前記第2要求を受け取る請求項1又は2記載の撮像装置。 - 前記同期ポイントを、画像を格納する領域内の特定の領域に対するメモリアクセスにより抽出する抽出部をさらに備える請求項1乃至3いずれか一項に記載の撮像装置。
- 前記記録部は、
画像内の所定の領域で抽出された同期ポイント間における区間毎のトランザクションを記録する請求項1乃至4いずれか一項に記載の撮像装置。 - 前記実行部により実行される第2要求によるメモリアクセスを、前記空き時間に基づいて分割する分割部をさらに備える請求項1乃至5いずれか一項に記載の撮像装置。
- 前記累積部は、
画像のピクチャタイプ毎に、複数の同期ポイント間における区間毎のトランザクションを累積し、
前記更新部は、
現在の処理対象画像のピクチャタイプに対応する、累積された複数の同期ポイント間における区間毎のトランザクションを更新する請求項1乃至6いずれか一項に記載の撮像装置。 - 前記記録部は、
前記第1要求が、動画のビットストリームのWrite要求を含む臨時のメモリアクセス要求又は表示系のメモリアクセス要求を含む定期的なメモリアクセス要求ではない場合に、前記トランザクションの記録を行う請求項1乃至7いずれか一項に記載の撮像装置。 - リアルタイム性が要求される動画処理に関する処理のメモリアクセス要求を示す第1要求が実行される際に、複数の同期ポイント間における区間毎のトランザクションを記録部に記録し、
静止画処理に関する処理のメモリアクセス要求を示す第2要求を蓄積部に蓄積し、
前記記録部に記録された区間毎のトランザクションを用いて、複数の同期ポイント間における区間毎のトランザクションを累積部に累積し、
前記累積部に累積された複数の同期ポイント間における区間毎のトランザクションに基づいて予測されたメモリアクセスの空き時間に、前記蓄積部に蓄積された第2要求を実行する処理をコンピュータが実行するアクセス制御方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011229222A JP5838716B2 (ja) | 2011-10-18 | 2011-10-18 | 撮像装置及びアクセス制御方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011229222A JP5838716B2 (ja) | 2011-10-18 | 2011-10-18 | 撮像装置及びアクセス制御方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013090161A true JP2013090161A (ja) | 2013-05-13 |
JP5838716B2 JP5838716B2 (ja) | 2016-01-06 |
Family
ID=48533648
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011229222A Expired - Fee Related JP5838716B2 (ja) | 2011-10-18 | 2011-10-18 | 撮像装置及びアクセス制御方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5838716B2 (ja) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003122705A (ja) * | 2001-10-18 | 2003-04-25 | Matsushita Electric Ind Co Ltd | デジタルカメラ |
JP2008515073A (ja) * | 2004-09-28 | 2008-05-08 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | データ処理システム及びメモリアービトレーションのための方法 |
JP2008271461A (ja) * | 2007-04-25 | 2008-11-06 | Sony Corp | カメラシステムおよびデータ伝送方法 |
JP2009015832A (ja) * | 2007-06-07 | 2009-01-22 | Renesas Technology Corp | アクセス間調停回路、半導体装置およびアクセス間調停方法 |
-
2011
- 2011-10-18 JP JP2011229222A patent/JP5838716B2/ja not_active Expired - Fee Related
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003122705A (ja) * | 2001-10-18 | 2003-04-25 | Matsushita Electric Ind Co Ltd | デジタルカメラ |
JP2008515073A (ja) * | 2004-09-28 | 2008-05-08 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | データ処理システム及びメモリアービトレーションのための方法 |
JP2008271461A (ja) * | 2007-04-25 | 2008-11-06 | Sony Corp | カメラシステムおよびデータ伝送方法 |
JP2009015832A (ja) * | 2007-06-07 | 2009-01-22 | Renesas Technology Corp | アクセス間調停回路、半導体装置およびアクセス間調停方法 |
Also Published As
Publication number | Publication date |
---|---|
JP5838716B2 (ja) | 2016-01-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8350927B2 (en) | Image-data processing apparatus and image-data processing method | |
US20120169900A1 (en) | Image processing device and image processing method | |
JP6676162B2 (ja) | メモリアクセス制御装置、画像処理装置、および撮像装置 | |
US9363440B2 (en) | Imaging device and imaging method that sets a phase difference between first and second synchronization signals | |
US10719458B2 (en) | Data transfer device, image processing device, and imaging device | |
CN108540689B (zh) | 图像信号处理器、应用处理器及移动装置 | |
US20100135644A1 (en) | Photographing apparatus and method of controlling the same | |
JP5838716B2 (ja) | 撮像装置及びアクセス制御方法 | |
CN108875733B (zh) | 一种红外小目标快速提取系统 | |
JP2008172410A (ja) | 撮像装置、画像処理装置、画像処理方法、画像処理方法のプログラム及び画像処理方法のプログラムを記録した記録媒体 | |
US11314664B2 (en) | Memory access device, image processing device and imaging device | |
JP2012123620A (ja) | データ転送装置、データ転送方法、及び半導体装置 | |
JP2017004430A (ja) | データ転送装置およびデータ転送方法 | |
JP4610523B2 (ja) | 動画処理装置 | |
US8072500B2 (en) | Vibration compensation method for image capture device | |
US7558424B2 (en) | Scene change determination device/method and data transfer device/method | |
US11736822B1 (en) | Controlling an image sensor based on GPU temporal processing values | |
CN112529823B (zh) | 一种图像处理方法、装置及设备 | |
JP2021022865A (ja) | 動きベクトル検出装置及びその制御方法、符号化装置、撮像装置、及び、プログラム | |
TWI424371B (zh) | Video processing device and processing method thereof | |
JP4640434B2 (ja) | デジタルカメラ | |
JP2017004409A (ja) | データ転送装置およびデータ転送方法 | |
KR101059473B1 (ko) | 영상 추적 칩의 영상 감지 방법 | |
JP2021044746A (ja) | 記録装置、制御方法、及びプログラム | |
JP2005020521A (ja) | 撮像装置及びこの撮像装置を備える携帯型電話機 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140704 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150311 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150317 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150508 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20151013 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20151026 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5838716 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |