JP2021158490A - 撮像装置及び制御方法 - Google Patents

Abstract

【課題】複数のメモリを有する構成でありながらも、消費電力を抑制する撮像装置および制御方法を提供する。【解決手段】イメージセンサーとフロントエンジンとバックエンジンで構成され、キャプチャデータをフロントエンジンで処理した後、バックエンジンへ転送する撮像装置において、フロントエンジンには複数のＤＲＡＭが接続され、キャプチャデータの書き込みは少なくとも２つ以上のＤＲＡＭに分割して行い、キャプチャデータの読み出しは少なくとも２つ以上のＤＲＡＭから読み出すと同時に特定のＤＲＡＭへデータ集約を行い、キャプチャデータが存在しなくなった少なくとも１つのＤＲＡＭを省電力化する。【選択図】図６

Description

本発明は、フロントエンジンとバックエンジンで構成される撮像装置に関し、特にフロントエンジンに接続されるメモリの制御方法に関する。

フロントエンジンとバックエンジンで構成される撮像装置において、フロントエンジンでは、ローリングシャッター歪を抑制するため、短時間で静止画キャプチャを行う必要がある。そのため、静止画キャプチャ時は、一時的に膨大なＤＲＡＭ帯域を必要とする。

この膨大なＤＲＡＭ帯域を確保するため、例えば、複数のＤＲＡＭに分割して書き込むことが考えられている。一方、静止画キャプチャ時以外は、ＤＲＡＭ１ｃｈ分の帯域で十分である。

複数のＤＲＡＭに分割して書き込まれたキャプチャデータは、それぞれのＤＲＡＭから読み出され、フロントエンジン内で現像や圧縮、ＲＡＷ転送などの処理が行われる。処理後のキャプチャデータは、バックエンジンに転送され、本現像やコーデックの処理が行われる。これらの処理に使用する画像は、一般に、キャプチャ時の時系列のまま（ラスタスキャン）入力されることを期待している。

従来の撮像装置は、第１の画像処理回路に接続された第１のメモリと、第２の画像処理回路に接続された第２のメモリを備え、第１の画像処理回路から第２のメモリにアクセスし、また第２の画像処理回路から第１のメモリにアクセスするよう、アドレス空間を共有し、画像処理回路間で画像データの受け渡しができる構成を有するものがある（例えば、特許文献１参照）。

特開２０１３−２１１７１５号公報

しかしながら、上記従来技術の構成では、２つのメモリを常時アクセス可能な状態にしておく必要があり、消費電力が増えるといった問題がある。

本発明は、上記の問題点に鑑み、複数のメモリを有する構成でありながらも、消費電力を抑制する撮像装置及び制御方法を提供することを目的とする。

上記目的を達成するために、本発明の撮像装置は、イメージセンサーとフロントエンジンとバックエンジンで構成され、キャプチャデータを前記フロントエンジンで処理した後、前記バックエンジンへ転送する撮像装置において、前記フロントエンジンには複数のＤＲＡＭが接続され、前記キャプチャデータの書き込みは少なくとも２つ以上のＤＲＡＭに分割して行い、前記キャプチャデータの読み出しは少なくとも２つ以上のＤＲＡＭから読み出すと同時に特定のＤＲＡＭへデータ集約を行い、前記キャプチャデータが存在しなくなった少なくとも１つのＤＲＡＭを省電力化することを特徴とする。

本発明によれば、複数のメモリを有する撮像装置の消費電力を抑制することができる。

本発明の実施形態１における撮像装置の構成を示す図。 （ａ）、（ｂ）、（ｃ）は静止画ラスタスキャンとメモリ配置イメージを示す図。 静止画キャプチャデータを集約しない場合のＤＲＡＭ帯域を示す図。 静止画キャプチャデータを集約する場合のＤＲＡＭ帯域を示す図。 ＤＲＡＭ省電力化期間を示す図。 実施形態１の集約判定フローチャート。 実施形態４の集約判定フローチャート。

以下、図面を参照しながら本発明の好適な実施の形態を説明する。

＜実施形態１＞
図１は、本発明の実施形態１における撮像装置の概略構成を示したブロック図である。

撮像装置１は、イメージセンサー２とフロントエンジン３とバックエンジン４とＤＲＡＭ＿Ａ５とＤＲＡＭ＿Ｂ６を備えている。ＤＲＡＭ＿Ａ５とＤＲＡＭ＿Ｂ６は一例であり、他に多数のＤＲＡＭメモリを備えても良い。

イメージセンサー２はフロントエンジン３と接続され、フロントエンジン３はＤＲＡＭ＿Ａ５及びＤＲＡＭ＿Ｂ６及びバックエンジン４と接続される。

イメージセンサー２は静止画をキャプチャし、フロントエンジン３に図２（ａ）で示すラスタスキャンで転送する。フロントエンジン３は静止画キャプチャデータを、ＤＲＡＭ＿Ａ５及びＤＲＡＭ＿Ｂ６に分割して書き込み、一時保存する。図２（ｂ）は、静止画キャプチャデータを左右分割する例であり、左側をＤＲＡＭ＿Ａ５に、右側はＤＲＡＭ＿Ｂ６に書き込む。図２（ｃ）は、静止画キャプチャデータをライン分割する例であり、奇数ラインをＤＲＡＭ＿Ａ５に、偶数ラインをＤＲＡＭ＿Ｂ６に書き込む。図２（ｂ）（ｃ）で示す分割書き込みは、フロントエンジン３内でのバッファリングを最小限にするため、ＤＲＡＭ＿Ａ５及びＤＲＡＭ＿Ｂ６に対して一定間隔で交互に書き込みが行われる。

次に、フロントエンジン３は一時保存した静止画キャプチャデータをＤＲＡＭ＿Ａ５及びＤＲＡＭ＿Ｂ６から交互に読み出し、不図示の現像や圧縮等の処理を行う。その後、フロントエンジン３は、バックエンジン４に処理後キャプチャデータを転送する。

次に、図３を用いて、静止画キャプチャデータを集約しない場合のＤＲＡＭ＿Ａ５とＤＲＡＭ＿Ｂ６の使用帯域の変化を説明する。

静止画キャプチャ時間Ｔ１は、イメージセンサー２でキャプチャされた静止画キャプチャデータをＤＲＡＭ＿Ａ５及びＤＲＡＭ＿Ｂ６に分割して書き込む時間である。その時の使用帯域は静止画キャプチャ帯域ＢＷ１となる。読み出し処理時間Ｔ２は、ＤＲＡＭ＿Ａ５及びＤＲＡＭ＿Ｂ６から静止画キャプチャデータを読み出す時間である。その時の使用帯域はキャプチャデータ読み出し帯域ＢＷ２となる。ＤＲＡＭ＿Ｂ６は、静止画キャプチャデータの読み書き以外に、不図示の現像や圧縮等の処理で使用する帯域があり、それらはまとめてその他の処理帯域ＢＷ３となる。静止画連写時間Ｔ３は、イメージセンサー２によって静止画キャプチャが行われる時間間隔である。

通常、静止画連写時間Ｔ３から読み出し処理時間Ｔ２及び静止画キャプチャ時間Ｔ１を減じた時間にＤＲＡＭ＿Ａ５が未使用となり、省電力化される。

次に、図４を用いて、静止画キャプチャデータを集約する場合のＤＲＡＭ＿Ａ５とＤＲＡＭ＿Ｂ６の使用帯域の変化を説明する。

静止画キャプチャ時間Ｔ１と読み出し処理時間Ｔ２と静止画連写時間Ｔ３と静止画キャプチャ帯域ＢＷ１とキャプチャデータ読み出し帯域ＢＷ２とその他の処理帯域ＢＷ３は、図３の説明と同様である。集約時間Ｔ４はＤＲＡＭ＿Ａ５とＤＲＡＭ＿Ｂ６に分割して一時保存されている静止画キャプチャデータのうち、ＤＲＡＭ＿Ａ５に保存されている読み出し前のキャプチャデータをＤＲＡＭ＿Ｂ６にコピーする時間である。集約帯域ＢＷ４は、前記コピーにかかる帯域である。

このように、静止画キャプチャデータを集約する場合、静止画連写時間Ｔ３から読み出し処理時間Ｔ２及び静止画キャプチャ時間Ｔ１を減じた時間に加えて、読み出し処理時間Ｔ２から集約時間Ｔ４を減じた時間にＤＲＡＭ＿Ａ５が未使用となり、省電力化される。

図５は静止画キャプチャデータの集約する／しない場合のＤＲＡＭ＿Ａ５及びＤＲＡＭ＿Ｂ６それぞれの省電力化期間の比較図である。

次に、図６のフローチャートを用いて静止画キャプチャデータの集約する／しないの判定方法を説明する。

まず、ステップＳ３０１で集約先ＤＲＡＭであるＤＲＡＭ＿Ｂ６の空き帯域を式（１）で取得する。
ＢＷｅｍｐｔｙ＝ＢＷｍａｘ−ＢＷ２−ＢＷ３ 式（１）
ＢＷｅｍｐｔｙ：ＤＲＡＭ＿Ｂ６の空き帯域
ＢＷｍａｘ：ＤＲＡＭ＿Ｂ６の最大帯域
ＢＷ２：キャプチャデータ読み出し帯域
ＢＷ３：その他の処理帯域

次にステップＳ３０２で集約帯域ＢＷ１を、ＢＷ１＜ＢＷｅｍｐｔｙを満たす範囲で設定する。

続いてステップＳ３０３で集約時間を算出する。ＤＲＡＭ＿Ａ５からＤＲＡＭ＿Ｂ６へ転送するデータ量をＤとすると、集約時間Ｔ４＝ＢＷ３／Ｄとなる。

集約可否判定のステップＳ３０４は、集約時間Ｔ４が読み出し処理時間Ｔ２より小さければ電力効果判定のステップＳ３０５に進み、大きければ集約処理しないステップＳ３０７へ進む。電力効果判定のステップＳ３０５は、式（２）で判定を行う。
ＢＷ３×２×Ｐ１×Ｔ４／Ｔ３ ＜ Ｐ０×（Ｔ２−Ｔ４）／Ｔ３ 式（２）
Ｐ０：帯域０％の電力
Ｐ１：帯域１％あたりの電力

電力効果判定のステップＳ３０５の結果、効果ありとなれば集約処理するステップＳ３０６へ進む。

このように、本実施形態における撮像装置及び制御方法を用いれば、撮像装置のＤＲＡＭ使用状況に合わせて集約する／しないを判定することにより、複数のメモリを有する撮像装置の消費電力を抑制することができる。

＜実施形態２＞
本発明の実施形態２では、読み出し処理時間Ｔ２が静止画連写時間Ｔ３に連動する例を説明する。図５において実施形態１と同じ機能を持つ部位には同じ番号を付して、説明は省略する。

読み出し処理時間Ｔ２は、フロントエンジン３内で行う不図示の現像や圧縮等の信号処理に要する時間を最小値とし、静止画連写時間Ｔ３から静止画キャプチャ時間Ｔ１を減じた時間を最大値とする範囲で決定される。

この際、省電力効果を得るため、前記信号処理の動作周波数を低くすることが有効である。読み出し処理時間Ｔ２が長いほど、前記信号処理の動作周波数を低く設定できる。したがって、読み出し処理時間Ｔ２を静止画連写時間Ｔ３の例えば０．８倍になるよう設定することで、静止画連写時間Ｔ３に連動して読み出し処理時間Ｔ２が長くなるようにし、前記信号処理の動作周波数を低く設定できるようにした。

＜実施形態３＞
本発明の実施形態３では、読み出し処理時間Ｔ２がフロントエンジン３からバックエンジン４に対する転送速度に連動する例を説明する。図５において実施形態１と同じ機能を持つ部位には同じ番号を付して、説明は省略する。

フロントエンジン３は一時保存した静止画キャプチャデータをＤＲＡＭ＿Ａ５及びＤＲＡＭ＿Ｂ６から交互に読み出し、不図示の現像や圧縮等の信号処理を行う。その後、フロントエンジン３は、バックエンジン４に処理後キャプチャデータを転送する。これら一連の処理は、パイプライン実行されるため、フロントエンジン３のデータ出力速度である、フロントエンジン３からバックエンジン４への転送速度によって、前記処理それぞれの処理速度が決定する。したがって、読み出し処理時間Ｔ２もフロントエンジン３からバックエンジン４に対する転送速度に連動させることにより、前記信号処理の消費電力削減を最大化できる。

＜実施形態４＞
図７は、本発明の実施形態４におけるフローチャートである。

本実施形態では、動作モード判定のステップＳ３１０を追加している。動作モード判定のステップＳ３１０は、撮像装置が動画撮影モードであるか静止画撮影モードであるかを判定し、動画撮影モード時は、集約処理しないステップＳ３０７へ進み、静止画撮影モード時は、ステップＳ３０１へ進む。一般に、動画撮影時はキャプチャ間隔が短くなるため集約可否判定Ｓ３０４を満たさない。したがって、動画撮影モードでは集約処理しないＳ３０７へ進むことで、判定を簡略化する。

１ 撮像装置
２ イメージセンサー
３ フロントエンジン
４ バックエンジン
５ ＤＲＡＭ＿Ａ
６ ＤＲＡＭ＿Ｂ

Claims (7)

1. イメージセンサーとフロントエンジンとバックエンジンで構成され、キャプチャデータを前記フロントエンジンで処理した後、前記バックエンジンへ転送する撮像装置において、
   前記フロントエンジンには複数のＤＲＡＭが接続され、前記キャプチャデータの書き込みは少なくとも２つ以上のＤＲＡＭに分割して行い、前記キャプチャデータの読み出しは少なくとも２つ以上のＤＲＡＭから読み出すと同時に特定のＤＲＡＭへデータ集約を行い、前記キャプチャデータが存在しなくなった少なくとも１つのＤＲＡＭを省電力化することを特徴とする撮像装置。
2. 前記フロントエンジンにＤＲＡＭ帯域観測部と集約可否判定部を備え、
   前記ＤＲＡＭ帯域観測部は集約先ＤＲＡＭの空き帯域を取得し、
   前記集約可否判定部は前記空き帯域から集約時間を算出し、前記キャプチャデータの読み出し処理時間と集約時間を比較し、集約可否を判定することを特徴とする請求項１記載の撮像装置。
3. 前記フロントエンジンに電力効果判定部を備え、集約することによる省電力効果と集約処理自体にかかる電力を比較し、集約可否を判定することを特徴とする請求項２記載の撮像装置。
4. 前記集約可否判定部で用いるキャプチャデータの読み出し処理時間は、静止画連写時間によって決定されることを特徴とする請求項２または３記載の撮像装置。
5. 前記集約可否判定部で用いるキャプチャデータの読み出し処理時間は、前記フロントエンジンと前記バックエンジンの間の転送速度によって決定されることを特徴とする請求項２または３記載の撮像装置。
6. 静止画撮影モードでは集約判定を行い、動画撮影モードでは集約判定を行わないことを特徴とする請求項２または３記載の撮像装置。
7. 請求項１乃至６のいずれか１項に記載の撮像装置の制御方法。

Images