JP2015079103A - 画像出力装置および画像出力方法 - Google Patents

画像出力装置および画像出力方法 Download PDF

Info

Publication number
JP2015079103A
JP2015079103A JP2013215739A JP2013215739A JP2015079103A JP 2015079103 A JP2015079103 A JP 2015079103A JP 2013215739 A JP2013215739 A JP 2013215739A JP 2013215739 A JP2013215739 A JP 2013215739A JP 2015079103 A JP2015079103 A JP 2015079103A
Authority
JP
Japan
Prior art keywords
image
input
input images
composite image
composite
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2013215739A
Other languages
English (en)
Other versions
JP6230366B2 (ja
Inventor
隆輔 土田
Ryusuke Tsuchida
隆輔 土田
啓介 中薗
Keisuke Nakazono
啓介 中薗
上野 晃
Akira Ueno
晃 上野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2013215739A priority Critical patent/JP6230366B2/ja
Priority to US14/512,616 priority patent/US9531988B2/en
Publication of JP2015079103A publication Critical patent/JP2015079103A/ja
Application granted granted Critical
Publication of JP6230366B2 publication Critical patent/JP6230366B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/907Television signal recording using static stores, e.g. storage tubes or semiconductor memories
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2101/00Still video cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/0077Types of the still picture apparatus
    • H04N2201/0084Digital still camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

【課題】更新頻度が高い画像を重畳する場合であっても、それぞれの画像を重畳する際の消費電力を低減することができる画像出力装置および画像出力方法を提供する。
【解決手段】指示された複数の入力画像を外部記憶領域から読み出して重畳する合成処理によって表示用の第1の合成画像を生成して出力する第1の合成処理部と、第1の合成画像に含まれる複数の入力画像の内、指示された複数の入力画像のそれぞれを重畳する合成処理によって合成用の第2の合成画像を生成して外部記憶領域に記憶させる第2の合成処理部と、入力された入力画像情報に基づいて選択した複数の入力画像が含まれる第2の合成画像の生成を第2の合成処理部に指示するとともに、第1の合成画像を生成する際に第2の合成画像を入力画像の1つとして用いるか否かを選択し、選択した入力画像のそれぞれが含まれる第1の合成画像の生成を第1の合成処理部に指示する画像選択制御部と、を備える。
【選択図】図1

Description

本発明は、画像出力装置および画像出力方法に関する。
静止画用カメラや動画用カメラなどの撮像装置において、当該撮像装置に搭載した液晶ディスプレイ(LCD:Liquid Crystal Display)などの表示デバイスに、撮影した画像(以下、「撮影画像」という)を表示する構成が知られている。このような構成の撮像装置では、表示デバイスに撮影画像を表示する際に、撮影画像の上にキャラクタ画像などのOSD(On−Screen Display)画像を重畳して表示することも行われている。
このような撮像装置では、一般的に、当該撮像装置に搭載したシステムLSIや画像処理LSIに内蔵された、表示用の画像を生成する回路である画像出力装置が、撮影画像やOSD画像などの複数の入力画像を重畳することによって合成した表示用の合成画像を生成し(図6参照)、生成した合成画像を表示デバイスに出力して表示させている。このとき、画像出力装置は、表示デバイスに表示させる画像が更新されているか否かに関わらず、表示している画像を更新する表示デバイスのフレームレートの周期に合わせて、毎回合成画像を生成して出力する。
また、撮像装置では、一般的に、画像出力装置が、合成画像の生成に用いるそれぞれの入力画像を、当該画像出力装置を内蔵したシステムLSIや画像処理LSIが接続されたDMA(Direct Memory Access)バスを介して、同じくDMAバスに接続されたメモリなどの外部記憶領域から、DMA転送によって取得する。このため、1つの合成画像の生成に用いる入力画像の数が増えると、表示デバイスのフレームレートの周期毎にDMA転送によって処理する(転送する)画像データのデータ量が増加し、画像出力装置の消費電力が増大してしまう、という問題があった。
そこで、このような画像出力装置の消費電力を低減するための技術として、例えば、特許文献1のような技術が開示されている。特許文献1に開示された技術の画像出力装置は、外部記憶領域から取得した複数の入力画像を重畳して生成した合成画像を表示デバイスに出力するとともに、生成した合成画像そのものを(入力画像とは別の)外部記憶領域に記憶する。そして、特許文献1に開示された技術の画像出力装置は、所定期間内に全ての入力画像が更新されない場合には、合成画像の生成に用いるそれぞれの入力画像を外部記憶領域から取得する代わりに、記憶した合成画像そのものを外部記憶領域から取得して表示デバイスに出力する。また、特許文献1に開示された技術の画像出力装置は、所定期間内にいずれか1つの入力画像でも更新された場合には、合成画像の生成に用いる全ての入力画像を外部記憶領域から取得し、新たに生成した合成画像を表示デバイスに出力するとともに、生成した新たな合成画像そのものを(入力画像とは別の)外部記憶領域に記憶する。
このように、特許文献1に開示された技術では、合成画像の生成に用いる入力画像が所定期間内に更新されたか否かに基づいて、表示デバイスのフレームレートの周期毎に外部記憶領域から取得する画像を変更し、表示デバイスに表示させる画像が更新されていないときの画像出力装置の消費電力を低減している。より具体的には、いずれの入力画像も更新されていないときには、すでに生成してある合成画像そのものを外部記憶領域から取得する動作をすることによって、DMA転送で転送する画像データのデータ量を、全ての入力画像を外部記憶領域から取得する場合よりも少なくし、画像出力装置の消費電力を低減している。また、特許文献1に開示された技術では、合成画像を取得する際に使用する回路以外の動作を停止させることによって、画像出力装置の消費電力を、さらに低減することができる。
特開2006−003876号公報
しかしながら、表示デバイスへの画像の表示においては、フレーム毎に入力画像が更新されることがない場合、すなわち、入力画像の更新頻度が低い場合と、フレーム毎に入力画像が更新される場合、すなわち、入力画像の更新頻度が高い場合とがある。なお、入力画像の更新頻度が低い場合の表示には、例えば、撮影した静止画像を確認するための確認画像の表示や、メモリカードなどの記録媒体に記録された静止画像を再生する際の表示がある。また、入力画像の更新頻度が高い場合の表示には、例えば、静止画像や動画像の撮影において被写体を確認するための画像、いわゆる、ライブビュー画像(スルー画像)の表示がある。このため、画像出力装置は、更新頻度が低い入力画像のみを含んだ合成画像を生成するのみではなく、常に更新されるライブビュー画像のような更新頻度が高い入力画像を1つ以上含んだ合成画像を、表示デバイスのフレームレートの周期毎に生成する必要がある。
このため、特許文献1に開示された技術は、全ての入力画像の更新頻度が低い場合には有効であると考えられるが、更新頻度が高い入力画像を含む場合には、必ずしも有効であるとはいえない。これは、特許文献1に開示された画像出力装置において、ライブビュー画像のような更新頻度が高い画像を表示デバイスに表示させる場合には、入力画像のいずれか1つが所定期間内に更新された場合の動作、つまり、表示デバイスのフレームレートの周期毎に合成画像の生成に用いる全ての入力画像を外部記憶領域から取得して、新たな合成画像を生成する動作をすることになるからである。
このように、更新頻度が高い画像を表示デバイスに表示させる場合には、画像出力装置に特許文献1に開示された技術を適用したとしても、当該画像出力装置の消費電力を低減することができない、という問題がある。
本発明は、上記の課題認識に基づいてなされたものであり、複数の入力画像を重畳して出力する画像出力装置において、更新頻度が高い画像を重畳する場合であっても、それぞれの画像を重畳する際の消費電力を低減することができる画像出力装置および画像出力方法を提供することを目的としている。
上記の課題を解決するため、本発明の画像出力装置は、複数の入力画像が記憶された外部記憶領域から、指示された複数の前記入力画像を読み出し、該読み出した前記入力画像のそれぞれを重畳する合成処理によって表示用の第1の合成画像を生成して出力する第1の合成処理部と、前記第1の合成画像に含まれる複数の前記入力画像の内、指示された複数の前記入力画像のそれぞれを重畳する合成処理によって合成用の第2の合成画像を生成して、前記外部記憶領域に記憶させる第2の合成処理部と、入力された入力画像情報に基づいて選択した複数の前記入力画像が含まれる前記第2の合成画像の生成を前記第2の合成処理部に指示するとともに、該入力画像情報に基づいて、前記第1の合成画像を生成する際に前記第2の合成画像を前記入力画像の1つとして用いるか否かを選択し、選択した前記入力画像のそれぞれが含まれる前記第1の合成画像の生成を前記第1の合成処理部に指示する画像選択制御部と、を備える、ことを特徴とする。
また、本発明の前記画像選択制御部は、前記入力画像情報に含まれる、前記第1の合成画像の生成に用いる前記入力画像の情報に基づいて、前記第1の合成画像に含まれる複数の前記入力画像を選択し、該入力画像情報に含まれる、それぞれの前記入力画像に対応した更新頻度の情報に基づいて、前記第1の合成画像に含まれる複数の前記入力画像の内、予め定めた条件を満足する更新頻度が低い前記入力画像のみを選択する画像選択部、を備え、前記画像選択部が選択した更新頻度が低い複数の前記入力画像のみを合成処理した前記第2の合成画像の生成を指示する、ことを特徴とする。
また、本発明の前記画像選択制御部は、前記入力画像情報に含まれる、それぞれの前記入力画像が更新されたか否かを検出するための画像更新の情報に基づいて、前記第2の合成画像に含まれる更新頻度が低い複数の前記入力画像のいずれかの更新を検出する更新検出部、を備え、前記更新検出部の検出の結果、前記第2の合成画像に含まれるいずれの前記入力画像も更新されていない場合には、該第2の合成画像を前記入力画像の1つとして用いて、前記外部記憶領域から読み出した更新頻度が高い複数の前記入力画像とともに合成処理した前記第1の合成画像の生成を指示するとともに、前記第2の合成画像の生成を指示せず、該更新検出部の検出の結果、前記第2の合成画像に含まれるいずれかの前記入力画像が更新されている場合には、前記外部記憶領域から読み出した更新頻度が高い複数の前記入力画像と更新頻度が低い複数の前記入力画像とを合成処理した前記第1の合成画像の生成を指示するとともに、更新頻度が低い複数の前記入力画像のみを合成処理した前記第2の合成画像の生成を指示する、ことを特徴とする。
また、本発明の前記第1の合成処理部は、前記外部記憶領域から、前記画像選択制御部によって指示された複数の前記入力画像のそれぞれを読み出す画像読出部、を備え、前記第2の合成処理部は、前記画像読出部が読み出した複数の前記入力画像の内、前記画像選択制御部によって指示された複数の前記入力画像のそれぞれを合成処理した前記第2の合成画像を生成し、前記第2の合成処理部は、生成した前記第2の合成画像を前記外部記憶領域に記憶させる画像書込部、を備えることを特徴とする。
また、本発明の前記第1の合成処理部が、前記第2の合成画像を前記入力画像の1つとして用いて前記第1の合成画像の生成する場合、前記画像読出部は、前記第2の合成画像を、複数の前記入力画像の1つとして前記外部記憶領域から読み出す、ことを特徴とする。
また、本発明の前記第1の合成処理部は、前記外部記憶領域から読み出す前記入力画像のそれぞれに対応した複数の前記画像読出部、を備え、前記第2の合成処理部は、複数の前記画像読出部のそれぞれが読み出したそれぞれの前記入力画像の内、前記画像選択制御部によって指示された複数の前記入力画像のそれぞれを合成処理した前記第2の合成画像を生成する、ことを特徴とする。
また、本発明の前記第2の合成処理部は、前記第2の合成画像に含まれる複数の前記入力画像のそれぞれの透明度情報に基づいて、該第2の合成画像の前記透明度情報を生成し、該生成した前記透明度情報を該生成した前記第2の合成画像とともに前記外部記憶領域に記憶させ、前記第1の合成処理部は、前記第1の合成画像に含まれる複数の前記入力画像のそれぞれの前記透明度情報を、該第1の合成画像の生成に用いる、ことを特徴とする。
また、本発明の前記第2の合成処理部は、生成した前記第2の合成画像を圧縮した後に前記外部記憶領域に記憶させ、前記第1の合成処理部は、圧縮された前記第2の合成画像を伸張した後に、前記第1の合成画像の生成に用いる、ことを特徴とする。
また、本発明の画像出力方法は、複数の入力画像が記憶された外部記憶領域から、指示された複数の前記入力画像を読み出し、該読み出した前記入力画像のそれぞれを重畳する合成処理によって表示用の第1の合成画像を生成して出力する第1の合成処理手順と、前記第1の合成画像に含まれる複数の前記入力画像の内、指示された複数の前記入力画像のそれぞれを重畳する合成処理によって合成用の第2の合成画像を生成して、前記外部記憶領域に記憶させる第2の合成処理手順と、入力された入力画像情報に基づいて選択した複数の前記入力画像が含まれる前記第2の合成画像の生成を前記第2の合成処理手順に指示するとともに、該入力画像情報に基づいて、前記第1の合成画像を生成する際に前記第2の合成画像を前記入力画像の1つとして用いるか否かを選択し、選択した前記入力画像のそれぞれが含まれる前記第1の合成画像の生成を前記第1の合成処理手順に指示する画像選択制御手順と、を含む、ことを特徴とする。
本発明によれば、複数の入力画像を重畳して出力する画像出力装置において、更新頻度が高い画像を重畳する場合であっても、それぞれの画像を重畳する際の消費電力を低減することができるという効果が得られる。
本発明の実施形態における画像出力装置の概略構成を示したブロック図である。 本実施形態の画像出力装置において複数の入力画像を重畳した合成画像を生成する場合の一例を模式的に示した図である。 本実施形態の画像出力装置において複数の入力画像を重畳した合成画像を生成する第1の動作の一例を模式的に示した図である。 本実施形態の画像出力装置において更新頻度が低い入力画像が更新されない場合に合成画像を生成する第2の動作の一例を模式的に示した図である。 本実施形態の画像出力装置に備えた更新検出部の概略構成および動作を説明する図である。 複数の入力画像を重畳した合成画像を生成する場合の一例を模式的に示した図である。
以下、本発明の実施形態について、図面を参照して説明する。図1は、本実施形態における画像出力装置の概略構成を示したブロック図である。図1に示した画像出力装置10は、4つの画像読出部111〜画像読出部114と、2つの合成処理部120および合成処理部140と、表示画像出力部130と、画像選択制御部150と、画像書込部160と、を備えている。また、図1には、外部記憶領域20、表示デバイス30、および制御部40などの画像出力装置10に関連する構成要素も併せて示している。なお、以下の説明においては、画像読出部111〜画像読出部114のそれぞれを区別せずに表す場合には、「画像読出部110」という。
画像出力装置10は、外部記憶領域20に記憶されている複数の入力画像を重畳することによって合成(以下、「合成処理」という)した表示デバイス30への表示用の合成画像(以下、「第1の合成画像」という)を生成し、生成した第1の合成画像の画像データを出力する。また、画像出力装置10は、生成した第1の合成画像に含まれる複数の入力画像の内、更新頻度が低い入力画像のみを合成処理した合成用の合成画像(以下、「第2の合成画像」という)を生成し、生成した第2の合成画像の画像データを出力する。
なお、画像出力装置10は、例えば、撮像装置に単独で搭載される構成であってもよく、例えば、撮像装置に搭載したシステムLSIや画像処理LSIに内蔵される構成であってもよい。本実施形態においては、画像出力装置10を搭載するシステムの構成に関しては、何ら限定しない。
図1においては、第1の合成画像の画像データを表示デバイス30に出力して表示させ、第2の合成画像の画像データを外部記憶領域20に出力して記憶させる画像出力装置10の構成を示している。なお、図1に示した画像出力装置10の構成は、4つの入力画像を合成処理することができる画像出力装置の構成である。
画像出力装置10では、表示デバイス30に表示させる第1の合成画像に含まれるそれぞれの入力画像が更新される割合に基づいて、合成画像を生成する入力画像を、更新頻度が高い入力画像と更新頻度が低い入力画像とに分ける。例えば、表示デバイス30が表示している画像を更新するフレームレートは、表示デバイス30の仕様によって、30フレーム/秒、60フレーム/秒、120フレーム/秒など、様々である。そこで、本実施形態の画像出力装置10においては、現在のフレームで表示している画像が次のフレームで更新されるか否かの情報を更新頻度とし、次のフレームで更新されないという条件を満足する入力画像を更新頻度が低い入力画像であるとする。
なお、入力画像の更新頻度の高低を分ける際の条件は、上述したような、フレーム毎に更新されるか否かに限定されるものではない。例えば、入力画像を更新する間隔の時間を更新頻度の値とすることもできる。この場合、予め定めた時間(例えば、1秒)を入力画像の更新頻度の高低を分ける閾値、つまり、条件とし、この予め定めた時間以上更新されることがない入力画像を、更新頻度が低い入力画像とすることができる。
なお、更新頻度が低い入力画像とする数、すなわち、第2の合成画像に含まれる入力画像の数を、予め定めておくこともできる。例えば、それぞれの入力画像を更新頻度が低い順に並べ、第2の合成画像に含まれる入力画像の数を予め定めておくこともできる。
外部記憶領域20は、画像出力装置10が合成画像の生成に用いるそれぞれの入力画像の画像データを記憶する、例えば、DRAM(Dynamic Random Access Memory)などのメモリである。外部記憶領域20は、DMAバスなどに接続され、DMA転送によって、記憶している画像データの読み出しや、画像データの書き込み(記憶)が行われる。なお、外部記憶領域20に対する画像データの読み出しや書き込み(一般的なメモリに対するアクセス)は、1系統の入出力端子で行われるが、図1に示した画像出力装置10の構成においては、説明を容易にするため、外部記憶領域20に記憶しているまたは記憶するそれぞれの画像に対応した入力端子または出力端子がそれぞれ存在するものとして表している。
表示デバイス30は、TFT(Thin Film Transistor:薄膜トランジスター)−LCD(Liquid Crystal Display:液晶ディスプレイ)や、有機EL(Electro Luminescence)ディスプレイなどの表示装置であり、画像出力装置10から出力された第1の合成画像の画像データに応じた画像を表示する。なお、表示デバイス30は、EVF(Electronic View Finder:電子ビューファインダ)などの表示デバイスや、テレビなどの外部ディスプレイであってもよい。また、表示デバイス30は、画像出力装置10または撮像装置に着脱可能な構成であってもよい。
制御部40は、画像出力装置10を搭載するシステムの全体、すなわち、当該システムに搭載されたそれぞれの構成要素を制御する。また、制御部40は、合成画像の生成に用いる入力画像の情報(以下、「入力画像情報」という)を、画像出力装置10に出力する。制御部40が画像出力装置10に出力する入力画像情報には、例えば、外部記憶領域20に記憶されたどの入力画像を用いて合成画像を生成するのかを表した情報、すなわち、合成処理を行う対象の入力画像を選択するための情報(以下、「画像選択情報」という)が含まれる。また、制御部40が画像出力装置10に出力する入力画像情報には、例えば、外部記憶領域20に記憶されたそれぞれの入力画像の更新頻度を、それぞれの入力画像に対応付けて表した情報(以下、「更新頻度情報」という)が含まれる。制御部40は、上述したような、入力画像情報を示す設定を、画像出力装置10に備えた、例えば、レジスタなどに設定する。
また、制御部40が画像出力装置10に出力する入力画像情報には、例えば、外部記憶領域20に記憶されたそれぞれの入力画像が更新されたか否かを検出するための情報(以下、「画像更新情報」という)が含まれる。なお、画像更新情報は、画像出力装置10にとっては逐次変更される情報であるため、例えば、制御部40が外部記憶領域20や入力画像の更新に関連する構成要素にアクセスする際のそれぞれの信号が、画像更新情報として画像出力装置10に入力される。この信号としては、例えば、制御部40が外部記憶領域20や入力画像の更新に関連するそれぞれの構成要素をアクセスの対象として選択するためのイネーブル信号や、外部記憶領域20に記憶されている入力画像の記憶領域を指定するアドレスや画像データの書込を行う際のライト信号などが考えられる。
画像出力装置10は、制御部40によって設定された入力画像情報に基づいて、第1の合成画像および第2の合成画像の生成に用いるそれぞれの入力画像の画像データを外部記憶領域20から読み出し、読み出したそれぞれの入力画像の画像データに対して合成処理を行って生成した第1の合成画像の画像データおよび第2の合成画像の画像データのそれぞれを出力する。
画像選択制御部150は、制御部40によって入力画像情報が設定される、例えば、レジスタを備え、設定された入力画像情報に基づいて、第1の合成画像および第2の合成画像の生成に用いる入力画像を選択する。また、画像選択制御部150は、設定された入力画像情報に基づいて、第1の合成画像の生成に用いる入力画像として、第2の合成画像を選択するか否かを切り替える。そして、画像選択制御部150は、選択した入力画像を合成処理するための制御信号を、画像読出部110、合成処理部120、および合成処理部140のそれぞれに出力する。画像選択制御部150は、画像選択部151と更新検出部152とを備えている。
画像選択部151は、制御部40によって設定された画像選択情報に基づいて、外部記憶領域20に記憶されたそれぞれの入力画像の中から、第1の合成画像の生成に用いるそれぞれの入力画像を選択し、選択した入力画像を表す情報(以下、「第1の画像選択情報」という)を、更新検出部152に出力する。本実施形態の画像出力装置10においては、第1の合成画像の画像データを表示デバイス30に出力して表示させる。従って、第1の画像選択情報には、表示デバイス30に表示させる全ての入力画像を表す情報が含まれている。
また、画像選択部151は、制御部40によって設定された更新頻度情報に基づいて、第1の合成画像に含まれるそれぞれの入力画像の中で、更新頻度が低い入力画像のみを合成処理した第2の合成画像の生成に用いるそれぞれの入力画像を選択し、選択した更新頻度が低い入力画像を表す情報(以下、「第2の画像選択情報」という)を、更新検出部152に出力する。本実施形態の画像出力装置10において更新頻度は、それぞれの入力画像が次のフレームで更新されるか否かの情報であるため、制御部40によって設定される更新頻度情報には、次のフレームで更新されるか否かを表す情報が、それぞれの入力画像毎に含まれている。このため、画像選択部151は、次のフレームで更新されないという条件を満足する入力画像、すなわち、次のフレームで更新されないことを表す情報が含まれた入力画像のみを更新頻度が低い入力画像として識別するための情報を、第2の画像選択情報として更新検出部152に出力する。
なお、上述したように、入力画像の更新頻度は、次のフレームで更新されるか否かの情報に限定されるものではない。このため、画像選択部151によって更新頻度が低い入力画像のみ選択する条件も、更新頻度に応じた様々な条件がある。例えば、更新頻度が高いか低いかの2つの状態で表され、いずれか一方の状態を表した情報が更新頻度情報として設定されている場合には、画像選択部151は、更新頻度が低い状態を表した情報が対応付けられているという条件に基づいて、更新頻度が低い状態を表した情報が対応付けられた入力画像のみを識別するための情報を、第2の画像選択情報として更新検出部152に出力する。また、例えば、更新頻度が、それぞれの入力画像を更新する間隔の時間で表され、入力画像を更新する間隔の時間を表す情報が更新頻度情報としてそれぞれの入力画像毎に含まれている場合には、画像選択部151は、入力画像を更新する間隔の時間が予め定めた時間(例えば、1秒)以上であるという条件に基づいて、この条件を満足する入力画像のみを更新頻度が低い入力画像として識別するための情報を、第2の画像選択情報として更新検出部152に出力する。
更新検出部152は、画像選択部151から入力された第1の画像選択情報に基づいて、第1の合成画像の生成に用いるそれぞれの入力画像の画像データの外部記憶領域20からの読み出しを指示するための制御信号(以下、「画像読出制御信号」という)を、それぞれの入力画像に対応する画像読出部110のそれぞれに出力する。また、更新検出部152は、画像読出部110のそれぞれが読み出したそれぞれの入力画像の画像データを合成処理して第1の合成画像を生成するための制御信号(以下、「第1の合成制御信号」という)を、合成処理部120に出力する。より具体的には、例えば、図1に示した外部記憶領域20内の入力画像1の画像データを第1の合成画像の生成に用いる入力画像の画像データとして読み出す場合には、更新検出部152は、入力画像1の読み出しを指示するための画像読出制御信号を、入力画像1に対応する画像読出部111に出力する。同様に、更新検出部152は、第1の合成画像の生成に用いる入力画像に応じて、画像読出部112〜画像読出部114のそれぞれに、対応する入力画像2〜4の画像データの読み出しを指示するための画像読出制御信号を出力する。そして、更新検出部152は、第1の合成画像を生成するためにいずれの画像読出部110が入力画像を読み出したかを表す情報を含む制御信号を、第1の合成画像を生成するための第1の合成制御信号として合成処理部120に出力する。
また、更新検出部152は、画像選択部151から入力された第2の画像選択情報に基づいて、第2の合成画像の生成に用いるそれぞれの入力画像を合成処理するための制御信号(以下、「第2の合成制御信号」という)を、合成処理部140に出力する。より具体的には、第2の合成画像の生成に用いるそれぞれの入力画像は、第1の合成画像の生成に用いる入力画像に含まれている。このため、更新検出部152は、第2の合成画像の生成に用いるそれぞれの入力画像の画像データの読み出しを指示するための画像読出制御信号を、それぞれの入力画像に対応する画像読出部110のそれぞれにすでに出力しているのと同様のである。従って、更新検出部152は、画像読出部110のそれぞれによって読み出されたそれぞれの入力画像の内、いずれの画像読出部110が読み出した入力画像を合成処理した第2の合成画像を生成するかを表す情報を含む制御信号を、第2の合成画像を生成するための第2の合成制御信号として合成処理部140に出力する。
また、更新検出部152は、制御部40から入力された画像更新情報に基づいて、第2の合成画像に含まれる入力画像が更新されたか否かを検出する。そして、更新検出部152は、第2の合成画像に含まれる入力画像の更新を検出した結果に基づいて、画像読出制御信号を画像読出部110のそれぞれに、第1の合成制御信号を合成処理部120に、第2の合成制御信号を合成処理部140に、それぞれ出力する。
より具体的には、更新検出部152は、第2の合成画像に含まれるいずれの入力画像も更新されていないことを検出した場合には、更新頻度が高い入力画像の画像データと、外部記憶領域20に記憶された第2の合成画像の画像データとを、第1の合成画像の生成に用いるそれぞれの入力画像の画像データとして外部記憶領域20から読み出す画像読出制御信号を、画像読出部110のそれぞれに出力する。また、更新検出部152は、画像読出部110のそれぞれが読み出したそれぞれの入力画像の画像データを合成処理して第1の合成画像を生成するための第1の合成制御信号を、合成処理部120に出力する。
また、更新検出部152は、第2の合成画像に含まれるいずれかの入力画像が更新されたことを検出した場合には、更新頻度が高い入力画像の画像データと、第2の合成画像に含まれる全ての入力画像の画像データとを、第1の合成画像の生成に用いるそれぞれの入力画像の画像データとして外部記憶領域20から読み出す画像読出制御信号を、画像読出部110のそれぞれに出力する。また、更新検出部152は、画像読出部110のそれぞれが読み出したそれぞれの入力画像の画像データを合成処理して第1の合成画像を生成するための第1の合成制御信号を、合成処理部120に出力する。さらに、更新検出部152は、画像読出部110のそれぞれが読み出した第2の合成画像に含まれる全ての入力画像の画像データを合成処理して第2の合成画像を生成するための第2の合成制御信号を、合成処理部140に出力する。
なお、制御部40から入力された画像更新情報に基づいて、更新検出部152が第2の合成画像に含まれる入力画像が更新されたか否かを検出する構成および動作に関しては、後述する。
画像読出部111〜画像読出部114のそれぞれは、画像選択制御部150(更新検出部152)から入力された画像読出制御信号に応じて、外部記憶領域20に記憶されている対応する入力画像または第2の合成画像の画像データを、DMA転送によって読み出し、読み出した画像データを合成処理部120に出力する。図1に示した画像出力装置10の構成においては、画像読出部111が入力画像1に対応し、画像読出部112が入力画像2に対応し、画像読出部113が入力画像3に対応し、画像読出部114が入力画像4にそれぞれ対応する。また、画像読出部111〜画像読出部114のいずれも、第2の合成画像の画像データを読み出すことができる。
合成処理部120は、画像選択制御部150(更新検出部152)から入力された第1の合成制御信号に応じて、画像読出部111〜画像読出部114のそれぞれから入力された入力画像または第2の合成画像のそれぞれの画像データに対して、例えば、加算処理、減算処理、重み付け加算処理、加算平均処理などの合成処理を行った第1の合成画像を生成する。そして、合成処理部120は、生成した第1の合成画像の画像データを表示画像出力部130に出力する。
なお、合成処理部120が、第1の合成画像を生成する際には、第1の合成画像の生成に用いる入力画像または第2の合成画像の画像データの他に、透明度情報を用いて合成処理を行う。ここで、透明度情報とは、それぞれの画像における画素毎、または予め定めた矩形の範囲毎に、透明(場合によっては半透明)であるか否かを表した情報であり、合成処理(重み付け加算処理)を行う際の重み値(0≦(重み値)≦1)で表される情報である。それぞれの入力画像および第2の合成画像の画像データは、透明度情報の値が“1”のときに完全に透明ではない(非透明)の画像となり、値が“0”に近づくにつれて透明な画像となっていき、値が“0”で完全に透明な画像となる。この画像データと透明度情報とに基づいて合成処理を行うことによって、複数の入力画像または第2の合成画像を重畳した第1の合成画像を生成することができる。なお、合成処理部120において行う透明度情報を用いた合成処理の方法は、従来の画像出力装置における画像合成の方法と同様であるため、詳細な説明は省略する。
以下の説明においては、それぞれの入力画像には、画像データの他に、透明度情報を含んでいるものとする。ただし、本実施形態においては、それぞれの入力画像に含まれる画像データや透明度情報の形式に関しては、何ら限定しない。
表示画像出力部130は、合成処理部120から入力された第1の合成画像の画像データを、画像出力装置10に接続された表示デバイス30が画像を表示する際に形式に変換し、形式を変換した第1の合成画像の画像データを、表示デバイス30に表示させる表示画像の画像データとして、表示デバイス30が表示している表示画像を更新するフレームレートの周期に合わせて出力する。
合成処理部140は、画像選択制御部150(更新検出部152)から入力された第2の合成制御信号に応じて、画像読出部111〜画像読出部114のそれぞれから入力された入力画像の画像データに対して合成処理部120と同様の合成処理を行って、第2の合成画像を生成する。
なお、合成処理部140が生成する第2の合成画像は、上述したように、合成処理部120が生成する第1の合成画像に含まれるそれぞれの入力画像の中で、更新頻度が低い入力画像のみを合成処理した合成画像である。つまり、画像出力装置10では、合成処理部120が第1の合成画像を生成する際に、第1の合成画像に含まれる全ての入力画像に対して再度合成処理することがないように、更新頻度が低い入力画像のみを予め合成処理しておいた画像である。そして、合成処理部120が第1の合成画像を生成する際には、更新頻度が低い入力画像の代わりに第2の合成画像を用いる。これにより、合成処理部120は、更新頻度が低い複数の入力画像に対して再度合成処理を行う必要がなくなり、合成処理部120が第1の合成画像を生成する際の処理の負荷を軽減することができる。
このため、合成処理部140は、合成処理部120が第1の合成画像を生成する際に用いる、第2の合成画像に対応する透明度情報も生成する。そして、合成処理部140は、生成した透明度情報を含む第2の合成画像の画像データを、画像書込部160に出力する。なお、合成処理部140が第2の合成画像に対応する透明度情報を生成する際の考え方に関しては、後述する。
以下の説明においては、第2の合成画像には、画像データの他に、透明度情報を含んでいるものとする。ただし、本実施形態においては、第2の合成画像に含まれる画像データや透明度情報の形式に関しては、何ら限定しない。
画像書込部160は、合成処理部140から入力された第2の合成画像の画像データを、DMA転送によって外部記憶領域20に書き込む。
ここで、合成処理部140が第2の合成画像の透明度情報を生成する際の考え方について説明する。なお、以下の説明においては、4つの入力画像のそれぞれを重畳した合成画像を生成する合成処理において、最も下に位置する最下面の入力画像を含まない、すなわち、最下面(1番目)の入力画像の上に重畳される2番目から4番目までの3つの入力画像を合成処理した第2の合成画像を生成する場合の一例について説明する。ここで生成した第2の合成画像は、次のフレーム以降に最下面の入力画像と重畳することによって、4つの入力画像を重畳した合成画像と同等の合成画像を生成することができる。
以下の説明においては、入力画像1〜入力画像4の画像データを画像データY1〜画像データY4、入力画像2〜入力画像4の透明度情報を透明度情報A2〜透明度情報A4とする。このとき、全て(4つ)の入力画像を合成処理した第1の合成画像の画像データYは、下式(1)によって求めることができる。
Y=Y1×(1−A2)×(1−A3)×(1−A4)
+Y2×(A2)×(1−A3)×(1−A4)
+Y3×(A3)×(1−A4)
+Y4×(A4) ・・・(1)
ここで、入力画像2〜入力画像4を選択して第2の合成画像を生成する場合、第2の合成画像の画像データY’は、第1の合成画像の画像データYから入力画像1の画像データY1を含む項を減算し、さらに入力画像1に乗算された透明度情報Aの積算値を“1”から減算した値で除算する下式(2)によって求めることができる。
Y’=(Y−(Y1×(1−A2)×(1−A3)×(1−A4)))/
(1−(1−A2)×(1−A3)×(1−A4))
=((Y2×(A2)×(1−A3)×(1−A4))
+(Y3×(A3)×(1−A4))+(Y4×(A4)))/
(1−(1−A2)×(1−A3)×(1−A4)) ・・・(2)
このように、第1の合成画像の画像データから更新頻度が高い入力画像の画像データを含む項を減算し、さらに更新頻度が高い入力画像に乗算された透明度情報の積算値を“1”から減算した値で除算することによって、更新頻度が低い第2の合成画像の画像データを求めることができる。この考え方は、更新頻度が高い入力画像が複数になった場合でも同様である。
また、入力画像2〜入力画像4を選択して第2の合成画像を生成する場合、第2の合成画像の透明度情報A’(0≦(A’)≦1)は、入力画像1に乗算された透明度情報Aの積算値を“1”から減算する下式(3)によって求めることができる。
A’=(1−(1−A2)×(1−A3)×(1−A4)) ・・・(3)
このように、更新頻度が高い入力画像に乗算された透明度情報の積算値を“1”から減算することによって、更新頻度が低い第2の合成画像の透明度情報を求めることができる。この考え方は、更新頻度が高い入力画像が複数になった場合でも同様である。
合成処理部140は、このようにして生成した第2の合成画像の透明度情報A’を含む第2の合成画像の画像データを、画像書込部160に出力する。これにより、その後の合成処理において合成処理部120が、入力画像1の画像データY1と第2の合成画像の画像データY’とを用いて上式(1)と同様に考えた下式(4)によって求められる合成処理をすることによって、上式(1)に示した、全ての入力画像1〜入力画像4を合成処理した第1の合成画像と同じ画像データYを生成することができる。
Y=Y1×(1−A’)+Y’×(A’) ・・・(4)
すなわち、上式(4)に上式(2)によって求めた第2の合成画像の画像データY’と、上式(3)によって求めた第2の合成画像の透明度情報A’とを当てはめることによって、下式(5)に示したように、上式(1)で求められる第1の合成画像と同じ画像データYを生成することができる。
Y=Y1×(1−A’)+Y’×(A’)
=Y1×(1−(1−(1−A2)×(1−A3)×(1−A4)))
+((Y2×(A2)×(1−A3)×(1−A4))
+(Y3×(A3)×(1−A4))+(Y4×(A4)))/
(1−(1−A2)×(1−A3)×(1−A4))
×((1−(1−A2)×(1−A3)×(1−A4)))
=Y1×(1−A2)×(1−A3)×(1−A4)
+(Y2×(A2)×(1−A3)×(1−A4)
+Y3×(A3)×(1−A4)
+Y4×(A4) ・・・(5)
このような構成によって、画像出力装置10では、第1の合成画像に含まれる複数の入力画像の内、更新頻度が低い入力画像のみを選択して合成処理した第2の合成画像を生成して、外部記憶領域20に書き込む。そして、第2の合成画像に含まれるいずれの入力画像も更新されていない場合、画像読出部110が、外部記憶領域20に記憶されている更新頻度が低い複数の入力画像の画像データを読み出す代わりに、1つの第2の合成画像の画像データのみを読み出し、合成処理部120が、更新頻度が高い入力画像と、更新頻度が低い入力画像の代わりの第2の合成画像とを用いて第1の合成画像を生成する。すなわち、画像出力装置10では、第2の合成画像に含まれるいずれの入力画像も更新されていない場合に、第1の合成画像の生成に用いる入力画像として第2の合成画像を選択する。これにより、画像出力装置10では、画像読出部110が更新頻度が低い複数の入力画像の画像データを読み出す際のDMA転送のデータ量を、1つの第2の合成画像の画像データのみを読み出す際のDMA転送のデータ量にまで削減することができる。このことにより、画像出力装置10では、画像読出部110が、更新頻度が低い複数の入力画像の画像データを読み出す際の消費電力を、1つの第2の合成画像の画像データのみを読み出す際の消費電力にまで低減することができる。
また、画像出力装置10では、更新頻度が低い入力画像のみを合成処理した第2の合成画像を生成して外部記憶領域20に書き込んでおくのみであり、更新頻度が高い入力画像は、従来の画像出力装置と同様に合成処理を行う。これにより、画像出力装置10では、更新頻度が高い画像を重畳する機能を低下させることなく、全体の消費電力を低減することができる。そして、画像出力装置10を備えた撮像装置では、ライブビュー画像のような更新頻度が高い画像にOSD画像などの更新頻度が低い画像を合成して表示デバイス30に表示させる場合でも、撮像装置の消費電力を低減することができる。
なお、画像出力装置10では、合成処理部140が生成した第2の合成画像を、既存の圧縮方法を用いて圧縮した後に、外部記憶領域20に書き込む構成にすることもできる。この場合、合成処理部120は、外部記憶領域20から読み出した圧縮後の第2の合成画像を、既存の伸張方法を用いて伸張した後、つまり、元の第2の合成画像に戻した後に、更新頻度が高い入力画像と合成処理して第1の合成画像を生成することになる。このように、第2の合成画像を圧縮した後に外部記憶領域20に書き込むことによって、画像出力装置10では、画像書込部160および画像読出部110が第2の合成画像をDMA転送する際のデータ量をさらに削減することができ、画像出力装置10における第2の合成画像の書き込みおよび読み出しに関わる消費電力を、さらに低減することができる。
なお、第2の合成画像を圧縮、伸張する際には、可逆の圧縮伸張技術を用いることが望ましい。また、第2の合成画像を圧縮する構成要素としては、合成処理部140または画像書込部160が考えられ、第2の合成画像を伸張する構成要素としては、画像読出部110または合成処理部120が考えられる。しかし、第2の合成画像を圧縮、伸張する専用の構成要素を、画像出力装置10内に備える構成にすることも考えられる。従って、本実施形態においては、第2の合成画像を圧縮、伸張する構成要素や方法に関しては、何ら限定しない。
次に、本第1の実施形態の画像出力装置10の動作の一例について説明する。図2は、本実施形態の画像出力装置10において複数の入力画像を重畳した合成画像を生成する場合の一例を模式的に示した図である。図2には、4つの入力画像1〜入力画像4を合成した第1の合成画像を生成して表示デバイス30に表示させる状態を示している。なお、図2に示した入力画像1は撮像装置で撮影した撮影画像の一例である。また、図2に示した入力画像2は撮像装置で撮影する際に動作している被写体の顔検出機能における検出状態を表すOSD画像の一例であり、入力画像3は撮像装置で撮影する際の構図の決定を補助するアシスト表示のOSD画像の一例であり、入力画像4は撮像装置が撮影する撮影画像の解像度や撮像装置に備えた電池の残量などの情報を知らせるインフォメーション表示のOSD画像の一例である。
以下の説明においては、入力画像1および入力画像2の更新頻度が高く、入力画像3および入力画像4の更新頻度が低いものとして説明する。このとき、画像出力装置10では、合成処理部120が、入力画像1〜入力画像4の画像データを合成処理した第1の合成画像を生成して表示画像出力部130に出力し、表示画像出力部130が、合成処理部120から入力された第1の合成画像の画像データを変換した表示画像の画像データを表示デバイス30に出力する。また、画像出力装置10では、合成処理部140が、更新頻度が低い入力画像3および入力画像4の画像データを合成処理した第2の合成画像を生成して画像書込部160に出力し、画像書込部160が、合成処理部140から入力された第2の合成画像の画像データを、DMA転送によって外部記憶領域20に書き込む。
その後、画像出力装置10では、合成処理部120が、入力画像1、入力画像2、および第2の合成画像の画像データを合成処理することによって第1の合成画像と同じ第1の合成画像を生成する。以下の説明においては、入力画像1〜入力画像4の画像データを合成処理して生成した第1の合成画像と、入力画像1、入力画像2、および第2の合成画像の画像データを合成処理して生成した第1の合成画像とを区別するため、入力画像1、入力画像2、および第2の合成画像の画像データを合成処理して生成した第1の合成画像を、「第3の合成画像」という。そして、合成処理部120は、生成した第3の合成画像を表示画像出力部130に出力し、表示画像出力部130が、合成処理部120から入力された第3の合成画像の画像データを変換した表示画像の画像データを表示デバイス30に出力する。
ここで、本第1の実施形態の画像出力装置10におけるそれぞれの動作について説明する。図3は、本実施形態の画像出力装置10において複数の入力画像を重畳した合成画像を生成する第1の動作の一例を模式的に示した図である。また、図4は、本実施形態の画像出力装置10において更新頻度が低い入力画像が更新されない場合に合成画像を生成する第2の動作の一例を模式的に示した図である。
なお、以下の説明においては、制御部40が画像出力装置10に設定する入力画像情報として、図2に示した状態を表す情報が設定されているものとして説明する。より具体的には、入力画像1〜入力画像4を、合成処理を行う対象の入力画像として選択するための画像選択情報が設定され、入力画像1および入力画像2が、更新頻度が高い入力画像であり、入力画像3および入力画像4が、更新頻度が低い入力画像であることを表す更新頻度情報が設定されているものとして説明する。
<第1の動作>
第1の動作は、画像出力装置10が表示デバイス30に表示する最初のフレームの表示画像の画像データを出力する動作である。第1の動作では、合成処理部120が、表示デバイス30に表示させる全ての入力画像が含まれる第1の合成画像を生成して表示画像出力部130に出力する。また、第1の動作では、合成処理部140が、更新頻度が低い入力画像が含まれる第2の合成画像を生成して画像書込部160に出力する。図3には、図1に示した画像出力装置10のブロック図上に、第1の動作におけるそれぞれの画像データの経路を示している。
第1の動作では、まず、画像選択制御部150内の画像選択部151が、制御部40によって設定された画像選択情報に基づいて、外部記憶領域20に記憶された入力画像1〜入力画像4を、第1の合成画像の生成に用いるそれぞれの入力画像として選択する。そして、画像選択部151は、選択した入力画像を表す第1の画像選択情報を、更新検出部152に出力する。そして、画像選択制御部150内の更新検出部152は、画像選択部151から入力された第1の画像選択情報に基づいて、第1の合成画像の生成に用いる入力画像1〜入力画像4の画像データの外部記憶領域20からの読み出しを指示するための画像読出制御信号を、画像読出部111〜画像読出部114のそれぞれに出力する。また、更新検出部152は、画像読出部111〜画像読出部114のそれぞれが読み出した入力画像1〜入力画像4の画像データを合成処理して第1の合成画像を生成するため第1の合成制御信号を、合成処理部120に出力する。
この動作によって、図3に示した経路C11の画像データの経路で、画像読出部111〜画像読出部114のそれぞれによって外部記憶領域20から読み出された入力画像1〜入力画像4の画像データのそれぞれが合成処理部120に入力される。そして、合成処理部120は、入力された入力画像1〜入力画像4のそれぞれの画像データに対して合成処理を行った第1の合成画像を生成し、生成した第1の合成画像の画像データを表示画像出力部130に出力する。そして、表示画像出力部130は、入力された第1の合成画像の画像データの形式を変換した表示画像の画像データを表示デバイス30に出力する。これにより、入力画像1〜入力画像4を用いて生成した第1の合成画像に応じた画像が、表示デバイス30に表示される。
また、第1の動作では、画像選択部151が、制御部40によって設定された更新頻度情報に基づいて、第1の合成画像に含まれるそれぞれの入力画像の中で、更新頻度が低い入力画像3および入力画像4を、第2の合成画像の生成に用いるそれぞれの入力画像として選択したことを表す第2の画像選択情報を、更新検出部152に出力する。そして、更新検出部152は、画像選択部151から入力された第2の画像選択情報に基づいて、第2の合成画像の生成に用いる入力画像3および入力画像4の画像データを合成処理して第2の合成画像を生成するため第2の合成制御信号を、合成処理部140に出力する。
これにより、合成処理部140は、図3に示した経路C12の画像データの経路で入力された入力画像3および入力画像4のそれぞれの画像データに対して合成処理を行った第2の合成画像を生成し、生成した第2の合成画像の画像データを画像書込部160に出力する。そして、画像書込部160は、入力された第2の合成画像の画像データを、DMA転送によって外部記憶領域20に書き込む。これにより、外部記憶領域20に、更新頻度が低い入力画像3および入力画像4を合成処理した第2の合成画像の画像データが記憶される。
このように、第1の動作では、表示デバイス30に表示させる全ての入力画像が含まれる第1の合成画像に応じた表示画像の画像データの表示デバイス30への出力と、更新頻度が低い入力画像のみが含まれる第2の合成画像の画像データの外部記憶領域20への書き込みとを行う。
その後、更新検出部152が、制御部40から入力された画像更新情報に基づいて、第2の合成画像に含まれる入力画像が更新されたか否かを検出する。そして、更新検出部152が、第2の合成画像に含まれるいずれの入力画像も更新されていないことを検出した場合に、画像出力装置10は、以下に説明する第2の動作を行う。
<第2の動作>
第2の動作は、第1の動作において生成した第2の合成画像を用いて、画像出力装置10が表示デバイス30に表示する次のフレーム(以降のフレームも含む)の表示画像の画像データを出力する動作である。第2の動作では、合成処理部120が、表示デバイス30に表示させる更新頻度が高い全ての入力画像と更新頻度が低い全ての入力画像とが含まれる第2の合成画像とを用いて、第1の合成画像と同じ第3の合成画像を生成して表示画像出力部130に出力する。図4には、図1に示した画像出力装置10のブロック図上に、第2の動作におけるそれぞれの画像データの経路を示している。
第2の動作では、まず、画像選択制御部150内の画像選択部151が、制御部40によって設定された画像選択情報に基づいて、外部記憶領域20に記憶された更新頻度が高い入力画像1および入力画像2と、外部記憶領域20に記憶された第2の合成画像とを、第3の合成画像の生成に用いるそれぞれの入力画像として選択する。これにより、第2の合成画像は、更新頻度が低い入力画像3および入力画像4の代わりに選択された入力画像となる。そして、画像選択部151は、選択した入力画像を表す第1の画像選択情報を、更新検出部152に出力する。そして、更新検出部152は、画像選択部151から入力された第1の画像選択情報に基づいて、第3の合成画像の生成に用いる入力画像1、入力画像2、および第2の合成画像の画像データの外部記憶領域20からの読み出しを指示するための画像読出制御信号を、画像読出部111〜画像読出部113のそれぞれに出力する。また、更新検出部152は、画像読出部111〜画像読出部113のそれぞれが読み出した入力画像1、入力画像2、および第2の合成画像の画像データを合成処理して第3の合成画像を生成するため第1の合成制御信号を、合成処理部120に出力する。
この動作によって、図4に示した経路C21の画像データの経路で、画像読出部111〜画像読出部113のそれぞれによって外部記憶領域20から読み出された入力画像1、入力画像2、および第2の合成画像の画像データのそれぞれが合成処理部120に入力される。そして、合成処理部120は、入力された入力画像1、入力画像2、および第2の合成画像のそれぞれの画像データに対して合成処理を行った第3の合成画像を生成し、生成した第3の合成画像の画像データを表示画像出力部130に出力する。そして、表示画像出力部130は、入力された第3の合成画像の画像データの形式を変換した表示画像の画像データを表示デバイス30に出力する。これにより、入力画像1、入力画像2、および第2の合成画像を用いて生成した第3の合成画像に応じた画像が、表示デバイス30に表示される。なお、ここで表示デバイス30に表示される画像は、上述したように、第1の動作において表示デバイス30に表示された画像と同じ画像である。
このように、第2の動作では、表示デバイス30に表示させる全ての入力画像が含まれる第1の合成画像と同じ第3の合成画像を、更新頻度が高い入力画像1および入力画像2と、第2の合成画像とを用いて生成し、生成した第3の合成画像に応じた表示画像の画像データを表示デバイス30に出力する。これにより、第2の動作では、第1の動作において外部記憶領域20から読み出す入力画像の数よりも少ない数の入力画像を読み出すのみで、第1の動作において生成した第1の合成画像と同じ第3の合成画像を生成する。
なお、更新検出部152が、制御部40から入力された画像更新情報に基づいて、第2の合成画像に含まれる入力画像が更新されたか否かを検出した結果、第2の合成画像に含まれるいずれかの入力画像が更新されたことを検出した場合には、画像出力装置10は、上述した第1の動作を行う。これにより、合成処理部140によって、第2の合成画像に含まれるいずれかの入力画像が更新された新たな第2の合成画像が生成され、画像書込部160によってDMA転送されて、外部記憶領域20に記憶している第2の合成画像の画像データが、新たな第2の合成画像の画像データに更新される。
その後、更新検出部152が、制御部40から入力された画像更新情報に基づいて、第2の合成画像に含まれる入力画像が更新されたか否かを検出した結果、第2の合成画像に含まれるいずれの入力画像も更新されていないことを検出した場合には、画像出力装置10は、上述した第2の動作を行う。これにより、外部記憶領域20に記憶された新たな第2の合成画像を用いて生成した第3の合成画像に応じた画像が、表示デバイス30に表示される。
このように、画像出力装置10では、第2の合成画像に含まれるいずれの入力画像も更新されていないときには、第2の合成画像を用いて第3の合成画像を生成する第2の動作を行うことにより、第2の動作において画像読出部110がDMA転送するデータ量を第1の動作におけるデータ量よりも少なくし、画像出力装置10の消費電力を低減することができる。
なお、図4を見てわかるように、第2の動作では、画像読出部114、合成処理部140、および画像書込部160は動作していない。従って、第2の動作では、動作していない構成要素に供給するクロック信号などを停止することができる。これにより、画像出力装置10における第2の動作のときの消費電力を、さらに低減することができる。
なお、上記の説明においては、第1の動作において新たな第2の合成画像を生成した場合には、外部記憶領域20に記憶している第2の合成画像の画像データを、新たな第2の合成画像の画像データに更新する、つまり、新たな第2の合成画像の画像データを第2の合成画像の画像データに上書きする場合について説明した。しかし、新たな第2の合成画像の画像データを第2の合成画像の画像データに上書きせずに、複数の第2の合成画像の画像データを外部記憶領域20に記憶しておき、第2の動作において第3の合成画像を生成する際に用いる第2の合成画像を切り替える構成にすることもできる。
このような構成にすることによって、例えば、図2に示した入力画像4に含まれる撮像装置に備えた電池の残量を表すキャラクタ画像が点滅する表示の機能を容易に実現することができるとともに、この機能における第2の動作において画像読出部110がDMA転送するデータ量を第1の動作におけるデータ量よりも少なくし、画像出力装置10の消費電力を低減することができる。より具体的には、第1の動作において、キャラクタ画像が点灯している状態の第2の合成画像と、キャラクタ画像が消灯している状態の第2の合成画像との両方の第2の合成画像の画像データを外部記憶領域20に記憶しておき、第2の動作において、キャラクタ画像を点滅させる周期で第2の合成画像を切り替えることによって、点滅するキャラクタ画像の表示の機能を容易に実現することができる。なお、この場合には、制御部40が設定する入力画像情報(画像選択情報、更新頻度情報、画像更新情報)またはその他の情報の設定によって、第2の動作において第2の合成画像に含まれるいずれかの入力画像の周期的な切り替えを行うことを表す情報を、画像選択制御部150に設定することになる。
次に、更新検出部152が、第2の合成画像に含まれる入力画像が更新されたか否かを検出する構成および動作の一例について説明する。図5は、本実施形態の画像出力装置10に備えた更新検出部152の概略構成および動作を説明する図である。図5(a)には、更新検出部152の構成の一例を示し、図5(b)には、更新検出部152の動作タイミングの一例を示している。
図5(a)に示した更新検出部152は、立ち上がりエッジ検出部1521と、アドレス判定部1522と、論理積回路(AND回路)1523と、RS型フリップフロップ(FF)1524と、D型FF1525と、を備えている。また、図5(a)には、更新検出部152に画像更新情報を入力する制御部40も併せて示している。図5(a)に示した更新検出部152は、表示デバイス30がそれぞれのフレームの画像を表示するフレームレートの周期毎に、入力画像の更新があったか否かを検出する構成である。
上述したように、制御部40は、外部記憶領域20や入力画像の更新に関連する構成要素にアクセスする際のそれぞれの信号を、画像更新情報として更新検出部152にも出力する。図5(a)に示した構成の更新検出部152は、制御部40が制御するそれぞれの構成要素にデータを書き込む際に出力するライトイネーブス信号、およびデータを書き込む領域を指定するアドレスが画像更新情報として入力され、入力された画像更新情報に基づいて、第2の合成画像に含まれる入力画像が更新されたか否かを検出する。
立ち上がりエッジ検出部1521は、表示デバイス30に入力された垂直同期信号VDの立ち上がりエッジを検出することによって、表示デバイス30が画像の表示を開始するタイミングを表すフレーム開始パルスを出力する。
アドレス判定部1522は、制御部40から入力されたライトアドレスが、第2の合成画像に含まれる入力画像に対応するアドレスであるか否かを判定し、判定した結果のアドレス判定信号をAND回路1523に出力する。
AND回路1523は、制御部40から入力されたライトイネーブス信号と、アドレス判定部1522入力されたアドレス判定信号とに基づいて、レジスタ更新フラグを出力する。
このアドレス判定部1522とAND回路1523との構成によって、更新検出部152は、1つの垂直同期信号VDの周期内において、制御部40から第2の合成画像に含まれる入力画像のアドレスなど、特定のレジスタへの書き込み処理が行われたか否かを検出した結果のレジスタ更新フラグを生成する。
RS型フリップフロップ(FF)1524は、第2の合成画像に含まれる入力画像の切り替えが行われたか否かを表すレジスタ切替フラグを出力する。RS型FF1524は、セット端子Sに入力されたレジスタ更新フラグが、特定のレジスタへの書き込み処理が行われたことを表すときに、レジスタ切替フラグを、第2の合成画像に含まれる入力画像の切り替えが行われたことを表す状態にセットする。また、RS型FF1524は、リセット端子Rに入力されたフレーム開始パルスが、表示デバイス30が画像の表示を開始するタイミングを表すときに、レジスタ切替フラグを、第2の合成画像に含まれる入力画像の切り替えが行われていないことを表す状態にクリアする。これにより、RS型FF1524は、表示デバイス30に入力された垂直同期信号VDの周期毎に、入力画像の切り替え、つまり、第2の合成画像に含まれる入力画像の変更があったか否かを、レジスタ切替フラグによって表す。
D型FF1525は、レジスタ切替フラグがクリアされる手前のタイミングで、レジスタ切替フラグの状態を記録(保持)した更新検出フラグを出力する。D型FF1525が出力する更新検出フラグは、第2の合成画像に含まれる入力画像の更新があるか否かを表すフラグ、つまり、第2の合成画像に含まれる入力画像が更新されたか否かを検出した結果である。
ここで、図5(b)に示した更新検出部152の動作タイミングの一例を参照して、更新検出部152のそれぞれの構成要素の動作を、詳細に説明する。図5(b)に示したタイミングは、更新頻度が低い入力画像4が更新された場合の更新検出部152の動作の一例を示している。
立ち上がりエッジ検出部1521は、表示デバイス30に入力された垂直同期信号VDの立ち上がりエッジを検出し、図5(b)に示したような“High”レベルのフレーム開始パルスを出力する。
アドレス判定部1522は、制御部40から入力されたライトアドレスが、第2の合成画像に含まれる入力画像に対応するアドレスである場合に、“High”レベルのアドレス判定信号をAND回路1523に出力する。図5(b)には、入力画像3のライトアドレスが制御部40から入力されたことを判定して“High”レベルのアドレス判定信号を出力した場合を示している。
AND回路1523は、制御部40から入力されたライトイネーブス信号がデータの書込を表す“High”レベルであり、アドレス判定部1522入力されたアドレス判定信号が、第2の合成画像に含まれる入力画像に対応するアドレスであることを表す“High”レベルであるときに、図5(b)に示したような“High”レベルのレジスタ更新フラグを出力する。
RS型FF1524は、セット端子Sに入力されたレジスタ更新フラグが、第2の合成画像に含まれる入力画像に対応するアドレスであることを表す“High”レベルになったときに、レジスタ切替フラグを、第2の合成画像に含まれる入力画像の切り替えが行われたことを表す“High”レベルにセットする(図5(b)のタイミングT1参照)。また、RS型FF1524は、リセット端子Rに入力されたフレーム開始パルスが、表示デバイス30における画像の表示を開始するタイミングを表す垂直同期信号VDの立ち上がりエッジを検出して“High”レベルになったときに、レジスタ切替フラグを、第2の合成画像に含まれる入力画像の切り替えが行われていないことを表す“Low”レベルにクリアする(図5(b)のタイミングT2参照)。
D型FF1525は、レジスタ切替フラグがクリアされる手前のタイミングで、レジスタ切替フラグの状態をラッチし(図5(b)のタイミングT3参照)、ラッチした状態の更新検出フラグを出力する。図5(b)には、レジスタ切替フラグの“High”レベルをラッチして、“High”レベルの更新検出フラグを出力する場合を示している。
このような構成と動作によって、更新検出部152は、表示デバイス30のフレームレートの周期毎に、第2の合成画像に含まれる入力画像が更新されたか否かを検出する。なお、図5に示した更新検出部152の構成および動作の一例では、更新検出フラグが“High”レベルのときに、第2の合成画像に含まれるいずれかの入力画像が更新されたことを検出した状態を表し、更新検出フラグが“Low”レベルのときに、第2の合成画像に含まれるいずれの入力画像も更新されていないことを検出した状態を表すことになる。そして、更新検出部152は、更新検出フラグの状態に基づいて、それぞれの画像読出部110に画像読出制御信号を、合成処理部120に第1の合成制御信号を、合成処理部140に第2の合成制御信号を、それぞれ出力する。
なお、更新検出部152において第2の合成画像に含まれる入力画像が更新されたか否かを検出する方法は、図5に示した更新検出部152の構成および動作の一例で示した方法の他にも、様々な実現方法が考えられる。従って、本実施形態においては、第2の合成画像に含まれる入力画像が更新されたか否かの検出方法に関しては、何ら限定しない。
上記に述べたとおり、本発明を実施するための形態によれば、画像出力装置に、外部記憶領域に記憶されている複数の入力画像を重畳する合成処理によって第1の合成画像を生成する第1の合成処理部(実施形態における合成処理部120)と、第1の合成画像に含まれる複数の入力画像の内、更新頻度が低い入力画像のみを選択して合成処理した第2の合成画像を生成する第2の合成処理部(実施形態における合成処理部140)とを備える。そして、本発明を実施するための形態では、第2の合成処理部が生成した第2の合成画像を外部記憶領域に記憶しておく(書き込んでおく)。つまり、本発明を実施するための形態では、従来の画像出力装置のように、表示デバイスに表示する全ての入力画像を合成処理した(実施形態における第1の合成画像に相当する)合成画像、すなわち、表示デバイスに表示する表示画像の画像データそのものを外部記憶領域に記憶しておくのではなく、更新頻度が低い入力画像のみを選択して合成処理した第2の合成画像を外部記憶領域に記憶しておく。そして、本発明を実施するための形態では、第2の合成画像に含まれるいずれの入力画像も更新されていない場合、外部記憶領域に記憶されている更新頻度が低い複数の入力画像を読み出す代わりに、外部記憶領域に記憶しておいた第2の合成画像を読み出し、第1の合成処理部が、更新頻度が高い入力画像と、更新頻度が低い入力画像の代わりの第2の合成画像とを合成処理して第1の合成画像を生成する。つまり、本発明を実施するための形態では、第1の合成画像の生成に用いる更新頻度が低い入力画像を第2の合成画像に切り替える。
これにより、本発明を実施するための形態では、画像出力装置が更新頻度が低い複数の入力画像を読み出す際のデータ量を、1つの入力画像(第2の合成画像)を読み出す際のデータ量にまで削減することができる。このことにより、本発明を実施するための形態では、画像出力装置が、更新頻度が低い複数の入力画像の画像データを読み出す際の消費電力を、1つの入力画像(第2の合成画像)を読み出す際の消費電力にまで低減することができる。つまり、本発明を実施するための形態では、画像出力装置が更新頻度が低い複数の入力画像に対して合成処理を行う際の画像出力装置の消費電力を低減することができる。
また、本発明を実施するための形態では、更新頻度が低い入力画像のみを合成処理した第2の合成画像を生成して外部記憶領域に書き込んでおくが、更新頻度が高い入力画像は、従来の画像出力装置と同様に、第1の合成処理部によって合成処理を行う。つまり、本発明を実施するための形態では、更新頻度が低い入力画像は第2の合成画像で代用するが、更新頻度が高い入力画像は、常に更新された入力画像(フレーム毎に更新される入力画像)を用いて合成処理を行う。また、本発明を実施するための形態では、第2の合成画像に含まれるいずれかの入力画像が更新された場合に、新たな第2の合成画像を生成する。つまり、本発明を実施するための形態では、従来の画像出力装置のように、表示デバイスに表示する全ての入力画像の内、いずれか1つの入力画像でも更新された場合に全ての入力画像を合成処理した合成画像を再度生成するのではなく、全ての入力画像を合成処理した第1の合成画像を再度生成するのは、第2の合成画像に含まれる更新頻度が低い入力画像のいずれかが更新された場合のみである。
これにより、本発明を実施するための形態では、画像出力装置において更新頻度が高い画像を重畳する機能を低下させることなく、更新頻度が低い入力画像を第2の合成画像で代用する分の消費電力を低減することができる。このことにより、本発明を実施するための形態では、画像出力装置を備えた撮像装置において、ライブビュー画像のようにフレーム毎に更新される更新頻度が高い画像にOSD画像などの更新頻度が低い画像を合成して表示デバイスに表示させる場合でも、ライブビュー画像を表示する際のフレームレートを落とすことなく、撮像装置の消費電力を低減することができる。
また、本発明を実施するための形態では、第2の合成処理部が生成した第2の合成画像に、既存の圧縮、伸張技術を適用することができる。これにより、本発明を実施するための形態では、第2の合成画像の外部記憶領域に転送(書き込みおよび読み出し)する際のデータ量をさらに削減することができ、画像出力装置における第2の合成画像転送に関わる消費電力を、さらに低減することができる。
また、本発明を実施するための形態では、更新頻度が高い入力画像と第2の合成画像とを用いて第1の合成画像を生成する第2の動作において、動作していない構成要素(実施形態において図4に示した第2の動作では、画像読出部114、合成処理部140、および画像書込部160)に供給するクロック信号を停止することによって、画像出力装置における第2の動作のときの消費電力を、さらに低減することができる。
なお、本実施形態においては、画像出力装置10に4つの画像読出部111〜画像読出部114を備え、4つの入力画像を合成処理する構成について説明した。しかし、画像出力装置10が合成処理を行う入力画像の数は、本発明を実施するための形態に限定されるものではなく、さらに多くの入力画像を合成処理する構成にすることもできる。この場合、画像出力装置に備える画像読出部110の数は、合成処理を行う入力画像の数に応じて多くなる、すなわち、合成処理を行う入力画像の数と同じ数の画像読出部110を備える構成になる。ただし、いずれかの入力画像を時系列に読み出した場合であっても、表示デバイス30の表示に要求される時間(表示デバイス30に表示する画像を更新する1フレームの周期)内に第1の合成画像を生成することができる場合には、合成処理を行う入力画像の数と同じ数の画像読出部110を備えず、画像読出部110のいずれかが、複数の入力画像を時系列に読み出す構成にすることもできる。
また、本実施形態においては、第1の合成画像の画像データを表示デバイス30に出力して表示させ、第2の合成画像の画像データを外部記憶領域20に出力して記憶させる画像出力装置10の構成の例について説明したが、画像出力装置10が生成した第1の合成画像および第2の合成画像の利用方法は、本発明を実施するための形態に限定されるものではない。例えば、第1の合成画像の画像データも外部記憶領域20に出力して記憶させ、外部記憶領域20に記憶されている第1の合成画像の画像データを読み出して、表示デバイスが画像を表示する際に形式に変換して出力する表示画像出力部を、画像出力装置10とは別に備えた構成であっても同様に、本発明の考え方を適用することができる。
なお、本発明の画像出力装置においても、全ての入力画像の更新頻度が低い場合には、従来の画像出力装置と同様に、表示デバイスに表示する全ての入力画像を合成処理した合成画像の画像データそのものを外部記憶領域に記憶しておく、つまり、実施形態における第1の合成画像そのものを外部記憶領域20に記憶しておくこともできる。この場合、画像選択制御部150が、合成処理部120が生成する第1の合成画像と同じ第2の合成画像を生成するように合成処理部140を制御すればよい。
以上、本発明の実施形態について、図面を参照して説明してきたが、具体的な構成はこの実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲においての種々の変更も含まれる。
10・・・画像出力装置
111,112,113,114・・・画像読出部(第1の合成処理部,画像読出部)
120・・・合成処理部(第1の合成処理部)
130・・・表示画像出力部(第1の合成処理部)
140・・・合成処理部(第2の合成処理部)
150・・・画像選択制御部(画像選択制御部)
151・・・画像選択部(画像選択制御部,画像選択部)
152・・・更新検出部(画像選択制御部,更新検出部)
1521・・・立ち上がりエッジ検出部(画像選択制御部,更新検出部)
1522・・・アドレス判定部(画像選択制御部,更新検出部)
1523・・・AND回路(画像選択制御部,更新検出部)
1524・・・RS型フリップフロップ(画像選択制御部,更新検出部)
1525・・・D型フリップフロップ(画像選択制御部,更新検出部)
160・・・画像書込部(第2の合成処理部,画像書込部)

Claims (9)

  1. 複数の入力画像が記憶された外部記憶領域から、指示された複数の前記入力画像を読み出し、該読み出した前記入力画像のそれぞれを重畳する合成処理によって表示用の第1の合成画像を生成して出力する第1の合成処理部と、
    前記第1の合成画像に含まれる複数の前記入力画像の内、指示された複数の前記入力画像のそれぞれを重畳する合成処理によって合成用の第2の合成画像を生成して、前記外部記憶領域に記憶させる第2の合成処理部と、
    入力された入力画像情報に基づいて選択した複数の前記入力画像が含まれる前記第2の合成画像の生成を前記第2の合成処理部に指示するとともに、該入力画像情報に基づいて、前記第1の合成画像を生成する際に前記第2の合成画像を前記入力画像の1つとして用いるか否かを選択し、選択した前記入力画像のそれぞれが含まれる前記第1の合成画像の生成を前記第1の合成処理部に指示する画像選択制御部と、
    を備える、
    ことを特徴とする画像出力装置。
  2. 前記画像選択制御部は、
    前記入力画像情報に含まれる、前記第1の合成画像の生成に用いる前記入力画像の情報に基づいて、前記第1の合成画像に含まれる複数の前記入力画像を選択し、該入力画像情報に含まれる、それぞれの前記入力画像に対応した更新頻度の情報に基づいて、前記第1の合成画像に含まれる複数の前記入力画像の内、予め定めた条件を満足する更新頻度が低い前記入力画像のみを選択する画像選択部、
    を備え、
    前記画像選択部が選択した更新頻度が低い複数の前記入力画像のみを合成処理した前記第2の合成画像の生成を指示する、
    ことを特徴とする請求項1に記載の画像出力装置。
  3. 前記画像選択制御部は、
    前記入力画像情報に含まれる、それぞれの前記入力画像が更新されたか否かを検出するための画像更新の情報に基づいて、前記第2の合成画像に含まれる更新頻度が低い複数の前記入力画像のいずれかの更新を検出する更新検出部、
    を備え、
    前記更新検出部の検出の結果、前記第2の合成画像に含まれるいずれの前記入力画像も更新されていない場合には、該第2の合成画像を前記入力画像の1つとして用いて、前記外部記憶領域から読み出した更新頻度が高い複数の前記入力画像とともに合成処理した前記第1の合成画像の生成を指示するとともに、前記第2の合成画像の生成を指示せず、
    該更新検出部の検出の結果、前記第2の合成画像に含まれるいずれかの前記入力画像が更新されている場合には、前記外部記憶領域から読み出した更新頻度が高い複数の前記入力画像と更新頻度が低い複数の前記入力画像とを合成処理した前記第1の合成画像の生成を指示するとともに、更新頻度が低い複数の前記入力画像のみを合成処理した前記第2の合成画像の生成を指示する、
    ことを特徴とする請求項2に記載の画像出力装置。
  4. 前記第1の合成処理部は、
    前記外部記憶領域から、前記画像選択制御部によって指示された複数の前記入力画像のそれぞれを読み出す画像読出部、
    を備え、
    前記第2の合成処理部は、
    前記画像読出部が読み出した複数の前記入力画像の内、前記画像選択制御部によって指示された複数の前記入力画像のそれぞれを合成処理した前記第2の合成画像を生成し、
    前記第2の合成処理部は、
    生成した前記第2の合成画像を前記外部記憶領域に記憶させる画像書込部、
    を備えることを特徴とする請求項1から請求項3のいずれか1の項に記載の画像出力装置。
  5. 前記第1の合成処理部が、前記第2の合成画像を前記入力画像の1つとして用いて前記第1の合成画像の生成する場合、
    前記画像読出部は、
    前記第2の合成画像を、複数の前記入力画像の1つとして前記外部記憶領域から読み出す、
    ことを特徴とする請求項4に記載の画像出力装置。
  6. 前記第1の合成処理部は、
    前記外部記憶領域から読み出す前記入力画像のそれぞれに対応した複数の前記画像読出部、
    を備え、
    前記第2の合成処理部は、
    複数の前記画像読出部のそれぞれが読み出したそれぞれの前記入力画像の内、前記画像選択制御部によって指示された複数の前記入力画像のそれぞれを合成処理した前記第2の合成画像を生成する、
    ことを特徴とする請求項5に記載の画像出力装置。
  7. 前記第2の合成処理部は、
    前記第2の合成画像に含まれる複数の前記入力画像のそれぞれの透明度情報に基づいて、該第2の合成画像の前記透明度情報を生成し、該生成した前記透明度情報を該生成した前記第2の合成画像とともに前記外部記憶領域に記憶させ、
    前記第1の合成処理部は、
    前記第1の合成画像に含まれる複数の前記入力画像のそれぞれの前記透明度情報を、該第1の合成画像の生成に用いる、
    ことを特徴とする請求項1から請求項6のいずれか1の項に記載の画像出力装置。
  8. 前記第2の合成処理部は、
    生成した前記第2の合成画像を圧縮した後に前記外部記憶領域に記憶させ、
    前記第1の合成処理部は、
    圧縮された前記第2の合成画像を伸張した後に、前記第1の合成画像の生成に用いる、
    ことを特徴とする請求項1から請求項7のいずれか1の項に記載の画像出力装置。
  9. 複数の入力画像が記憶された外部記憶領域から、指示された複数の前記入力画像を読み出し、該読み出した前記入力画像のそれぞれを重畳する合成処理によって表示用の第1の合成画像を生成して出力する第1の合成処理手順と、
    前記第1の合成画像に含まれる複数の前記入力画像の内、指示された複数の前記入力画像のそれぞれを重畳する合成処理によって合成用の第2の合成画像を生成して、前記外部記憶領域に記憶させる第2の合成処理手順と、
    入力された入力画像情報に基づいて選択した複数の前記入力画像が含まれる前記第2の合成画像の生成を前記第2の合成処理手順に指示するとともに、該入力画像情報に基づいて、前記第1の合成画像を生成する際に前記第2の合成画像を前記入力画像の1つとして用いるか否かを選択し、選択した前記入力画像のそれぞれが含まれる前記第1の合成画像の生成を前記第1の合成処理手順に指示する画像選択制御手順と、
    を含む、
    ことを特徴とする画像出力方法。
JP2013215739A 2013-10-16 2013-10-16 画像出力装置および画像出力方法 Expired - Fee Related JP6230366B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2013215739A JP6230366B2 (ja) 2013-10-16 2013-10-16 画像出力装置および画像出力方法
US14/512,616 US9531988B2 (en) 2013-10-16 2014-10-13 Synthesized image output apparatus and synthesized image output method capable of processing with lower power consumption

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013215739A JP6230366B2 (ja) 2013-10-16 2013-10-16 画像出力装置および画像出力方法

Publications (2)

Publication Number Publication Date
JP2015079103A true JP2015079103A (ja) 2015-04-23
JP6230366B2 JP6230366B2 (ja) 2017-11-15

Family

ID=52809348

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013215739A Expired - Fee Related JP6230366B2 (ja) 2013-10-16 2013-10-16 画像出力装置および画像出力方法

Country Status (2)

Country Link
US (1) US9531988B2 (ja)
JP (1) JP6230366B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109729274A (zh) * 2019-01-30 2019-05-07 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备及存储介质

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9374480B2 (en) 2014-08-08 2016-06-21 Kabushiki Kaisha Toshiba Image processing apparatus and system and method for transmitting an image
US10410398B2 (en) * 2015-02-20 2019-09-10 Qualcomm Incorporated Systems and methods for reducing memory bandwidth using low quality tiles
JP7144926B2 (ja) * 2017-09-26 2022-09-30 ソニーセミコンダクタソリューションズ株式会社 撮像制御装置、撮像装置、および、撮像制御装置の制御方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07181956A (ja) * 1993-12-24 1995-07-21 Canon Inc 画像表示方法及び装置
JP2010181573A (ja) * 2009-02-04 2010-08-19 Nec Corp 画像処理装置、情報処理装置、携帯端末装置及び画像処理方法
JP2012133178A (ja) * 2010-12-22 2012-07-12 Clarion Co Ltd 表示制御装置、表示レイヤ合成プログラム
JP2012168441A (ja) * 2011-02-16 2012-09-06 Renesas Electronics Corp データ処理装置
JP2013064952A (ja) * 2011-09-20 2013-04-11 Nec Casio Mobile Communications Ltd 情報保持装置、情報修正方法およびプログラム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4680660B2 (ja) 2004-05-17 2011-05-11 パナソニック株式会社 画像合成出力装置、画像合成表示装置、携帯通信機器、画像合成出力方法、画像合成出力用プログラム及び画像合成出力用記録媒体
GB2502986B (en) * 2012-06-12 2014-05-14 Supponor Oy Apparatus and method for image content replacement

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07181956A (ja) * 1993-12-24 1995-07-21 Canon Inc 画像表示方法及び装置
JP2010181573A (ja) * 2009-02-04 2010-08-19 Nec Corp 画像処理装置、情報処理装置、携帯端末装置及び画像処理方法
JP2012133178A (ja) * 2010-12-22 2012-07-12 Clarion Co Ltd 表示制御装置、表示レイヤ合成プログラム
JP2012168441A (ja) * 2011-02-16 2012-09-06 Renesas Electronics Corp データ処理装置
JP2013064952A (ja) * 2011-09-20 2013-04-11 Nec Casio Mobile Communications Ltd 情報保持装置、情報修正方法およびプログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109729274A (zh) * 2019-01-30 2019-05-07 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备及存储介质
CN109729274B (zh) * 2019-01-30 2021-03-09 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
US9531988B2 (en) 2016-12-27
JP6230366B2 (ja) 2017-11-15
US20150103208A1 (en) 2015-04-16

Similar Documents

Publication Publication Date Title
TWI559215B (zh) 顯示系統及其操作方法
JP2008167349A (ja) 画像表示制御装置
US8508610B2 (en) Video signal processing apparatus
JP6230366B2 (ja) 画像出力装置および画像出力方法
JP4263190B2 (ja) 映像合成回路
US20180270448A1 (en) Image processing system
JP6006083B2 (ja) 撮像装置および撮像方法
JP6325886B2 (ja) 表示処理装置および撮像装置
US20190297250A1 (en) Image pickup apparatus of which display start timing and display quality are selectable, method of controlling the same
US20140168472A1 (en) Image pickup device
JP6542000B2 (ja) 半導体装置、表示システムおよび表示方法
US8531350B2 (en) Display control apparatus, and setting method and program for display control apparatus
JP2010010778A (ja) 映像処理装置及び映像処理装置の制御方法
JP5846890B2 (ja) 映像信号処理装置
JP4525382B2 (ja) 表示装置及び撮像装置
WO2018079081A1 (ja) 表示制御装置、電子機器、表示制御装置の制御方法、および、プログラム
JP2002171515A (ja) 操作履歴装置
JP2006253828A (ja) デジタルカメラ
US7536367B2 (en) Image signal processor
JP2006323102A (ja) 画像データ再生装置及び画像データ再生方法
JP2018067893A (ja) 画像処理装置及び画像処理方法
JP2008035552A (ja) 撮像装置および撮像方法
JP2010004308A (ja) 撮像装置
JP2018195891A (ja) 撮像装置
JP2005086301A (ja) 画像信号処理回路及び携帯端末装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160627

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170207

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170404

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20170405

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20171003

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20171017

R151 Written notification of patent or utility model registration

Ref document number: 6230366

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees