JP2007267020A - 移動体通信端末、および、プログラム - Google Patents

移動体通信端末、および、プログラム Download PDF

Info

Publication number
JP2007267020A
JP2007267020A JP2006089435A JP2006089435A JP2007267020A JP 2007267020 A JP2007267020 A JP 2007267020A JP 2006089435 A JP2006089435 A JP 2006089435A JP 2006089435 A JP2006089435 A JP 2006089435A JP 2007267020 A JP2007267020 A JP 2007267020A
Authority
JP
Japan
Prior art keywords
imaging
bit rate
frame rate
encoding
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2006089435A
Other languages
English (en)
Other versions
JP4778343B2 (ja
JP2007267020A5 (ja
Inventor
Koji Idota
浩司 井戸田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Hitachi Mobile Communications Co Ltd
Original Assignee
Casio Hitachi Mobile Communications Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Hitachi Mobile Communications Co Ltd filed Critical Casio Hitachi Mobile Communications Co Ltd
Priority to JP2006089435A priority Critical patent/JP4778343B2/ja
Publication of JP2007267020A publication Critical patent/JP2007267020A/ja
Publication of JP2007267020A5 publication Critical patent/JP2007267020A5/ja
Application granted granted Critical
Publication of JP4778343B2 publication Critical patent/JP4778343B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Telephone Function (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

【課題】良好な画質の動画撮像を実現する。
【解決手段】符号化パラメータ格納領域151は、符号化部25の符号化に用いられる複数のパラメータセットを格納する他、符号化におけるビットレートとフレームレートの目標値を格納する。撮像情報格納領域152には、カメラ機能部20による動画撮像で得られた動画像データにおけるビットレートとフレームレートの平均値や撮像毎の時間情報が記録される。制御部110は、前回の撮像からの時間間隔に基づいて、今回の動画撮像が前回の動画撮像の撮り直しであるか否かを判別し、撮り直しである場合、前回の撮像におけるビットレートとフレームレートの平均値と、それぞれの目標値との比率を算出する。制御部110は、算出した比率に基づいて、ビットレート及び/又はフレームレートが最適となる符号化パラメータセットを符号化パラメータ格納領域151から選択して符号化部25に設定する。
【選択図】図1

Description

本発明は、移動体通信端末、および、プログラムに関し、特に、良好な動画撮像に好適な移動体通信端末、および、プログラムに関する。
動画像データの符号化技術の進展により、携帯型の小型装置による動画像の記録再生が実現されている。このような動画像の再生においては、符号化する際のビットレートやフレームレートが画質に影響する。このため、動画像を符号化する際に、符号化パラメータを制御することで、再生品質を向上させる手法が提案されている(例えば、特許文献1)。
特許文献1の手法では、記録するコンテンツの種類に応じた適切なビットレートとなるように符号化パラメータを制御することで、コンテンツに応じた良好な再生品質となる符号化をおこなっている。
特開2003−32629号公報
特許文献1の手法を用いる場合、例えば、テレビ番組などといった、その種類が予め明確となっているコンテンツであれば符号化パラメータを固定的に選択することができるが、カメラによる撮像によって動画像を記録する場合、被写体や光源などといった撮影条件が撮影毎に異なるため、最適な符号化パラメータを予め設定することができない。よって、カメラによる動画撮影などには特許文献1の手法を適用することができない。
近時においては、携帯電話などの移動体通信端末にカメラ機能を備えているものが一般的になっており、スチル撮影のみならず動画撮影できるものも多い。このような動画撮影機能を有する移動体通信端末においては、端末間での動画像ファイルを送受信する場合もあるため、互換性のあるファイル形式で記録する必要がある。このため、動画像の品質に影響する撮影条件がどのような場合であっても、一定の規格にあった動画像データを記録する必要がある。
また、動画像符号化においては、ビットレートがその再生品質に影響するが、一般的に、情報符号量の多い撮像画像データ(例えば、高分解能の映像や動きの速い映像など)のビットレートは高くなり、情報符号量の少ないデータのビットレートは低くなる。よって、情報符号量が多くなるとフレームレートを低下させて一定のビットレートを維持することが従来からおこなわれている。
このように、ビットレートとフレームレートとは二律背反の関係あるため、好適なビットレートとするとフレームレートが低下し、コマ落ちなどが発生してしまう。特に、一定ではない撮影条件のもとでおこなう動画撮影においては、撮像画像の情報符号量が変化することが多く、フレームレートの低下によるコマ落ちなどで、全体としての再生品質が低下してしまうことがあった。加えて、通信によりファイル送受信をおこなう移動体通信端末においては、データ量(情報符号量)が制限されることがあり、フレームレートの大幅な低下によって全体としての画質が著しく低下してしまうことがあった。
本発明は、上記実状に鑑みてなされたものであり、動画撮像時にフレームレートとビットレートの双方を最適化して良好な動画像データを得ることのできる移動体通信端末等を提供することを目的とする。
上記目的を達成するため、本発明の第1の観点に係る移動体通信端末は、
動画撮像機能を有する移動体通信端末であって、
前記動画撮像機能の符号化に用いられる複数のパラメータセットを格納するパラメータ格納手段と、
前記符号化におけるビットレートとフレームレートの目標値を格納する目標値格納手段と、
前記動画撮像機能で得られた動画像データにおけるビットレートとフレームレートの実測値を記録する実測値記録手段と、
今回の動画撮像が前回の動画撮像の撮り直しであるか否かを判別する撮り直し判別手段と、
前記撮り直し判別手段が撮り直しと判別した場合、前記実測値記録手段が記録した前回の撮像におけるビットレートとフレームレートの実測値と、前記目標値格納手段に格納されているビットレートとフレームレートの目標値との比率をそれぞれ算出する比率算出手段と、
前記比率算出手段が算出した比率に基づいて、前記パラメータ格納手段から符号化パラメータセットを選択する符号化パラメータ選択手段と、
を備えることを特徴とする。
上記移動体通信端末は、
前記動画撮像機能による撮像毎の時間情報を記録する時間情報記録手段をさらに備えていることが望ましく、この場合、
前記撮り直し判別手段は、動画撮像が実行されたことを契機に、前記時間情報記録手段に記録された時間情報に基づいて前回の撮像からの時間間隔を算出し、該算出した時間間隔に基づいて撮り直しであるか否かを判別することが望ましい。
上記移動体通信端末において、
前記符号化パラメータ選択手段は、
前記比率算出手段が算出する比率と所定の閾値との比較に基づき、ビットレートまたはフレームレートのいずれかの実測値が目標値よりも高い場合、ビットレートまたはフレームレートを低下させる符号化パラメータセットを選択し、
ビットレートおよびフレームレートのいずれの実測値も目標値より低い場合、ビットレートまたはフレームレートを向上させる符号化パラメータセットを選択することが望ましい。
上記移動体通信端末は、
前記実測値記録手段は、撮像毎のビットレートとフレームレートの平均値を算出する平均値算出手段をさらに備えていることが望ましく、この場合、
前記平均値算出手段が算出したビットレートとフレームレートの平均値を前記実測値として記録することが望ましい。
上記目的を達成するため、本発明の第2の観点にかかるプログラムは、
動画撮像機能を有する移動体通信端末を制御するコンピュータに、
撮像毎のビットレートとフレームレートの平均値を算出する機能と、
前回の撮像と今回の撮像との時間間隔に基づいて、今回の撮像が前回の撮像の撮り直しであるか否かを判別する機能と、
撮り直しである場合、前回の撮像におけるビットレートとフレームレートの平均値と、予め設定されているビットレートとフレームレートの目標値との比率をそれぞれ算出する機能と、
算出した比率に基づいて、ビットレートまたはフレームレートのいずれかが目標値よりも高い場合、ビットレートまたはフレームレートを低下させる符号化パラメータを設定する機能と、
算出した比率に基づいて、ビットレートおよびフレームレートのいずれもが目標値よりも低い場合、ビットレートまたはフレームレートを向上させる符号化パラメータを設定する機能と、
を実現させることを特徴とする。
本発明によれば、ビットレートとフレームレートの双方を最適化して良好な画質を得ることができる。
以下、本発明にかかる実施形態を、図面を参照して説明する。まず、本発明の実施形態にかかる移動体通信端末について説明する。本実施形態にかかる移動体通信端末1は、例えば、携帯電話やPHS(Personal Handyphone System)等といった移動体通信用の端末装置(電話機)であって、基地局(図示せず)を介して音声通話や電子メールの送受信などの通信機能を基本機能として有するものである。本実施形態では、このような基本機能に加え、CCD(Charge Coupled Device:電荷結合素子)等の撮像素子を用いて静止画像や動画像を撮影するカメラ機能を有しているものとする。
このような移動体通信端末1の構成を、図1を参照して説明する。図1は、本発明の実施形態に係る移動体通信端末1の構成例を示すブロック図である。図示するように、本実施形態にかかる移動体通信端末1は、通信機能部10、カメラ機能部20、制御部110、メモリカードインタフェース(I/F)120、操作部130、表示部140、記憶部150、などから構成されている。
通信機能部10は、移動体通信端末1の基本機能である通信機能にかかる動作をおこなうものであり、無線部11、アンテナ12、通信制御部13、音声処理部14、マイクロフォン15、スピーカ16、などから構成される。
無線部11は、例えば、CDMA(Code Division Multiple Access:符号分割多重接続)方式などの通信方式を用いた通信装置などで構成され、当該通信方式に対応したアンテナ12による無線送受信をおこなうことで、近傍の基地局と無線通信をおこなう。すなわち、無線部11の動作により、移動体通信網(セルラー網)への無線アクセスが実現される。この無線アクセスにより、移動体通信端末1の基本機能である音声通話機能やデータ通信機能などの通信機能が実現される。
通信制御部13は、例えば、所定のICなどから構成され、制御部110との協働によって通信機能部10の各部を制御することで、移動体通信端末1の通信機能にかかる動作を制御する。
音声処理部14は、マイクロフォン15から入力される音声に対してA/D変換処理や符号化処理などをおこなってデジタル音声データを生成する。生成された音声データは、通信制御部13を介して無線部11から送信されることで、音声通話における送話が実現される。音声処理部14はまた、無線部11が受信したデジタル音声信号に対してデコード処理やアナログ変換をおこない、スピーカ16から音声出力する。これにより、スピーカ16からは通話相手方の音声などが出力される。
本実施形態では、音声処理部14によって、カメラ機能部20の動画像撮影機能にかかる音声入出力がおこなわれるものとする。この場合、音声処理部14は、動画像撮影時にマイクロフォン15が集音した音声をデジタル音声データに変換して制御部110に入力する。また、動画像の再生時には、記録されたデジタル音声データをアナログ音声信号に変換してスピーカ16から出力する。
カメラ機能部20は、移動体通信端末1のカメラ機能にかかる動作をおこなうものであり、レンズ光学系OP、光学系駆動部21、撮像素子22、ADC(Analog-Digital Converter:アナログ−デジタル変換器)23、画像信号処理部24、符号化部25、画像バッファ26、などから構成される。
レンズ光学系OPは、撮像レンズや、ピント合せ(合焦)を行うフォーカスレンズ、撮像素子22に入射する被写体像の光量を調整する絞り機構等を含んで構成されている。レンズ光学系OPによって集光された被写体の光学像(被写体像)は、撮像素子22上に結像される。
光学系駆動部21は、例えば、モータやギアなどの駆動機構から構成され、制御部110の制御により動作することで、レンズ光学系OPの動作部分(フォーカスレンズや絞り機構など)を駆動する。
撮像素子22は、例えば、CCD(Charge Coupled Device)などから構成され、レンズ光学系OPを介して結像された被写体像を、その明るさに応じた大きさの電荷に変換(光電変換)して蓄積するものである。そして、撮像素子22は、例えば、タイミングジェネレータやV(Vertical)ドライバなどによって走査駆動されることで、蓄積した電荷を撮像信号(アナログ信号)として出力する。
撮像素子22は、例えば、二重相関サンプリング(CDS:Correlation Doubleness Sampling)回路などのノイズフィルタ回路やAGC(Automatic Gain Control)増幅器などの増幅回路を備え、出力したアナログ撮像信号に対してノイズ除去や増幅をおこなってADC23に出力する。
ADC23は、撮像素子22から出力されたアナログ撮像信号をデジタル方式の撮像信号に変換して画像信号処理部24に出力する。
画像信号処理部24は、ADC23から出力された撮像信号に所定の処理をおこなうことで画像信号を生成する。このような画像信号処理部24は、例えば、カラープロセス回路やDMA(Direct Memory Access)コントローラなどを含んだ画像処理用ICチップなどから構成される。カラープロセス回路は、ADC23から供給されるデジタル方式の撮像信号に対しカラープロセス処理をおこなうことで、例えば、YUVデータを生成する。そして、画像信号処理部24は、DMAコントローラを用いて、カラープロセス回路で生成したYUVデータを示すYUV信号などの画像信号を画像バッファ26のDRAMにDMA転送する。
符号化部25は、例えば、符号化処理用のICなどから構成され、制御部110にて設定された符号化パラメータに従い、DRAMにDMA転送されたYUVデータに対し、例えば、MPEG(Motion Picture Experts Group)4方式などといった動画像符号化方式に基づく符号化(エンコード)処理を施すことにより、撮像された動画像の符号化データを生成する。また、符号化部25は、符号化時の単位時間(例えば、1秒間)あたりのビット数(すなわち、ビットレートの実測値。以下、「符号化サイズBS」とする)およびフレーム数(すなわち、フレームレートの実測値。以下、「フレームサイズFS」とする)を示す情報を制御部110に随時出力する。
画像バッファ26は、例えば、DRAM(Dynamic Random Access Memory)やVRAM(Video Random Access Memory)などから構成されている。DRAMは、画像信号処理部24からDMA転送されるYUVデータを保持する他、符号化部25が符号化処理などをおこなうときのワークメモリとして用いられるものである。
また、VRAMは、表示部140に画像を表示する際のワークメモリとして用いられるものである。具体的には、VRAMには、DMAコントローラからDRAMにDMA転送されたYUVデータや、符号化部25にて復号化されたYUVデータなどが書き込まれる。このVRAMに書き込まれたYUVデータは、制御部110によって定期的に読み出され、ビデオ信号に変換される。そして、このビデオ信号が表示部140に供給されることにより、スルー画像や再生画像などが表示部140に表示される。
本実施形態では、画像信号処理部24および符号化部25を専用ハードウェアによって構成するものとしたが、これらの構成はソフトウェア処理によって実現されてもよい。本実施形態にかかる移動体通信端末1の場合では、制御部110がプログラムを実行することによって、画像信号処理部24及び/又は符号化部25の機能を実現するようにしてもよい。
制御部110は、例えば、CPU(Central Processing Unit:中央演算処理装置)やRAM(Random Access Memory)などから構成されており、移動体通信端末1の各部の動作を制御する。本実施形態では、制御部110が所定の動作プログラムを実行することで、後述する各処理が実現される。なお、RAMは、CPUがプログラムを実行する際、ワークメモリとして用いられるものである。
メモリカードI/F120は、所定のメモリカードと制御部110とを接続するインタフェースであり、メモリカードを着脱可能に接続するコネクタなどから構成される。コネクタには、制御部110と接続された端子が構成されており、コネクタの端子とメモリカードの端子とが接触することで、メモリカードと制御部110とが電気的に接続される。
メモリカード121は、メモリカードI/F120に着脱可能なメモリカードであり、種々のデジタルデータを記憶する。本実施形態では、カメラ機能部20の撮像動作によって生成された動画像データなどを格納する記憶媒体として用いられるものとする。
操作部130は、例えば十字カーソルキーや、数字や文字を入力するための英数字キー、機能などを指定するためのボタン等から構成され、移動体通信端末1のユーザによって操作されるものである。
表示部140は、例えば、液晶表示装置(LCD:Liquid Crystal Display)などから構成され、種々の画像を表示出力する。本実施形態では、画像バッファ26から入力されるビデオ信号などに基づいて、カメラ機能部20によって取得されたスルー画像や再生画像などを表示出力する。
記憶部150は、例えば、ROM(Read Only Memory)やフラッシュメモリなどから構成され、制御部110やカメラ機能部20などがおこなう処理に必要なデータやこれらによる処理結果などを記憶する。また、記憶部150は、制御部110が実行するプログラムを格納する。本実施形態では、図1に示すように、符号化パラメータ格納領域151、撮像情報格納領域152、プログラム格納領域153、などの記憶領域が記憶部150に用意され、各記憶領域に情報が記録される。
符号化パラメータ格納領域151は、カメラ機能部20の動画撮像機能で動画像を撮像した際に符号化部25がおこなう符号化に用いられるパラメータを格納する。この場合、符号化パラメータ格納領域151には、図2(a)に示すような符号化パラメータ表が格納され、カメラ機能部20や符号化部25の性能などに基づいて予め規定されたパラメータが記録される。
本実施形態では、カメラ機能部20の動画撮像機能によって、異なる画像サイズの動画像撮像が可能であるものとする。本実施形態では、例えば、画像サイズが比較的大きいQVGA(Quarter Video Graphics Array)サイズ(320×240ピクセル)と、画像サイズが比較的小さいQCIF(Quarter Common Intermediate Format)サイズ(176×144ピクセル)およびSUB-QCIFサイズ(128×96ピクセル)の画像サイズで動画像撮像が可能であるものとする。本実施形態では、通常の動画撮影にはQVGAサイズで撮像し、移動体通信端末1の通信機能によって実現される電子メールの送信時に動画像を添付する場合には、QVGAサイズよりもデータ量(画素数)の少ないQCIFまたはSUB-QCIFサイズで撮像する。
よって、符号化パラメータ格納領域151に格納される符号化パラメータ表には、画像サイズの大小(ここでは、QVGAと、QCIFおよびSUB-QCIFの2分類とする)に応じて、動画像の符号化に用いられるパラメータが記録される。すなわち、図2(a)に示すように、符号化パラメータ表には、目標ビットレート、目標フレームレート、複数種類に符号化パラメータ、などが画像サイズ分類毎に記録されている。
目標ビットレートは、当該画像サイズで撮像した場合に、十分に良好な画質となるビットレート値(kbps:キロビット毎秒)である。目標フレームレートは、当該画像サイズ撮像した場合に、十分に良好な画質となるフレームレート値(fps:フレーム毎秒)である。また、符号化パラメータは、符号化部25における符号化処理に用いられるパラメータであり、例えば、量子化スケールや空間フィルタなどのパラメータであり、特に、符号化された動画像データのビットレートとフレームレートに影響するパラメータであるものとする。
ここで、本実施形態では、符号化パラメータの設定値として、デフォルト、高画質用、低画質用、の3種類のセットが用意されるものとする。デフォルトのセットに登録されているパラメータは、動画像撮像をおこなう際にデフォルトとして設定される符号化パラメータのセット(以下、「セットA」とする)である。高画質用のセットは、より高いビットレート及び/又はフレームレートとなる符号化パラメータのセット(以下、「セットB」とする)である。また、低画質用のセットは、より低いビットレート及び/又はフレームレートとなる符号化パラメータのセット(以下、「セットC」とする)である。
撮像情報格納領域152は、カメラ機能部20の動画撮像機能でおこなわれた動画撮像に関する種々の情報が格納される。撮像情報格納領域152に記録される情報の例を図2(b)に示す。図示するように、撮像情報格納領域152には、実行された動画撮像毎にレコードが作成され、各レコードには、当該動画撮像の開始日時と終了日時、当該動画撮像で選択された画像サイズ、当該動画撮像で用いられた符号化パラメータのセット、当該動画撮像で得られた動画像データにおけるビットレートの平均値(平均ビットレート)およびフレームレートの平均値(平均フレームレート)、などを示す情報が記録される。
プログラム格納領域153は、制御部110が実行する動作プログラムを格納する。プログラム格納領域153に格納されているプログラムを実行することで、制御部110は、図3の機能ブロック図に示すような構成として機能して、後述する各処理を実行する。制御部110は、移動体通信端末1のカメラ機能部20によって動画撮像をおこなう場合に所定のプログラムを実行することで、撮像処理部111、符号化パラメータ設定部112、入出力処理部113、ビットレート演算部114、フレームレート演算部115、符号化サイズレジスタ116、フレームサイズレジスタ117、などとして機能する。
撮像処理部111は、移動体通信端末1の動画撮像機能にかかる全体的な処理をおこなう。例えば、操作部130からの入力に基づいて、カメラ機能部20の各部を制御することで、動画撮像の開始や終了を制御する他、オートフォーカス操作やズーム操作などに基づく操作部130からの入力に応じて光学系駆動部21を制御する。また、撮像の開始および終了日時情報などを撮像情報格納領域152に格納する。
符号化パラメータ設定部112は、動画撮像時に符号化部25がおこなう符号化処理に用いる符号化パラメータを設定する。すなわち、符号化部25が用いるべきパラメータセットを符号化パラメータ格納領域151の符号化パラメータ表から選択して符号化部25に指示する。本実施形態では、ビットレート演算部114やフレームレート演算部115による演算結果に基づいて、符号化パラメータセットを選択する。
入出力処理部113は、動画撮像時の入出力にかかる処理をおこなう。例えば、表示部140を制御することで、カメラ機能部20の画像バッファ26に格納された動画像データを表示出力させる他、音声処理部14を制御して動画撮像時の音声入力をおこなう。その他、撮像した動画のデータのメモリカード121への記録をおこなう。
ビットレート演算部114は、カメラ機能部20による動画撮像において、符号化部25がおこなう符号化時のビットレートに関する演算をおこなう。本実施形態では、撮像により得られた動画像データの平均ビットレートと、その撮像条件で設定されている目標ビットレートとの比率を算出する他、符号化部25から出力された符号化サイズBSに基づいて、1回の撮像で得られた動画像データにおけるビットレートの平均(以下、「平均ビットレートBa」とする)を算出して撮像情報格納領域152に格納する。
フレームレート演算部115は、カメラ機能部20による動画撮像において、符号化部25がおこなう符号化時のフレームレートに関する演算をおこなう。本実施形態では、撮像により得られた動画像データの平均フレームレートと、その撮像条件で設定されている目標フレームレートとの比率を算出する他、符号化部25から出力されたフレームサイズFSに基づいて、1回の撮像で得られた動画像データにおけるフレームレートの平均(以下、「平均フレームレートFa」とする)を算出して撮像情報格納領域152に格納する。
符号化サイズレジスタ116は、例えば、制御部110を構成するCPUのレジスタ、もしくは、RAM上に設定される記憶領域であり、1回の撮像動作中に符号化部25が生成した符号化データのビット数である符号化サイズBSの値などを一時的に保持する。
フレームサイズレジスタ117は、例えば、制御部110を構成するCPUのレジスタ、もしくは、RAM上に設定される記憶領域であり、1回の撮像動作中に符号化部25が生成した符号化データのフレーム数であるフレームサイズFSの値(すなわち、フレームレートの実測値)などを一時的に保持する。
本実施形態では、制御部110がプログラムを実行することによって、上記の機能構成が実現されるものとするが、これらの機能は、例えば、ASIC(Application Specific Integrated Circuit:特定用途向け集積回路)などのハードウェアによって実現されてもよい。
また、上記各構成は本発明を実現するために必要な構成であり、移動体通信端末の基本機能や付加機能のために必要なその他の構成は必要に応じて備えられているものとする。
このような構成を有する移動体通信端末1の動作を以下説明する。本実施形態では、移動体通信端末1の撮像機能のうち、動画撮像機能を用いて動画撮影する場合の移動体通信端末1の動作例を示す。図4は、制御部110などによって実行される動画撮像処理の処理内容を示すフローチャートである。この動画撮像処理は、例えば、ユーザによる操作部130の操作による入力信号に基づいて、移動体通信端末1の動画撮像機能の実行が指示されたことなどを契機に開始される。なお、動画撮像機能の実行が指示された際、撮像する動画の画像サイズがユーザによって指定されているものとする。
処理が開始されると、まず、撮像処理部111は、例えば、移動体通信端末1が有する所定のカレンダ機能などに基づいて、現在日時を示す情報を取得する(ステップS101)。
続いて、撮像処理部111は、記憶部150の撮像情報格納領域152にアクセスし、前回の撮像についての情報が記録されている最終レコードから、前回の撮像終了日時を示す情報を取得する(ステップS102)。
撮像処理部111は、ステップS101で取得した現在日時とステップS102で取得した前回終了日時との差分を演算することで、前回の撮像終了時から今回の撮像までの時間間隔(撮像間隔)を求め、その値が所定値以上であるか否かを判別する(ステップS103)。本実施形態では、この撮像間隔に基づいて、前回撮像した動画の撮り直しがおこなわれているか否かを判別するものとする。ここでは、前回の撮像画像の画質がユーザにとって十分でない場合に撮り直しがおこなわれるものと想定する。よって、ステップS103において、求められた時間間隔と比較される所定値は、例えば、前回の撮像画像を再生してその画質をチェックし、かつ、撮り直しの動作がおこなえるのに十分な時間であるものとする。よって、ステップS103では、例えば、前回の撮像データの再生所要時間(すなわち、前回の撮像開始時間と撮像終了時間の差分)に所定の準備時間(例えば、5〜10秒程度)を加えた時間を所定値とし、求めた時間間隔と比較する。
ここで、求めた時間間隔が所定値以上である場合(ステップS103:Yes)は、撮り直しに必要十分な時間以上が経過した後に次の動画撮像がおこなわれていることになる。この場合、本実施形態では、前回の撮像の撮り直しではないとみなす。撮像処理部111は、この場合、撮像間隔が所定値以上である旨を符号化パラメータ設定部112に通知する。
この場合、符号化パラメータ設定部112は、符号化パラメータ格納領域151の符号化パラメータ表にアクセスし、この動画撮像で指定されている画像サイズに対応したデフォルトのパラメータセット(セットA)を選択し(ステップS104)、符号化部25に設定する。
符号化パラメータ設定部112は、選択した符号化パラメータセットを符号化部25に設定すると、その旨を撮像処理部111に通知する。符号化パラメータ設定部112からの通知に応じて、撮像処理部111は、カメラ機能部20において撮像動作をおこなう光学系駆動部21、撮像素子22、ADC23、画像信号処理部24など(以下、「撮像動作部」とする)を設定された符号化パラメータセットに基づいて制御し(ステップS105)、光学レンズ系OPへの入射光に基づいた被写体像を示すスルー画像の取得をおこなう。
この場合、カメラ機能部20の撮像動作部の動作により、スルー画像を構成する画像データが順次画像バッファ26に展開される。このとき、撮像処理部111からの指示に基づいて、入出力処理部113が表示部140を制御することで、画像バッファ26に展開されたスルー画像データが順次表示部140から表示出力される(ステップS106)。
移動体通信端末1のユーザは、このようなスルー画像に基づいて構図などを決定すると、操作部130を操作して撮影開始(録画開始)を指示する。この場合に操作部130から入力される入力信号に基づいて、撮像処理部111が撮影開始指示の入力を判別すると(ステップS107:Yes)、撮像処理部111は、撮像情報格納領域152にアクセスして新規レコードを作成するとともに、撮影開始が指示された時点の日時情報をカレンダ機能などから取得し、撮影開始日時として作成したレコードに記録する(ステップS108)。このとき、撮像処理部111は、ステップS102で符号化パラメータ設定部112が設定した符号化パラメータセットを示す情報とこの撮像で指定された画像サイズを示す情報を当該レコードに記録する。
同時に撮像処理部111は、符号化部25に符号化開始を指示する。撮像処理部111からの指示に応じて、符号化部25は、画像信号処理部24から順次入力される画像信号の符号化を開始する(ステップS109)。この場合、符号化部25は、ステップS104で符号化パラメータ設定部112が設定したパラメータセットのパラメータを用いて符号化を開始する。
符号化部25は、符号化をおこなっている間、符号化サイズBSを符号化サイズレジスタ116に出力するとともに、フレームサイズFSをフレームサイズレジスタ117に出力する(ステップS110)。ここでは、符号化サイズBSおよびフレームサイズFSの単位時間(例えば、1秒間)毎にレジスタに出力するものとする。符号化サイズレジスタ116およびフレームサイズレジスタ117において、出力された符号化サイズBSとフレームサイズFSがそれぞれ累積加算される。
符号化部25はまた、符号化されたデータを順次画像バッファ26に出力する(ステップS111)。この場合、画像バッファ26に出力された符号化データを入出力処理部113が順次取得し、例えば、メモリカードI/F120を介してメモリカード121に出力することで、撮像された動画を示す符号化データが順次メモリカード121に保存される。
このような撮像画像信号の符号化、符号化サイズBSおよびフレームサイズFSのレジスタ格納、および、符号化データの出力の各処理(ステップS109〜S111)は、ユーザによる操作部130の操作に基づいた所定の撮影終了指示が入力されるまで繰り返し実行される(ステップS112:No)。
撮影終了指示が入力されると(ステップS112:Yes)、撮像処理部111は、ステップS109から開始され、ステップS111までの各処理が繰り返される撮像(録画)動作を終了させる処理をおこなう(ステップS113)。ここでは、符号化部25に符号化動作の終了を指示するとともに、その旨を入出力処理部113に通知する。入出力処理部113は、撮像処理部111からの通知に応じて、符号化データの出力を終了する。このような動作により符号化動作が終了し、ステップS107で開始が指示された動画撮像(録画)が終了する。
撮像処理部111はまた、撮影終了指示の入力日時を示す情報をカレンダ機能などから取得し、ステップS108で作成した撮像情報格納領域152のレコードに撮像終了日時情報として記録する。
そして、次に撮像処理部111は、ステップS113で終了した撮像で得られた動画像データについての平均ビットレートBaの算出をビットレート演算部114に指示するとともに、平均フレームレートFaの算出をフレームレート演算部115に指示する。ビットレート演算部114およびフレームレート演算部115は、撮像処理部111からの指示に応じてそれぞれ演算動作を開始する。ここではまず、平均ビットレートBaを算出するための平均ビットレート算出処理が、撮像処理部111とビットレート演算部114の協働によって実行される(ステップS200)。図5(a)は、平均ビットレート算出処理の処理内容を示すフローチャートである。
処理が開始されると、まず、撮像処理部111が、対象となる動画像データの撮像時間RTを算出する(ステップS201)。ここでは、ステップS108で撮像情報格納領域152に記録した撮像開始日時と、ステップS113で撮像情報格納領域152に記録した撮像終了日時との差分を演算することで撮像時間RTを算出する。
撮像時間RTを算出すると、撮像処理部111は、算出した撮像時間RTをビットレート演算部114およびフレームレート演算部115に通知する。この場合、ビットレート演算部114は、符号化サイズレジスタ116にアクセスし、今回の撮像において符号化部25が順次出力した単位時間毎の符号化サイズBSを合算した、当該撮像時間全域にわたる符号化サイズBSの合計値(以下、「符号化サイズBS’」とする)を取得する(ステップS202)。
次にビットレート演算部114は、ステップS201で算出された撮像時間RTと、ステップS202で算出した符号化サイズBS’とを用いて、今回の撮像で得られた動画像データの平均ビットレートBaを算出する(ステップS203)。ここでは、符号化サイズBS’を撮像時間RTで除算することで、平均ビットレートBaを求める。
平均ビットレートBaを算出すると、ビットレート演算部114は、撮像情報格納領域152にアクセスし、今回の撮像についての撮像情報が記録される最終レコードに、算出した平均ビットレートBaを格納して(ステップS204)、図4に示す動画撮像処理のフローに戻る。
動画撮像処理では、平均フレームレートFaを算出するための平均フレームレート算出処理が、撮像処理部111とフレームレート演算部115の協働によって実行される(ステップS300)。図5(b)は、平均フレームレート算出処理の処理内容を示すフローチャートである。
処理が開始されると、まず、フレームレート演算部115は、フレームサイズレジスタ117にアクセスし、今回の撮像において符号化部25が順次出力した単位時間毎のフレームサイズFSを合算した当該撮像時間全域にわたるフレームサイズFSの合計値(以下、「フレームサイズFS’」とする)を取得する(ステップS301)。
次にフレームレート演算部115は、すでに撮像処理部111から通知された撮像時間RTと、ステップS301で算出したフレームサイズFS’とを用いて、今回の撮像で得られた動画像データの平均フレームレートFaを算出する(ステップS302)。ここでは、フレームサイズFS’を撮像時間RTで除算することで、平均フレームレートFaを求める。
平均フレームレートFaを算出すると、フレームレート演算部115は、撮像情報格納領域152にアクセスし、今回の撮像についての撮像情報が記録される最終レコードに、算出した平均フレームレートFaを格納して(ステップS303)、図4に示す動画撮像処理のフローに戻る。
動画撮像処理のフローでは、上述したステップS300における平均フレームレート算出処理の終了とともに処理が終了される。すなわち、前回の撮像から所定時間以上の間隔の後に今回の撮像がおこなわれた場合は、デフォルトの符号化パラメータセットを用いて撮像された動画像の符号化がおこなわれることになる。
ここで、上述したステップS103の処理における判別結果がNoの場合の説明に戻り、前回の撮像終了から所定時間未満の間隔で今回の撮像がおこなわれた場合の処理を以下説明する。ここでは、前回の撮像で得られた動画の撮像品質が良好でないため、ユーザがすぐさま撮り直しをおこなった場合を想定する。このような、撮像間隔が所定値未満となる場合(ステップS103:No)、本実施形態では、撮像品質を向上させる符号化パラメータを設定するための符号化パラメータ設定処理が実行される(ステップS400)。図6は、符号化パラメータ設定処理の処理内容を示すフローチャートである。
処理が開始されると、まず、符号化パラメータ設定部112は、撮像情報格納領域152にアクセスし、前回の撮像についての情報が記録されている最終レコードから、平均ビットレートBaを示す情報を取得する(ステップS401)。
次に符号化パラメータ設定部112は、同一のレコードを参照し、前回の撮像で指定された画像サイズがいずれであるかを認識する。そして、符号化パラメータ格納領域151の符号化パラメータ表にアクセスし、前回の撮像で指定された画像サイズに対応づけられている目標ビットレート(以下、「目標ビットレートBt」とする)を示す情報を取得する(ステップS402)。
前回の撮像についての平均ビットレートBaおよび目標ビットレートBtを取得すると、符号化パラメータ設定部112は、目標ビットレートBtに対する平均ビットレートBaの比率(以下、「ビットレート比率Rb」とする)を算出する(ステップS403)。ここでは、目標ビットレートBtと平均ビットレートBaとの差分を目標ビットレートで除算することで、ビットレート比率Rbを算出する。
ビットレートについての比率Rbを算出すると、符号化パラメータ設定部112は、撮像情報格納領域152にアクセスし、ステップS401で平均ビットレートBaを取得したレコードから、前回の撮像における平均フレームレートFaを示す情報を取得する(ステップS404)。
次に符号化パラメータ設定部112は、符号化パラメータ格納領域151にアクセスし、ステップS402で目標ビットレートBtを取得したレコードに対応づけられている目標フレームレート(以下、「目標フレームレートFt」とする)を示す情報を取得する(ステップS405)。
前回の撮像についての平均フレームレートFaおよび目標フレームレートFtを取得すると、符号化パラメータ設定部112は、目標フレームレートFtに対する平均フレームレートFaの比率(以下、「フレームレート比率Rf」とする)を算出する(ステップS406)。ここでは、目標フレームレートFtと平均フレームレートFaとの差分を目標フレームレートで除算することで、フレームレート比率Rfを算出する。
このようにして、前回の撮像におけるビットレート比率Rbとフレームレート比率Rfを算出すると、符号化パラメータ設定部112は、ビットレートについて、その比率が一定の条件を満たしているか否かを判別する。上述したように、目標ビットレートBtは、撮像画像の画質が十分に良好となるために必要なビットレートであるため、平均ビットレートBaが目標ビットレートBtにより近い方が画質的に良好であるといえる。
一方、平均ビットレートBaが目標ビットレートBtより上回る場合、ビットレートの観点のみからみると高画質であるといえるが、符号化データのデータ量が多くなるため、フレームレートの低下を招く場合がある。すなわち、ビットレートとフレームレートとは二律背反の関係にあるので、ビットレートが必要以上に高いとフレームレートに影響し、コマ落ちなどが発生して全体としては良好な画質とはいえない。
よって、符号化パラメータ設定部112は、このような条件に基づいて設定される閾値と、算出したビットレート比率Rbとを比較することで、前回の撮像で用いられた符号化パラメータセットが良好な画質のために適正であったか否かを判別する。
ここで、上述したように、ビットレート比率Rbは、目標ビットレートBtと実際のビットレートである平均ビットレートBaとの差分を目標ビットレートBtで除算したものである。この場合、ビットレート比率Rbの値が小さい程、平均ビットレートBaが目標ビットレートBtにより近いことを示している。また、平均ビットレートBaが目標ビットレートBtを上回る場合、ビットレート比率Rbは負の値をとることになる。
よって、符号化パラメータ設定部112は、算出したビットレート比率Rbが正の値であり、かつ、所定の閾値(以下、「閾値THb」とする)よりも小さいという条件(閾値THb>Rb>0、以下、「良好ビットレート条件」とする)にあてはまるか否かを判別することで(ステップS407)、ビットレートの観点から前回用いられた符号化パラメータセットが適正であったか否かを判別する。
ここで、閾値THbは、例えば、良好な画質を得るために最低限必要とされるビットレートと目標ビットレートBtとの差分などに基づいて設定されるものとする。また、ビットレート比率Rbが良好ビットレート条件にあてはまる場合、フレームレートに影響しないデータ量となるような閾値THbが設定されるものとする。
したがって、算出したビットレート比率Rbが良好ビットレート条件にあてはまるのであれば(ステップS407:Yes)、ビットレートの観点からもフレームレートの観点からも良好な画質が得られていることになる。すなわち、前回の撮像で用いられた符号化パラメータセットは適正であったため、符号化パラメータ設定部112は、前回用いられたパラメータセットを今回の撮像に選択して、符号化部25に設定する(ステップS409)。
一方、ビットレート比率Rbが良好ビットレート条件にあてはまらない場合(ステップS407:No)、符号化パラメータ設定部112は、フレームレートの観点から前回用いられたパラメータセットが適正であったか否かを判別する。この場合も、ビットレートの場合と同様に、算出したフレームレート比率Rfが所定の条件にあてはまるか否かを判別する。フレームレートの場合も、実際のフレームレートである平均フレームレートFaが正となり、かつ、目標フレームレートFtに近い程良好な画質であるといえる。
よって、符号化パラメータ設定部112は、ビットレートの場合の閾値THbと同様の基準で設定される閾値THfとフレームレート比率Rfとを比較する。すなわち、算出したフレームレート比率Rfが正の値であり、かつ、閾値THfよりも小さいという条件(閾値THf>Rf>0、以下、「良好フレームレート条件」とする)にあてはまるか否かを判別することで(ステップS408)、フレームレートの観点から前回用いられた符号化パラメータセットが適正であったか否かを判別する。
ここで、ビットレートとフレームレートとは二律背反の関係にあるので、ビットレート比率Rbが良好ビットレート条件にあてはまらない場合であっても(ステップS407:No)、フレームレート比率Rfが良好フレームレート条件にあてはまっているのであれば(ステップS408:Yes)、良好な画質が得られていることになる。すなわち、前回の撮像で用いられた符号化パラメータセットは適正ということになる。したがって、符号化パラメータ設定部112は、前回用いられたパラメータセットを今回の撮像に選択して、符号化部25に設定する(ステップS409)。
本実施形態では、前回の撮像終了時からの時間間隔が短い場合に撮り直しとみなすが、時間間隔が短くても実際には撮り直しでない場合もある。このような場合、前回の撮像における画質には問題がないので、前回用いられた符号化パラメータセットを選択することで、前回と同様の良好な画質が得られることになる。この場合において、前回の撮像終了時からの時間間隔が短いので、例えば、光源などの撮影条件はほぼ同じであり、前回の符号化パラメータを用いても同様の良好な画質が得られることになる。
一方、ビットレート比率Rbが良好ビットレート条件にあてはまらず(ステップS407:No)、かつ、フレームレート比率Rfも良好フレームレート条件にあてはまらない場合(ステップS408:No)、ビットレートおよびフレームレートのいずれの観点からも画質が良好ではない。この場合、前回の撮像で用いられた符号化パラメータのセットが適正でなかったといえるので、符号化パラメータ設定部112は、今回の撮像(すなわち、撮り直し)に適正な符号化パラメータセットを用いるためのパラメータ最適化処理を実行する(ステップS500)。このパラメータ最適化処理を、図7に示すフローチャートを参照して説明する。
処理が開始されると、符号化パラメータ設定部112は、前回の撮像における平均ビットレートBaが目標ビットレートBtを上回っていたか否かを判別する(ステップS501)。ここで、平均ビットレートBaが目標ビットレートBtを上回っている場合、二律背反の関係にあるフレームレートが低下していたことで良好な画質が得られなかったことになる。よって、平均ビットレートBaが目標ビットレートBtを上回っていた場合(ステップS501:Yes)、符号化パラメータ設定部112は、ビットレートを低下させるパラメータセットである低画質用のパラメータセット(セットC)を選択し、符号化部25に設定する(ステップS503)。
一方、前回の撮像における平均ビットレートBaが目標ビットレートBt以下である場合(ステップS501:No)、符号化パラメータ設定部112は、フレームレートについて同様の判別をおこなう。すなわち、前回の撮像における平均フレームレートFaが目標フレームレートFtを上回っていたか否かを判別する(ステップS502)。ここで、フレームレートとビットレートとは二律背反の関係にあるので、必要以上にフレームレートが高いとデータ量が増大し、ビットレートが低下することになる。よって、平均フレームレートFaが目標フレームレートFtを上回っていた場合(ステップS502:Yes)、符号化パラメータ設定部112は、フレームレートを低下させる低画質用のパラメータセット(セットC)を選択して、符号化部25に設定する(ステップS503)。
また、平均ビットレートBaが目標ビットレートBt以下であり(ステップS501:No)、かつ、平均フレームレートFaも目標フレームレートFt以下である場合(ステップS502:No)、ビットレートまたはフレームレートのいずれかが必要以上に高いことが画質低下の要因ではないことになる。この場合、前回使用した符号化パラメータセットでの符号化では、ビットレートとフレームレートのいずれも目標よりも低かったといえる。よって、この場合、符号化パラメータ設定部112は、ビットレート及び/又はフレームレート、もしくは、ビットレートとフレームレートを向上させるパラメータセットである高画質用パラメータセット(セットB)を選択し、符号化部25に設定する(ステップS504)。
このようにして、ステップS503もしくはステップS504で適正なパラメータセットが選択されると、図6に示す符号化パラメータ設定処理のフローに戻る。
符号化パラメータ設定処理では、ステップS209もしくはパラメータ最適化処理(ステップS500)でパラメータセットが選択されると、図4に示す動画撮像処理のフローに戻る。
動画撮像処理では、上述した符号化パラメータ設定処理(ステップS400)で設定された符号化パラメータセットを用いて動画撮像がおこなわれる(ステップS105以降)。つまり、前回の撮像からの撮像間隔に基づいて、撮り直しであると判別した場合は、前回の撮像でのビットレートやフレームレートに基づいて、符号化パラメータセットが選択され、選択された符号化パラメータセットを用いて撮像画像データの符号化がおこなわれる。
以上説明したように、本発明を上記実施形態の如く適用することで、デフォルトの符号化パラメータでの再生品質が良好でないために撮り直しをおこなった場合、前回の撮像における平均ビットレートが目標ビットレートよりも高ければ、ビットレートを低下させる符号化パラメータが選択されるので、必要十分なビットレートを維持しつつフレームレートの低下を抑えることができる。また、ビットレートとフレームレートは二律背反の関係にあるので、同様に、前回の撮像でのフレームレートが目標フレームレートよりも高ければ、フレームレートを低下させる符号化パラメータを選択するので、必要十分なビットレートの符号化データを得ることができる。このようにして、ビットレートとフレームレートのバランスを最適化しているので、全体として良好な再生品質となる動画像データを得ることができる。
また、前回の撮像からの時間間隔に基づいて符号化パラメータの最適化をおこなっているので、前回とは撮影条件(被写体や光源など)が大きく変化しない場合にのみ前回の撮像に基づく符号化パラメータの調整がおこなわれる。よって、適切な符号化パラメータの調整を自動的におこなうことができる。
上記実施形態は一例であり、本発明の適用範囲はこれに限られない。すなわち、種々の応用が可能であり、あらゆる実施の形態が本発明の範囲に含まれる。
例えば、上記実施形態で示した符号化パラメータのセットおよびその内容は一例であり任意に設定することができる。この場合、上記実施形態で示したパラメータセットをより細分化してもよく、例えば、ビットレートのみに影響するパラメータセットやフレームレートのみに影響するパラメータセットなどを用意し、前回の撮像での平均ビットレートが目標ビットレートよりも高い場合には、ビットレートのみを低下させるパラメータセットを選択し、平均フレームレートが目標フレームレートよりも高い場合には、フレームレートのみを低下させるパラメータセットを選択するように動作してもよい。
なお、上記実施形態で例示したデフォルトの符号化パラメータセットは固定的なものでなくてもよい。例えば、撮像情報格納領域152に格納されている撮像情報の履歴から、これまでに使用された各符号化パラメータの平均を随時求め、各パラメータの平均値から構成されるセットをデフォルトセットとするようにしてもよい。移動体通信端末のようなパーソナルな装置での撮影では、撮影対象や撮影方法にユーザ毎の傾向が現れる可能性が高いので、使用されたパラメータの平均をデフォルトセットとすることで、1回目の撮影における画質の向上を図ることができる。
また、上記実施形態では、前回撮像からの時間間隔に基づいて、前回の撮影の撮り直しであることを判別して符号化パラメータ設定処理をおこなうようにしたが、これに限らず、例えば、撮像終了時や再生終了時に撮り直しを指定するためのボタンなどを表示部140に表示し、操作部130の操作によってボタンが選択された場合に、符号化パラメータ設定処理をおこなうようにしてもよい。
なお、上述した移動体通信端末1のように、本発明を実現するための機能を予め備えている移動体通信端末として提供できることはもとより、本発明にかかるプログラムを適用することで、これらの機能を備えていない既存の移動体通信端末などを本発明にかかる移動体通信端末として機能させることもできる。この場合、少なくとも動画撮像機能を有する移動体通信端末に、上述した移動体通信端末1の各処理を実行させるためのプログラムを適用し、当該移動体通信端末を制御するコンピュータ(CPUなど)がそのプログラムを実行することで、本発明にかかる移動体通信端末として機能させることができる。
このようなプログラムの適用方法は任意であり、例えば、インターネットなどの通信媒体を介して提供することで任意の装置に適用できる他、所定の記録媒体(例えば、メモリカード、CD−ROM、DVD、など)にプログラムを格納して配布することでも適用可能である。
本発明の実施形態にかかる移動体通信端末の構成を示すブロック図である。 図1に示す記憶部に格納される情報の例を示す図であり、(a)は符号化パラメータ格納領域に格納される符号化パラメータ表の例を示し、(b)は撮影情報格納領域に格納される情報の例を示す。 図1に示す制御部によって実現される機能を示す機能ブロック図である。 本発明の実施形態にかかる動画撮像処理を説明するためのフローチャートである。 図4に示す動画撮像処理で実行される処理を説明するためのフローチャートであり、(a)は平均ビットレート算出処理のフローチャートを示し、(b)は平均フレームレート算出処理のフローチャートを示す。 図4に示す動画撮像処理で実行される符号化パラメータ設定処理を説明するためのフローチャートである。 図6に示す符号化パラメータ設定処理で実行されるパラメータ最適化処理を説明するためのフローチャートである。
符号の説明
1…移動体通信端末、10…通信機能部、11…無線部、12…アンテナ、13…通信制御部、14…音声処理部、15…マイクロフォン、16…スピーカ、20…カメラ機能部、OP…レンズ光学系、21…光学系駆動部、22…撮像素子、23…ADC、24…画像信号処理部、25…符号化部、26…画像バッファ、110…制御部、111…撮像処理部、112…符号化パラメータ設定部、113…入出力処理部、114…ビットレート演算部、115…フレームレート演算部、116…符号化サイズレジスタ、117…フレームサイズレジスタ、120…メモリカードI/F、121…メモリカード、130…操作部、140…表示部、150…記憶部、151…符号化パラメータ格納領域、152…撮像情報格納領域、153…プログラム格納領域

Claims (5)

  1. 動画撮像機能を有する移動体通信端末であって、
    前記動画撮像機能の符号化に用いられる複数のパラメータセットを格納するパラメータ格納手段と、
    前記符号化におけるビットレートとフレームレートの目標値を格納する目標値格納手段と、
    前記動画撮像機能で得られた動画像データにおけるビットレートとフレームレートの実測値を記録する実測値記録手段と、
    今回の動画撮像が前回の動画撮像の撮り直しであるか否かを判別する撮り直し判別手段と、
    前記撮り直し判別手段が撮り直しと判別した場合、前記実測値記録手段が記録した前回の撮像におけるビットレートとフレームレートの実測値と、前記目標値格納手段に格納されているビットレートとフレームレートの目標値との比率をそれぞれ算出する比率算出手段と、
    前記比率算出手段が算出した比率に基づいて、前記パラメータ格納手段から符号化パラメータセットを選択する符号化パラメータ選択手段と、
    を備えることを特徴とする移動体通信端末。
  2. 前記動画撮像機能による撮像毎の時間情報を記録する時間情報記録手段をさらに備え、
    前記撮り直し判別手段は、動画撮像が実行されたことを契機に、前記時間情報記録手段に記録された時間情報に基づいて前回の撮像からの時間間隔を算出し、該算出した時間間隔に基づいて撮り直しであるか否かを判別する、
    ことを特徴とする請求項1に記載の移動体通信端末。
  3. 前記符号化パラメータ選択手段は、
    前記比率算出手段が算出する比率と所定の閾値との比較に基づき、ビットレートまたはフレームレートのいずれかの実測値が目標値よりも高い場合、ビットレートまたはフレームレートを低下させる符号化パラメータセットを選択し、
    ビットレートおよびフレームレートのいずれの実測値も目標値より低い場合、ビットレートまたはフレームレートを向上させる符号化パラメータセットを選択する、
    ことを特徴とする請求項1または2に記載の移動体通信端末。
  4. 前記実測値記録手段は、撮像毎のビットレートとフレームレートの平均値を算出する平均値算出手段をさらに備え、
    前記平均値算出手段が算出したビットレートとフレームレートの平均値を前記実測値として記録する、
    ことを特徴とする請求項1乃至3のいずれか1項に記載の移動体通信端末。
  5. 動画撮像機能を有する移動体通信端末を制御するコンピュータに、
    撮像毎のビットレートとフレームレートの平均値を算出する機能と、
    前回の撮像と今回の撮像との時間間隔に基づいて、今回の撮像が前回の撮像の撮り直しであるか否かを判別する機能と、
    撮り直しである場合、前回の撮像におけるビットレートとフレームレートの平均値と、予め設定されているビットレートとフレームレートの目標値との比率をそれぞれ算出する機能と、
    算出した比率に基づいて、ビットレートまたはフレームレートのいずれかが目標値よりも高い場合、ビットレートまたはフレームレートを低下させる符号化パラメータを設定する機能と、
    算出した比率に基づいて、ビットレートおよびフレームレートのいずれもが目標値よりも低い場合、ビットレートまたはフレームレートを向上させる符号化パラメータを設定する機能と、
    を実現させることを特徴とするプログラム。
JP2006089435A 2006-03-28 2006-03-28 動画撮像機能を有する端末、および、プログラム Expired - Fee Related JP4778343B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006089435A JP4778343B2 (ja) 2006-03-28 2006-03-28 動画撮像機能を有する端末、および、プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006089435A JP4778343B2 (ja) 2006-03-28 2006-03-28 動画撮像機能を有する端末、および、プログラム

Publications (3)

Publication Number Publication Date
JP2007267020A true JP2007267020A (ja) 2007-10-11
JP2007267020A5 JP2007267020A5 (ja) 2008-11-27
JP4778343B2 JP4778343B2 (ja) 2011-09-21

Family

ID=38639563

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006089435A Expired - Fee Related JP4778343B2 (ja) 2006-03-28 2006-03-28 動画撮像機能を有する端末、および、プログラム

Country Status (1)

Country Link
JP (1) JP4778343B2 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009267726A (ja) * 2008-04-24 2009-11-12 Panasonic Corp 動画像符号化装置、録画装置、動画像符号化方法、動画像符号化プログラム
JP2014049835A (ja) * 2012-08-30 2014-03-17 Casio Comput Co Ltd 画像処理装置、画像処理方法及びプログラム
US8942765B2 (en) 2010-02-01 2015-01-27 Nec Casio Mobile Communications, Ltd. Communication terminal device and recording medium
JP2017504255A (ja) * 2013-12-20 2017-02-02 クゥアルコム・インコーポレイテッドQualcomm Incorporated ビデオコーディングを用いた温度および電力管理
JP2020136907A (ja) * 2019-02-20 2020-08-31 キヤノン株式会社 情報配信装置、情報処理装置、情報配信方法、情報処理方法及びプログラム
CN115065781A (zh) * 2022-04-28 2022-09-16 深圳绿米联创科技有限公司 拍摄处理方法、装置、设备和计算机可读存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11313322A (ja) * 1998-04-30 1999-11-09 Sony Corp 画像信号処理装置及び方法
JP2000261799A (ja) * 1999-03-10 2000-09-22 Fujitsu Ltd 可変レート動画像符号化装置
JP2000350211A (ja) * 1999-06-07 2000-12-15 Toshiba Corp 動画像符号化方法及び動画像符号化装置
JP2002335439A (ja) * 2001-05-08 2002-11-22 Casio Comput Co Ltd 撮像装置及び露光補正方法
JP2003032629A (ja) * 2001-07-12 2003-01-31 Mitsubishi Electric Corp 携帯型映像記録装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11313322A (ja) * 1998-04-30 1999-11-09 Sony Corp 画像信号処理装置及び方法
JP2000261799A (ja) * 1999-03-10 2000-09-22 Fujitsu Ltd 可変レート動画像符号化装置
JP2000350211A (ja) * 1999-06-07 2000-12-15 Toshiba Corp 動画像符号化方法及び動画像符号化装置
JP2002335439A (ja) * 2001-05-08 2002-11-22 Casio Comput Co Ltd 撮像装置及び露光補正方法
JP2003032629A (ja) * 2001-07-12 2003-01-31 Mitsubishi Electric Corp 携帯型映像記録装置

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009267726A (ja) * 2008-04-24 2009-11-12 Panasonic Corp 動画像符号化装置、録画装置、動画像符号化方法、動画像符号化プログラム
US8942765B2 (en) 2010-02-01 2015-01-27 Nec Casio Mobile Communications, Ltd. Communication terminal device and recording medium
JP2014049835A (ja) * 2012-08-30 2014-03-17 Casio Comput Co Ltd 画像処理装置、画像処理方法及びプログラム
JP2017504255A (ja) * 2013-12-20 2017-02-02 クゥアルコム・インコーポレイテッドQualcomm Incorporated ビデオコーディングを用いた温度および電力管理
JP2020136907A (ja) * 2019-02-20 2020-08-31 キヤノン株式会社 情報配信装置、情報処理装置、情報配信方法、情報処理方法及びプログラム
JP7305371B2 (ja) 2019-02-20 2023-07-10 キヤノン株式会社 情報配信装置、情報配信方法及びプログラム
CN115065781A (zh) * 2022-04-28 2022-09-16 深圳绿米联创科技有限公司 拍摄处理方法、装置、设备和计算机可读存储介质
CN115065781B (zh) * 2022-04-28 2024-04-19 深圳绿米联创科技有限公司 拍摄处理方法、装置、设备和计算机可读存储介质

Also Published As

Publication number Publication date
JP4778343B2 (ja) 2011-09-21

Similar Documents

Publication Publication Date Title
JP4251650B2 (ja) 画像処理装置及びプログラム
CN1222188C (zh) 在配备照相机的移动通信终端中显示略图的装置和方法
JP5190117B2 (ja) 可変画質を有する写真を生成するシステム及び方法
US7705895B2 (en) Image taking apparatus and image-taking method
JP4778343B2 (ja) 動画撮像機能を有する端末、および、プログラム
US7969467B2 (en) Printing system, printing device, imaging device, printing method and image-transmitting method
US8687106B2 (en) Camera device, mobile terminal and frame rate controlling method
US20050094000A1 (en) Apparatus and method for photographing a moving picture
JP2007180927A (ja) 伝送装置
US20090129693A1 (en) System and method for generating a photograph with variable image quality
KR100624473B1 (ko) 이미지 처리장치 및 그 방법
US20120188440A1 (en) Camera device, mobile terminal and ae controlling method
JP4366485B2 (ja) 撮像装置、画像処理方法及びプログラム
JP2017103753A (ja) 撮像装置および記録方法
JP4202546B2 (ja) 撮像装置および方法
US7817195B2 (en) Apparatus and method for automatic conversion to digital zoom mode
CN1842154A (zh) 图像处理装置
KR100657141B1 (ko) 녹화 시간 연장 기능을 가지는 동영상 촬영 장치 및 그방법과 그를 이용한 무선통신단말기
JP4362619B2 (ja) 動画撮影装置、動画記録方法および動画記録プログラム
JP2008072530A (ja) 撮像装置、及び、撮像プログラム
JP2005159845A (ja) 撮像装置、画像取込方法および画像取込システム
JP2006277017A (ja) 情報処理装置及び撮像装置
JP2005316218A (ja) 通信機能付撮像装置、画像表示制御方法及び画像表示制御プログラム
JP2005109696A (ja) 画像圧縮方法及び画像圧縮装置
JP2016058939A (ja) 表示装置および表示制御プログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081010

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20081010

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100615

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100622

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20100803

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100823

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110329

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110527

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110621

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110701

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140708

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140708

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140708

Year of fee payment: 3

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees