JP2007089086A - 携帯情報端末及び画像管理プログラム - Google Patents

Abstract

【課題】 画面サイズが小さくまた解像度もさほど高くない表示デバイスの画面上に一覧表示される画像を見易く表示できるようにする。
【解決手段】
カメラアプリケーション１０は、撮影した原画像のデータを画像管理部１２に渡す。画像管理部１２は、撮影された原画像若しくはデータストレージ１３に保存されている原画像１４から合焦値を算出し、その合焦値を元に原画像からサムネイル画像１５を切り出す。そして、画像管理部１２は、サムネイル画像のデータをデータストレージ１３に保存させる。また、画像管理部１２は、必要に応じて、サムネイル画像１５を読み出し、ビューワアプリケーション１１へ渡す。ビューワアプリケーション１１は、サムネイル画像１５を表示デバイスの画面上に一覧表示させる。
【選択図】 図１

Description

本発明は、搭載している表示デバイス上に画像一覧を表示可能な携帯情報端末、及び、原画像からサムネイル画像を生成して一覧表示するための画像管理プログラムに関する。

従来の画像一覧表示アプリケーションでは、撮影された画像やストレージに保存されている画像をそのまま縮小したサムネイル画像を生成し、そのサムネイル画像を表示デバイスの画面上に一覧表示するようになされている。

また、携帯電話端末等に搭載されている表示デバイスの画面上にサムネイル画像を一覧表示するような場合には、その表示デバイスの画面サイズや解像度に合わせて、サムネイル画像のサイズや解像度も小さくなされるため、非常に見難い画像になっている。

ここで、特開２０００−２２４４６５号の公開特許公報（特許文献１）には、ディジタルスチルカメラにユーザの注視点を検出するための視線検出部を設け、その視線検出部にて検出されたユーザの注視点の情報に基づいて撮影画像中の重要領域を特定すること、つまり、撮影した画像の何れの領域が撮影者にとって注目したい部分なのかを特定可能とし、その重要領域の画像に対して、例えば解像度を高めたり圧縮率を低くするような処理を行うことにより、撮影者の意思を反映させた見易い画像を生成可能とする技術が開示されている。

また、特開２００４−３２８２８３号の公開特許公報（特許文献２）には、画像内で焦点の合致している部分を算出し、焦点の合っている部分の圧縮率を、他の部分の圧縮率よりも低くすることにより、原画像を縮小することによる画質の劣化を少なくするような技術が開示されている。

特開２０００−２２４４６５号公報（図１，図２，図５） 特開２００４−３２８２８３号公報（図１，図２）

しかしながら、上述した特開２０００−２２４４６５号の公開特許公報に記載の技術を、例えば携帯電話端末に適用することは難しい。すなわち例えば、上記公報に記載の技術では、ユーザの注視点を検出するための視線検出部の構成が必要となり、そのような構成を携帯電話端末に搭載することは困難である。また、例え上記公報に記載の技術を適用して撮影者が注目している需要領域の画像品質を向上させることができたとしても、携帯電話端末等に搭載されている表示デバイスの小さい画面上に一覧表示される画像はさほど見易くはならない。その他、例えば外部から入手した画像の場合には、注視点が判らないため、重要領域の特定そのものが出来ない。

同様に、特開２００４−３２８２８３号の公開特許公報に記載の技術を例えば携帯電話端末に適用した場合にも、その携帯電話端末等の表示デバイスの画面上に一覧表示される画像を見易くするのは困難である。すなわち、上記公報記載の技術では、原画像を縮小する際の画質劣化を抑えることはできるが、携帯電話端末等に搭載されている表示デバイスの小さい画面上に一覧表示される画像を見易くできるほどではない。

本発明は、このような実情に鑑みて提案されたものであり、携帯電話端末等に搭載されている表示デバイスのように、画面サイズが小さくまた解像度もさほど高くない表示デバイスの画面上に一覧表示される画像を見易く表示可能とする携帯情報端末と画像管理プログラムを提供することを目的とする。

本発明の携帯情報端末は、少なくとも画像を表示可能が画面を備えた表示部と、原画像から合焦値を算出する合焦値算出部と、その算出された合焦値を元に原画像からサムネイル画像を切り出す画像切り出し部と、その切り出されたサムネイル画像のデータを保存するデータストレージ部と、当該保存されたサムネイル画像のデータを必要に応じて読み出して表示部の画面上に表示させる制御部とを有することにより、上述した課題を解決する。

また、本発明の画像管理プログラムは、原画像から合焦値を算出する合焦値算出部と、その算出された合焦値を元に原画像からサムネイル画像を切り出す画像切り出し部と、その切り出されたサムネイル画像のデータをデータストレージへ保存させる保存制御部と、当該保存されたサムネイル画像のデータを必要に応じて読み出して表示部の画面上に表示させる表示制御部として、携帯情報端末を機能させることにより、上述した課題を解決する。

すなわち、原画像内の合焦領域は撮影時における撮影ターゲットである可能性が高く、原画像の中で特徴的な部分であり、本発明では、その合焦領域（原画像の中の特徴的な部分）を原画像からサムネイル画像として切り出すようにしている。

本発明によれば、原画像内の合焦領域をサムネイル画像として切り出すようにしているため、画面サイズが小さくまた解像度もさほど高くない表示デバイスの画面上にサムネイル画像を表示させた場合でも、そのサムネイル画像の内容をユーザは容易に認識でき、したがって見易い一覧表示が可能となる。

以下、図面を参照しながら、本発明の携帯情報端末及び画像管理プログラムの一実施形態について説明する。

なお、本実施形態では、本発明の携帯情報端末の一例として、携帯電話端末を挙げているが、勿論、ここで説明する内容はあくまで一例であり、本発明はこの例に限定されないことは言うまでもない。

本実施形態の携帯電話端末は、カメラ機能が搭載された端末であり、そのカメラ機能により撮影した画像や外部から入手した画像について、焦点が合っている領域（以下、合焦領域と表記する。）を検出し、その合焦領域を原画像から切り出し、当該切り出された合焦領域からサムネイル画像を生成する機能を備えている。

〔アプリケーションスタック〕
図１には、本実施形態の携帯電話端末のアプリケーションスタックを示す。

図１において、本実施形態の携帯電話端末は、アプリケーション層として、カメラアプリケーション１０とビューワアプリケーション１１を有している。

カメラアプリケーション１０は、携帯電話端末が備えているカメラ機能を用い、画像の撮影を実行するためのアプリケーションである。当該カメラアプリケーション１０の実行により撮影された画像データは、ミドルウェアの画像管理部１２を経由して、画像データ用のデータストレージ１３に原画像１４として保存される。なお、データストレージ１３には、カメラ機能により撮影された画像だけでなく、例えば外部から入手された画像も原画像１４として保存可能となされている。

ビューワアプリケーション１１は、上記カメラアプリケーション１０により撮影された画像や、外部から入手した画像、後述する画像管理部１２が生成したサムネイル画像などを、本実施形態の携帯電話端末が備えている表示デバイスの画面上に表示させる閲覧処理を実行するためのアプリケーションである。

画像管理部１２は、ミドルウェア層に位置し、本発明の画像管理プログラムを実行するソフトウェアであり、カメラ機能により撮影された原画像１４や外部から入手した原画像１４を上記データストレージ１３に保存する際に、後述するように、その原画像１４のデータに基づいて合焦領域を検出すると共に当該合焦領域を切り出し、その切り出した合焦領域からサムネイル画像１５を生成する。そして、画像管理部１２は、そのサムネイル画像１４をデータストレージ１３に保存する。

また、画像管理部１２は、例えばビューワアプリケーション１１からサムネイル画像の読み出し要求がなされた場合、上記データストレージ１３に保存されているサムネイル画像１４を読み出し、上記ビューワアプリケーション１１へ供給する。これにより、本実施形態の携帯電話端末に搭載されている表示デバイスの画面上には、サムネイル画像１４が一覧表示されることになる。

〔サムネイル画像の生成処理〕
以下、画像管理部１２にて行われるサムネイル画像の生成処理について説明する。

本実施形態の携帯電話端末のカメラ機能はフォーカス調整機構を備えており、当該フォーカス調整機構により焦点合わせを行った状態で例えば図２に示すような原画像２０が撮影されたとする。また、上記原画像２０内に写っている幾つかの被写体画像２１〜２３（以下、それらをオブジェクト２１〜２３と呼ぶことにする。）のうち、撮影者が写すことを意図したターゲットの被写体、つまりフォーカス調整機構により焦点が合わされている被写体がオブジェクト２１であったとする。そして、上記焦点が合わせられて撮影されたオブジェクト２１に対して、その他のオブジェクト２２，２３はぼやけた画像となっている。

このような場合において、本実施形態の画像管理部１２は、図３に示すように、原画像２０を複数の領域２８に等分割し、それら各領域２８毎に所定の合焦演算を行うことにより、焦点が合致している領域を算出する。合焦演算の手法には既知の様々な手法があり、本実施形態では、その代表的な手法である変形ラプラシアン法を用いる。すなわち、上記変形ラプラシアン法は、注目画素をＩ（ｘ，ｙ）と表し、式（１）に示すような演算を行うことにより、合焦値を求める手法である。

勿論、本発明では、変形ラプラシアン法以外の方法を用いても良い。

ここで、図３に示した原画像２０の各領域２８について変形ラプラシアン法による合焦演算を行った結果、例えば図４に示すような３次元合焦値分布が得られたとする。すなわち、図３の原画像２０からは、上記焦点が合わせられて撮影されたオブジェクト２１が含まれる領域の合焦値が大きく、一方、その他の領域の合焦値は低くなるような合焦値分布が得られることになる。

そして、画像管理部１２は、この図４に示すような合焦値分布を元に、各領域２８毎の合焦値と予め定められた所定の閾値とを比較し、合焦値が上記閾値を越えている領域のみを合焦領域として割り出すと共に、それら割り出された合焦領域を含む所定サイズの画像をサムネイル画像として切り出すか、若しくは、各領域２８のうち最大の合焦値を有する領域を合焦領域として検出し、その検出された合焦領域を含む所定サイズの画像をサムネイル画像として切り出す。すなわち、図３に示す例の場合、画像管理部１２は、上記合焦されたオブジェクト２１を含む所定サイズ内の領域（例えば４×４領域）からなる画像を、図５に示すようにサムネイル画像２９として切り出す。

なお、上述したような合焦値分布を求めた場合、原画像の中にはそれぞれ同程度の合焦値を持つ複数の合焦領域が、飛び地のように存在することも想定される。このような場合、画像管理部１２は、それら同程度の合焦値を持つ複数の合焦領域のうち、例えば原画像の中心に、より近い合焦領域を含む所定サイズの画像をサムネイル画像として切り出すようにしたり、それら同程度の合焦値を持つ複数の合焦領域のうち幾つかの合焦領域を包含した所定サイズの画像をサムネイル画像として切り出すようにするなど、原画像２０の内容に即した適切な処理を行うようにする。

〔サムネイル画像の生成処理のフローチャート〕
図６には、上記画像管理部１２にて行われるサムネイル画像生成処理のフローチャートを示す。

図６において、画像管理部１２は、ステップＳ１０にて例えばカメラアプリケーション１０で撮影機能が実行され、ステップＳ１１にて当該カメラアプリケーション１０から原画像のデータが入力されると、ステップＳ１２の処理として、前述の図３に示したように、原画像２０を、その画像サイズに合わせて複数の領域２８に等分割する。

次に、画像管理部１２は、ステップＳ１３の処理として、各領域２８毎に前述の式（１）に示した変形ラプラシアン法による合焦演算を行い、さらにステップＳ１４の処理として、前述のように所定の閾値との比較処理或いは最大合焦値の検出処理による合焦領域の算出を行う。

そして、画像管理部１２は、ステップＳ１５の処理として、ステップＳ１４での処理により求められた合焦領域を含む所定サイズの画像を切り出し、次いで、ステップＳ１６の処理として、その切り出された画像をサムネイル画像２９とする。

その後、画像管理部１２は、サムネイル画像２９をデータストレージへ保存する。

〔携帯電話端末の内部構成〕
図７には、上述したようなカメラ機能やサムネイル画像の生成機能を備えた本実施形態の携帯電話端末の概略的な内部構成を示す。

図７において、データラインは、音声データや電子メールデータ、画像データなの各種データを伝送するための伝送ラインである。

制御ラインは、ＣＰＵ（中央処理ユニット）により構成されている制御部３０からの制御データなどの各種制御情報を伝送するための伝送ラインである。

アンテナ３２は、本実施形態の携帯電話端末に内蔵されたアンテナであり、通信回路３１に接続され、信号電波を送受信するのに用いられる。

通信回路３１は、送受信信号の周波数変換、変調と復調等を行う。

ここで、上記アンテナ３２及び通信回路３１にて受信された通話音声データは音声処理部４２へ送られ、それ以外の受信データは、制御部３０へ送られて適切に処理された後、必要に応じて当該制御部３０から各部へ送られる。なお、通話音声以外の受信データは、パケット通信にかかるデータであり、例えば電子メールデータ、動画像や静止画の画像データ、音楽等のデータ、ＨＴＭＬ（Hyper Text Markup Language）データ、プログラムコードのデータ等を挙げることができる。

上記アンテナ３２及び通信回路３１から通話音声データが供給された時の音声処理部４２は、当該通話音声データを復号化し、その復号化後の通話音声データをアナログ音声信号に変換し、そのアナログ音声信号をスピーカ４０若しくは図示しないイヤホンジャックへ送る。

スピーカ４０は、本実施形態の携帯電話端末に内蔵され、供給されたアナログ音声信号を内部増幅器により増幅した後、その音声信号を可聴音声に変換して外部に出力する。これにより、スピーカ４０からは通話音声が出力されることになる。

マイクロホン４１は、本実施形態携帯電話端末に内蔵され、入力音声をアナログ音声信号に変換すると共に内部増幅器により増幅し、さらにそのアナログ音声信号を音声処理部４２に送る。

上記マイクロホン４１から通話音声信号が供給された時の音声処理部４２は、その通話音声信号をディジタル音声データに変換した後に符号化し、さらにその符号化後の通話音声データを通信回路３１へ送る。これにより、アンテナ３２からは通話音声信号が送信されることになる。

表示部３３は、本実施形態の携帯電話端末の表示デバイスであり、液晶等のディスプレイ及び表示駆動回路を備え、ディスプレイの画面上に画像や文字等を表示する。

操作部３４は、テンキーや各種のボタンと、それらキーやボタンが操作された時の操作信号を発生する操作信号発生器とからなる。

カメラ部４４は、本実施形態の携帯電話端末が備えている前述したカメラ機能に対応し、撮像デバイスにより光像を電気信号に変換して得られた静止画像や動画像のデータを生成し、画像処理部４３に送る。

画像処理部４３は、制御部３０による制御の元、上記カメラ部４４にて撮影された画像の圧縮符号化や前述したサムネイル画像の生成処理とそれら画像データのデータストレージ４５への保存、当該データストレージ４５やメモリ部３５から読み出された圧縮符号化されている画像データの伸張復号化処理等を行う。上記伸張復号後の画像やサムネイル画像のデータは、データラインを介して表示部３３へ送られ、表示されることになる。なお、サムネイル画像の生成処理については、制御部３０が行っても良い。

メモリ部３５は、ＲＡＭ（Read Only Memory）とＲＡＭ（Random Access Memory）を含む。ＲＯＭは、ＯＳ（Operating System）、制御部３０が各部を制御するための制御プログラムや各種の機能を実行するためのプログラムコード、画像処理部４３若しくは制御部３０が本実施形態にかかるサムネイル画像の生成処理を行うための画像管理プログラムコード、各種の初期設定値、フォントデータ、辞書データ、着信音やキー操作音，アラーム音用の各種音データ、前述した本実施形態のカメラアプリケーション１０用のプログラムコード、ビューワアプリケーション１１用のプログラムコード、電子メールの作成や編集等を行うためのアプリケーション用のプログラムコード、画像や音声に対して様々な処理を行うためのアプリケーション用プログラムコード、その他、携帯電話端末に搭載される各種のアプリケーション用のプログラムコード、当該携帯電話端末の識別情報（ＩＤ）などを記憶している。このＲＯＭは、ＮＡＮＤ型フラッシュメモリ（NAND-type flash memory）或いはＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）のような書き換え可能なＲＯＭを含み、電子メールデータ、電話帳や電子メールアドレス帳のデータ、静画像や動画像データ（ビデオクリックデータ等）、キー操作音，アラーム音用等の音データ、文字データや予測変換の候補単語の登録データや予測変換の学習データ、その他、各種のユーザ設定値等を保存することも可能となされている。ＲＡＭは、制御部３０が各種のデータ処理を行う際の作業領域として、随時データを格納する。

データストレージ４５は、前述の図１で説明した画像データ用のストレージである。なお、当該データストレージ４５は、メモリ部３５に含まれていても良い。

制御部３０は、ＣＰＵからなり、メモリ部３５に記憶されているＯＳや各種プログラムに基づいて、携帯電話端末の制御、前述した本実施形態のかかる各種機能を実現するための制御や各種演算を行う。

その他、図７では図示を省略しているが、本実施形態の携帯電話端末は、（Global Positioning System）機能や、近距離無線通信機能、非接触通信機能、バッテリ等、従来の携帯電話端末が備えている各種の機能も当然備えている。

〔まとめ〕
以上説明したように、本発明実施形態の携帯電話端末によれば、カメラ機能により撮影した原画像や外部から入手した原画像から、撮影者が写すことを意図したターゲットのオブジェクトを含む合焦領域を切り出してサムネイル画像を生成可能となされており、そのサムネイル画像は原画像の中の特徴的な部分の画像であるため、画面サイズが小さくまた解像度もさほど高くない表示デバイスであっても、非常に見易く、閲覧性，視認性の高いサムネイル画像の一覧表示が可能となる。

なお、上述した実施形態の説明は、本発明の一例である。このため、本発明は上述した実施形態に限定されることなく、本発明に係る技術的思想を逸脱しない範囲であれば、設計等に応じて種々の変更が可能であることはもちろんである。

本実施形態に係るサムネイル画像処理は、携帯電話端末により撮影された画像に限らず、他の機器により撮影した画像にも適用可能であり、汎用的に用いることができる。

本発明実施形態の携帯電話端末のアプリケーションスタックを示す図である。 撮影された原画像の一例を示す図である。 原画像を複数領域に等分割した状態と、原画像から切り出されるサムネイル画像の一例を示す図である。 変形ラプラシアン法により合焦演算がなされて得られた３次元合焦値分布の一例を示す図である。 原画像から切り出されたサムネイル画像の一例を示す図である。 本実施形態にかかるサムネイル画像生成処理の流れを示すフローチャートである。 本発明実施形態の携帯電話端末の主要部の概略的内部構成を示すブロック図である。

符号の説明

１０ カメラアプリケーション、１１ ビューワアプリケーション、１２ 画像管理部、１３、４５ データストレージ、１４，２０ 原画像、１５，２９ サムネイル画像、２１ 合焦にかかるオブジェクト、２２，２３ その他のオブジェクト、２８ 分割された各領域、３０ 制御部、３１ 通信回路、３２ 通信用のアンテナ、３３ 表示部、３４ 操作部、３５ メモリ部、４０ スピーカ、４１ マイクロホン、４２ 音声処理部、４３ 画像処理部、４４ カメラ部

Claims (8)

1. 少なくとも画像を表示可能が画面を備えた表示部と、
   原画像から合焦値を算出する合焦値算出部と、
   上記合焦値算出部にて算出された合焦値を元に、上記原画像からサムネイル画像を切り出す画像切り出し部と、
   上記画像切り出し部により切り出されたサムネイル画像のデータを保存するデータストレージ部と、
   上記データストレージ部に保存されたサムネイル画像のデータを必要に応じて読み出して上記表示部の画面上に表示させる制御部とを有する
   ことを特徴とする携帯情報端末。
2. 請求項１記載の携帯情報端末であって、
   上記合焦値演算部は、原画像を複数の領域に等分割して、それら等分割された各領域毎に合焦値を算出し、
   上記画像切り出し部は、上記合焦値演算部にて算出された各領域毎の合焦値と所定の閾値とを比較し、上記所定の閾値を超えた合焦値の領域を合焦領域として検出し、当該合焦領域を含む所定サイズの画像を上記原画像から切り出してサムネイル画像とすることを特徴とする携帯情報端末。
3. 請求項１記載の携帯情報端末であって、
   上記合焦値演算部は、原画像を複数の領域に等分割して、それら等分割された各領域毎に合焦値を算出し、
   上記画像切り出し部は、上記合焦値演算部にて合焦値が算出された各領域のうち、合焦値が最大となる領域を合焦領域として検出し、当該合焦領域を含む所定サイズの画像を上記原画像から切り出してサムネイル画像とすることを特徴とする携帯情報端末。
4. 請求項２又は請求項３記載の携帯情報端末であって、
   上記画像切り出し部は、上記原画像内に複数の合焦領域を検出したとき、上記原画像の中心により近い方の合焦領域を含む所定サイズの画像を上記原画像から切り出してサムネイル画像とすることを特徴とする携帯情報端末。
5. 請求項２又は請求項３記載の携帯情報端末であって、
   上記画像切り出し部は、上記原画像内に複数の合焦領域を検出したとき、それら複数の合焦領域を包含した所定サイズの画像を上記原画像から切り出してサムネイル画像とすることを特徴とする携帯情報端末。
6. 請求項１記載の携帯情報端末であって、
   上記合焦値算出部は、当該端末の内蔵カメラにより撮影された原画像、若しくは、上記データストレージ部に保存されている原画像から、上記合焦値を算出することを特徴とする携帯情報端末。
7. 請求項１記載の携帯情報端末であって、
   上記合焦値演算部は、変形ラプラシアン演算により合焦値を算出することを特徴とする携帯情報端末。
8. 原画像から合焦値を算出する合焦値算出部と、
   上記合焦値算出部にて算出された合焦値を元に、上記原画像からサムネイル画像を切り出す画像切り出し部と、
   上記画像切り出し部により切り出されたサムネイル画像のデータをデータストレージへ保存させる保存制御部と、
   上記データストレージ部に保存されたサムネイル画像のデータを必要に応じて読み出して表示部の画面上に表示させる表示制御部として、
   携帯情報端末を機能させることを特徴とする画像管理プログラム。

Images