【０００１】
【発明の属する技術分野】
本発明は、静止画像、動画像を撮影し、その撮影画像を一覧表示させ、検索等をしやすくさせる画像情報処理方法に関するものである。
【０００２】
【従来の技術】
従来の装置は、特開２００１−６９４５８号等に記載のように、日付がかわったり、撮影枚数がある枚数以上になったら、そのタイミングで撮影画像をグループ化する手段を設けているものは存在した。
【０００３】
又は、特開平５−１６５９３５号等に撮影日のみでグループ化する手段を設けているものは存在した。
【０００４】
【発明が解決しようとする課題】
ところで、特開２００１−６９４５８号等の装置では、一連の撮影を行っている場合でも、日付が変ったり、枚数がある一定枚数以上写すと、別グループに選別されてしまうため、ユーザにとって使いやすいとは言えなかった。ユーザが１連の撮影データだと考えている物が、別グループに記憶されてしまう為、検索がしずらい。
【０００５】
又、特開平５−１６５９３５号等の様に撮影日のみでグループ化される場合は、１日の中で、別々の目的で撮影したものが同一グループになってしまい、検索がしずらかった。
【０００６】
【課題を解決するための手段】
本発明はかかる課題に鑑みなされたものである。
【０００７】
同一撮影時間間隔決定手段と同一撮影間隔内画像データグループ選別手段と、記憶画像データグループ別表示手段とを設け、ある撮影間隔で撮影した画像を、１連の撮影を１グループとして選別することにより、画像一覧時に簡単に目的の画像を探すことができる。
【０００８】
又、１連のグループ画像内の最初と最後の画像の縮小画像を画像グループの一覧表示時に行う手段を設けることによって、画像グループ一覧表示から目的の画像を探しやすくする。
【０００９】
又、画像利用度決定手段と画像利用度記憶手段と画像利用度別一覧手段とを設けることにより、良く利用する画像と、あまり使われない画像とを区別して表示する一覧表示を実現する。
【００１０】
【発明の実施の形態】
図１は本発明の実際の使用形態を表している。１は、携帯情報機器であり、カメラ部、液晶表示部、抵抗膜等で構成されている座標入力部、ＣＰＵ、ＲＯＭ、ＲＡＭ、記録メディアを差し込むスロット、他の情報機器と接続するためのＵＳＢ等のインターフェイスで構成されている。カメラ部で撮影した画像を液晶表示部に表示し、その画像に付加するメモ情報等を座標入力部によって入力する軌跡データによって作成する。ＲＯＭには、本発明を含む携帯情報機器の情報処理手順が記憶されている。ＲＡＭには、画像データ、入力された軌跡データ等が記憶されている。
【００１１】
入力された手書き軌跡データは、認識されずにそのままの状態で画像のメモとして付加されたり、認識手段によって、テキストデータとして付加されたりする。そのメモ情報が付加された、画像データはユーザーの指示操作によって、ＵＳＢインターフェイスを通って、パーソナルコンピュータへ送られる。又は、記録メディアを介して画像データは、パーソナルコンピュータやプリンターに送られる。
【００１２】
２は、一般的な液晶表示部であり、その液晶表示部の上面に座標入力を行う一般的な透明抵抗膜デジタイザ−が取りつけられている。その表示画面上を３のペンで押圧することにより手書きの軌跡を入力することができる。３のペンで行われる操作によって、画像の一覧表示の指示がされると、本発明の処理を行い、画像一覧表示が液晶表示画面に表示される。
【００１３】
３は、一般的なペンであり、手書き軌跡情報や、表示画面上のソフトボタン、ソフトキーボード等の入力に利用される。
【００１４】
４は、一般的なデジタルカメラ部であり、レンズ、ＣＣＤ等の撮像素子で構成されている。１の携帯情報機器内のＣＰＵによって制御され、撮影された画像データはＣＰＵに接続されているＲＡＭに記憶される。
【００１５】
５は、一般的なパーソナルコンピュータであり、１の携帯情報機器とＵＳＢインターフェイスを通じて接続されている。１の携帯情報機器から送られてくる、手書き軌跡データや、画像データを定められた処理手順で処理を行うよう構成されている。
【００１６】
図２は本発明実施例の携帯情報機器のブロック図である。
【００１７】
２−１は、位置座標入力部であり、２−２の液晶表示部の上面に配置された抵抗膜デジタイザ−で構成されている。抵抗膜デジタイザ−は制御回路を介して、１１のシステムバス経由で６のＣＰＵに接続している。３のペンを使って、画面上を押圧することにより、押圧した位置の位置座標データが６のＣＰＵによって読み取られるわけである。読み取られた位置座標データは、７のＲＡＭに記憶され、８のＲＯＭ内の処理手順に従って、画像データの検索、画像データのグループ化等の画像データ処理や、又、手書き軌跡データ認識処理等が実行される訳である。
２−２は、一般的な液晶表示部で、液晶表示素子、液晶制御回路、表示メモリから構成され、１１のシステムバス経由で６のＣＰＵに接続している。６のＣＰＵからの指示で、画像データや手書き軌跡データが画面上に表示される。
【００１８】
３は一般的なペンであり、手書き軌跡情報や、表示画面上のソフトボタン等の入力に利用される。
【００１９】
４は、一般的なデジタルカメラ部であり、レンズ、ＣＣＤ等の撮像素子、ＣＣＤの制御回路で構成されている。ＣＣＤの制御回路は１１のシステムバス経由で６のＣＰＵに接続している。６のＣＰＵによってＣＣＤは制御され、撮影された画像は７のＲＡＭに記憶される。
【００２０】
６は、一般的なＣＰＵであり、システムバス１１を介して、７のＲＡＭ、８のＲＯＭ、２−１の位置座標入力部、２−２の液晶表示部等と接続しており、８のＲＯＭに記憶されているプログラムによって処理動作を行う。
【００２１】
７は、一般的なＲＡＭであり、画像データの保存や、プログラムのワーク領域として使われる。
【００２２】
８は、一般的なＲＯＭであり、ＣＣＤの制御プログラム、液晶表示部の制御プログラム等が記憶されている。又、手書き軌跡の認識プログラム、手書き軌跡形状の辞書データ等の本発明の処理手順も記憶されている。
【００２３】
９は、デジタルカメラ等で一般的なコンパクトフラッシュ（登録商標）のカードのインターフェイス部であり、差し込まれたコンパックトフラッシュカードのデータの読み込み書き込みを実現し、画像データ等を記憶することができる。
【００２４】
１０は、一般的なＵＳＢインターフェイス部であり、６のＣＰＵによって制御され、一般のパーソナルコンピュータと接続して、手書き軌跡データや画像データ等のやり取りを行うことができる。
【００２５】
１２は、一般的な時計チップで、日付時間を設定でき、バッテリーにより動作する。６のＣＰＵによって、時刻の設定、読み出しを行うことができ、撮影時の撮影時刻の記録に使用する。
【００２６】
図３は本発明実施例の処理構成図である。
【００２７】
２−１は、図２で説明した、位置座標入力部であり、ペンで押圧することにより、その押圧した位置の位置座標が入力されるわけである。図のように表示上に手書き文字軌跡を書くことにより、手書き文字を入力することができる。
【００２８】
２−２は、表示部で、従来からある液晶表示部と表示制御部で構成され、位置座標入力部の下側に位置し、表示制御部内のＶＲＡＭに書かれたデータによって、文字や手書き軌跡を表示する。
【００２９】
４は、一般的なデジタルカメラ部であり、レンズ、ＣＣＤ等の撮像素子、ＣＣＤの制御回路で構成されている。ＣＣＤの制御回路は１１のシステムバス経由で６のＣＰＵに接続している。撮影された画像データは、３−２の画像記録部に記録される。
【００３０】
３−１は、画像データ表示操作部であり、３のペンから入力される位置座標データによって、画像データの一覧表示や、画像データの検索処理を行う。
【００３１】
３−２は、画像記録部であり、４のデジタルカメラから送られてくるデジタル画像をデジタルファイルとして画像メディアに記録し、そのデジタル画像ファイルの、撮影時刻を、１２の時計チップから読み出される時間情報によって記録する。
【００３２】
３−３は、同一撮影間隔決定手段で、３−２の撮影画像記録部に記録されている画像の撮影時刻の分布等を見て、画像をグループ化する閾値である撮影間隔時間を決定する。
【００３３】
３−４は、画像データグループ化手段で、３−３で決定された撮影間隔時間を閾値として、３−２の画像記録部に記録してあるデジタル画像ファイルの撮影時間を元に、画像ファイルの分類を決定する。
【００３４】
３−５は、グループ別画像一覧手段で、３−４で決定されたグループ別にデジタル画像の表示イメージを作成し、ユーザが画像を検索しやすい表示を２−２の表示部に表示する。
【００３５】
図４は、画像データの記録構造を表した概念図である。
【００３６】
一つの画像ファイルは、画像ファイルヘッダーと画像データから構成されている。４−８の画像ファイルは従来から使われている一般的な画像フォーマットで構わない。ここでは、ＪＰＥＧで記録されていることとする。４−１から４−７までが画像ファイルヘッダーで、画像ファイル名や撮影日や画像データサイズが記録されている。
【００３７】
４−２は、撮影日情報記録領域で、その画像を撮影した年日時分が記録されている。
【００３８】
４−７は、グループ番号記録領域で、フローチャート６の処理で決定されたグループ番号が記録される。
【００３９】
図５は、グループ別の画像一覧表示例である。
【００４０】
図５の５−１は画像一覧表示のスクロール指示領域で、５−２のスクロールバーを３のペン操作によって移動することにより、その移動量に応じて、５−３の画像一覧表示の画面をスクロールさせる。５−３は画像一覧表示画面で、本発明でグループ化された、画像の縮小表示オブジェクトが表示されている。
【００４１】
Ａ、Ｂ、Ｃ、Ｄはグループ化された、画像の縮小表示である。
【００４２】
図６、図７は、本発明実施例のフローチャートである。
【００４３】
図８は、選択したグループ画像の一覧表示例である。
【００４４】
８−１は、グループ画像一覧表示のスクロール指示領域で、８−２のスクロールバーを３のペン操作によって移動させることにより、その移動量に応じて、８−３のグループ画像一覧表示の画面をスクロールさせる。８−４は画像表示エリアで、選択されている画像の表示が行われる。８−５は、画像の情報表示エリアで、画像ファイルのヘッダに記録されている、撮影時刻や、撮影時のシャッタースピード等の撮影情報等が表示される。
【００４５】
８−３は、グループ画像一覧表示エリアで、同一グループの画像の縮小表示が表示される。その縮小表示、３のペンで選択することにより、８−４の表示エリアに表示され、画像の詳細が判るようになっている。
【００４６】
上記構成で、図６、図７のフローチャートに沿って処理を説明する。
【００４７】
図６は、画像グループの決定処理を説明したフローチャートである。この処理の開始タイミングは、４のデジタルカメラ部で新たな画像を撮影したときか、画像ファイルを消去した時等である。
【００４８】
ステップＳ６−１において、画像グループの決定処理を開始する。ここで、ワーク領域等の初期化を行う。このフローチャートで表す処理が、３−３の、同一撮影間隔決定手段に相当する。通常、ユーザが画像を撮影する場合、ある程度の短い撮影間隔で、撮影を行い、その間の撮影画像はある一連の内容や意図を持った情報である。しかし、別グループにする撮影間隔の閾値は、保存する画像やユーザによって異なる場合もあるので、本処理において決定する。
【００４９】
ステップＳ６−２において、仮の撮影間隔閾値を１時間に設定する処理を行う。一般的なユーザの使用状況では、この１時間の設定で問題ない。この最初の仮設定値をユーザ設定で変更できるようにしても良い。この設定値が１時間であれば、撮影間隔１時間以上経過してから撮影した画像は、別グループとして取り扱われるわけである。
【００５０】
ステップＳ６−３において、最初の画像データを読み込み、その画像データの撮影時間を記憶する処理を行う。画像データは、デジカメ等で一般的なＪＰＥＧで記録されているので、そのヘッダーから撮影時間を読み込み、７のＲＡＭの記憶領域ｔｉｍｅ１に記憶する。
【００５１】
ステップＳ６−４において、次の画像ファイルを読み込み、その画像ファイルの撮影時間を記憶する処理を行う。画像ファイルのヘッダーから撮影時間を読み込み、７のＲＡＭの記憶領域ｔｉｍｅ２に記憶する。
【００５２】
ステップＳ６−５において、画像ファイル間の撮影間隔が閾値いじょうであるか、ないかの判断を行う。次の画像ファイルが閾値以上であれば、ステップＳ６−６に進み、そうでなければステップＳ６−８に進む。前に読み込んだ画像ファイルの撮影時間がｔｉｍｅ１に記憶されており、次に読み込んだ画像ファイルの撮影時間がｔｉｍｅ２に記憶されているので、ｔｉｍｅ２−ｔｉｍｅ１で、撮影間隔の時間が求められる。求めた撮影間隔時間と撮影間隔閾値ＤＴｉｍｅとの比較を行い、ＤＴｉｍｅ以上の時間が経過していれば、その次の画像を別グループにするわけである。
【００５３】
ステップＳ６−６において、ステップＳ６−４で読み込んだ画像データを別グループとする処理を行う。画像データには、図４に表したように、グループ番号を記録する領域４−７が存在するので、そこにグループ番号を記録するわけである。画像データは、一番古いデータを画像グループ番号０として、その次の画像グループ番号を１とする。その為、前の画像のグループ番号に１加算した番号を次の画像グループ番号として記憶する。
【００５４】
例えば、前の画像ファイルの画像グループ番号３で、次に読み込んだ画像ファイルの撮影間隔時間が撮影間隔閾値ＤＴｉｍｅより大きければ、次の画像ファイルは、画像グループ番号４として記憶される。
【００５５】
ステップＳ６−７において、全ての画像ファイルの処理を終了したかのチェックを行う。全ての画像ファイルの処理が終了したら、ステップＳ６−９に進み、まだ処理すべき、画像ファイルがあれば、ステップＳ６−８に進み画像ファイルの処理を続ける。画像ファイルの終了チェック処理自体は、普通のもので構わない、画像ファイルの個数が、７のＲＡＭの特定領域に記憶されていれば、処理した画像ファイルをカウントしていき、その値と比較することによって終了を判定できる。
【００５６】
ステップＳ６−８において、撮影時間の対象データの更新処理を行う。ｔｉｍｅ２に記憶されている現在注目している画像ファイルの撮影時間をｔｉｍｅ１に記憶する。それにより、現在の画像ファイルと次の画像ファイルの撮影時間間隔を測定できる訳である。
【００５７】
ステップＳ６−９において、１つの画像グループ内の画像ファイルの個数が３０以下であるかのチェックを行う。これは、ユーザが使用するときにグループ内のファイルの個数があまり多いと検索性が悪いために制限を設けたわけである。この３０という値は、ユーザの設定変更オペレーション等で、変更可能な値とする。この操作処理等は一般的なユーザインターフェイスで構わないので、説明を省く。画像データを最初から検索し、最初の画像グループから画像の個数をカウントし、もし、その画像グループの画像総数が閾値以上であれば、そこで処理を中止して、ステップＳ６−１０に進む。そうでなければ、次の画像グループに進み画像の個数をカウントし、前記判断を行う。上記処理を全画像グループ対して行い、全ての画像グループのカウント個数が閾値以下であれば、ステップＳ６−１１に進みこの画像グループ設定処理を終了する。
【００５８】
ステップＳ６−１０において、撮影間隔閾値ＤＴｉｍｅを半分にする処理を行う。撮影間隔閾値を短い時間にすれば、当然、１つの画像グループ内の画像ファイル数は少くなる事が予想される。そこで上記処理を行い、次にステップＳ６−３に進んで、最初から画像データ読み込んで、画像グループ分けを再度行う訳である。そして、グループ内のデータ個数が既定値以下になるまで、その処理を繰り返すわけである。
【００５９】
ステップＳ６−１１において、この画像グループ決定処理を終了する。
【００６０】
次に、フローチャート図７での処理を説明する。このフローチャートでは、グループ化されている画像ファイルの一覧表示の処理を説明する。このグループ化画像ファイルの一覧表示の開始は、ユーザが画像一覧表示を指定したときである。その指示自体は、一般的な処理なので、ここでの説明は省く。
【００６１】
ステップＳ７−１において、グループ化画像ファイル一覧表示処理を開始する。ここで、この処理で使う７のＲＡＭ内のワーク領域等の初期化を行う。
【００６２】
ステップＳ７−２において、画像ファイルの一覧表示形式のモードの判別を行う。本実施例では、２種類の一覧表示形式で表示を行う。１つ目の一覧表示形式は画像ファイルが同一グループ内の画像ファイルの個数によってソートされて表示される。画像ファイルの個数が一番多いものが最初に表示され、次に多いものが次ぎに表示されるわけである。
【００６３】
２つ目の一覧表示形式は画像ファイルが、同一グループ単位で撮影時間順に表示されるものである。図５がその表示例で、横軸が日付順を表しており、縦軸が時間順になっている。ユーザの指示によって決定されている画像一覧表示モードが、グループ内の画像ファイルの個数順表示であればステップＳ７−４に進み、日付順表示モードであればステップＳ７−３に進むように処理を行う。
【００６４】
ステップＳ７−３において、記憶順に画像ファイルを読み込む処理を行う。画像ファイルは、一般的な、デジタルカメラの画像メディアであるコンパクトフラッシュ（登録商標）カードに記録されている。そこで同一グループ画像ファイルを最初から７のＲＡＭ内の作業バッファ内に撮影日時順に読み込む処理を行う。画像ファイルは一般的な、ＪＰＥＧファイルとして存在するので、ＪＰＥＧファイル内のヘッダー情報から、画像グループ番号、撮影日時情報を読み込んで、そのデータでソートしながら全てのファイルを読み込めば良いわけである。
【００６５】
ステップＳ７−４において、画像グループ内の画像数が多い順にグループ番号をソートして記憶する処理を行う。まずは、コンパクトフラッシュ（登録商標）カードに記録されているＪＰＥＧ画像ファイルを同一画像グループ番号毎に７のＲＡＭ内の作業バッファ内に読み込んでいく、その時に同一グループ内の画像数をカウントして、７のＲＡＭ内の特定領域に記憶する。その記憶した画像数の多い順に画像グループの番号をソートし、画像数が同一の画像グループの場合は、撮影日時の古い順とする。
【００６６】
ステップＳ７−５において、上記ソートした画像グループ番号順に７のＲＡＭ内の作業バッファ内の画像ファイルをソートする。
【００６７】
ステップＳ７−６において、７のＲＡＭ内の作業バッファ内に記憶されている順に同一画像グループの画像ファイルを読み込み、グループ別の最初の画像の縮小表示を作成する。縮小表示の作成アルゴリズム自体は一般的なアルゴリズムで構わない。
【００６８】
ステップＳ７−７において、前記ステップで作成した縮小表示を２−２の表示部に表示する処理を行う。一覧表示のモードが、画像データの個数によって表紙されている場合は、図５Ｂで表したように表示される。横軸は、画像数順に表示を行い、同一画像数の画像グループに関しては、縦軸を撮影日時順に表示する。即ち、ステップＳ７−５において作業バッファ内にグループ内の画像数順に記憶されているので、その画像ファイル数の最大が、図５Ｂの例の場合は、４枚なので、４枚の表示位置にグループＥ、グループＦの表示を行う。同一画像数の時は、縦軸は撮影日時順に表示するので、グループＥの撮影日時が９９／８／３０で、グループＦの撮影日時が９９／１２／２４なら、図５Ｂの様に表示されるわけである。
【００６９】
また、一覧表示のモードが、撮影時間順に表示されるモードであれば、図５Ａで表したように表示される。横軸は、撮影日順になっている。古いほうを左に、新しいものを右にしている。同一撮影日の画像グループで時間が異なる画像グループの場合は、縦軸は、時間順に表示している、時間が古いものを上に、時間が新しいものを下に表示している。
【００７０】
１つの画像グループの表示は、画像グループ内の最初の画像ファイルの縮小表示が一番上に表示される。次の画像データが存在すれば、最初の画像の縮小表示から、右下へ、３ドットずらした位置に、次の画像データの縮小表示が下になるように表示する。この様に表示を行うことによって、図５ＡのＡの様な表示例になるわけである。
【００７１】
次にステップＳ７−８において、グループ選択表示の切り替え処理を行う。ステップＳ７−７の処理が終了したら、ユーザの指示操作待ちの処理を行う。そして、ユーザによる指示が入力されたらその指示の種類をチェックする。ユーザが３のペンを使用して、図５Ａの表示例の場合だと、Ａの画像グループの表示上でペンダウンして、ペンアップすると、画像グループへの選択指示として、ステップＳ７−９へ進む。もし画像グループ上以外の座標が入力された場合は、選択指示では無いのでステップＳ７−１０に進む。
【００７２】
ステップＳ７−９において、選択された画像グループの一覧表示を行う。図８が、グループ画像の一覧表示例である。選択された画像グループ内の画像の縮小表示が８−３内に表示される。その縮小画像をペンで指示することによって選択することができ、選択された画像の詳細表示が、８−４に表示される。その画像の撮影情報等が８−５の領域に表示される。もし、選択された画像グループ内の画像数が多く、８−３の表示領域に全てを表示できない場合は、８−１の領域にスクロールバーを表示させ、スクロールバーをペンで操作することにより、画像の一覧の表示を変化させるように制御する。（これは一般的な従来から処理手順で構わない。）
本実施例では、グループ化された画像に対する表示操作だけを説明したが、メニュー指示や、ペン操作におけるジェスチャー指示を設けることによって、この画面で、グループ化された画像に対して、印刷指示や、電子メール等への転送指示を行う構成にしても良い。操作指示は、従来からある構成で構わない、その操作対象となる画像ファイルが、本特許で説明している、画像グループ単位の画像ファイルであり、その画像グループ単位の画像ファイルに対して、指示された印刷処理や、電子メールへの転送処理を行えば良いわけである。
【００７３】
ステップＳ７−１０において、スクロール指示操作であるかのチェックを行う。５−１のエリア内の位置座標が入力された場合は、スクロール指示であるので、ステップＳ７−１１に進み、それ以外の座標である場合は、ステップＳ７−１２に進み、画像一覧表示の処理を終了する。
【００７４】
ステップＳ７−１１において、スクロール処理を行う。スクロール処理自体は従来からある処理手順で構わない。スクロールバーを３ペンで移動させることにより、その移動量に応じで、５−３の画像一覧表示領域をスクロールさせて、画面を更新させ、現在見えていない画像グループの表示を表示させるわけである。その新たな表示の更新が終了したら、又ユーザの操作指示待ちになるわけである。
【００７５】
以上説明した構成で、画像情報処理装置を作ることにより、撮影した画像ファイルのグループ化が自動で行われて保存されるため、検索性や他の操作指示等も使いやすい画像処理装置が実現できる。
【００７６】
（第２の実施例）
第一の実施例では、撮影時刻の情報を用いて、画像のグループ化を行ってきたわけであるが、別の情報データとして、撮影後の画像データに対する操作指示を利用する構成も考えられる。上記構成にすると、色々な場面で使った画像に対する利用度を画像の表示等の操作に反映することができて使いやすい画像情報処理装置を実現できる。
【００７７】
図９は、第２実施例の処理構成図である。２−１、２−２、３−１、３−２、４、１２は第一実施例と同じ処理手段のため説明を省く。
【００７８】
９−１は、画像利用度決定手段で、画像に対する情報処理操作の種類によりその画像の利用度を決定し、その利用度の値を９−２の画像利用度記憶手段に送る。
９−２は、画像利用度記憶手段で、９−１から送られて画像利用度の値を元に画像ファイル内の画像利用度の更新を行う。
【００７９】
９−３は、画像利用度別グループ一覧手段で、９−２の画像利用度記憶手段で更新された画像データの画像利用度別に一覧表示データを作成し、２−２の表示部に表示させる。
【００８０】
図１０は、画像操作内容とその操作に対応する画像利用度の値を表した表である。
【００８１】
図１１は、画像利用度別グループ一覧表示の表示例である。
【００８２】
図１２は、画像操作処理を表したフローチャートである。
【００８３】
図１３は、画像データの記録構造を表した概念図である。
【００８４】
１３−１は、画像ファイル名で、この画像データのファイル名が格納されている。
【００８５】
１３−２は、撮影日情報で、この画像ファイルが撮影されたときの日時が記憶されている。
【００８６】
１３−３は、ファイル最終アクセス情報で、この画像ファイルに対する最終読み出し処理時の日時情報が記憶されている。
【００８７】
１３−４は、撮影情報で、撮影時の絞りとか、シャッタースピードとかデジタルカメラにおける撮影情報が記憶されている。
【００８８】
１３−５は、この画像に対する編集情報で、この画像のカラーバランスを変更したり修正等の編集操作を行った履歴が記憶されている。
【００８９】
１３−６は、操作履歴情報で、この画像に対する操作指示の履歴の最新のものが記憶されている。
【００９０】
１３−７は、画像利用度情報で、この画像に対する利用度の値の累積値が記憶されている。この画像が作成された時には、ここには１が記憶されており、画像に対する操作が行われるとそれに応じて値が加算されていくわけである。
１３−８は、画像データで、従来からある一般的な画像フォーマットのＪＰＥＧの画像データが記録されている。
【００９１】
図１４は、画像利用度別一覧表示処理を表したフローチャートである。
【００９２】
図１２、図１４のフローチャートに沿って処理を説明する。
ステップＳ１２−１において、画像操作処理を開始する。ここで、ワーク領域等の初期化を行う。このフローチャートで表す処理で９−１の画像利用度決定手段を実現する。ユーザが画像データに対する処理を指示した場合、この画像操作処理が開始される。
【００９３】
ステップＳ１２−２において、画像操作コマンドの入力処理を行う。実際の画像操作コマンドの入力処理は、従来からある、メニュー選択処理や、ジェスチャーコマンド等によって行う。ユーザは画像を選択し、その画像に対して行いたい種類のコマンドメニューを選択する。選択された画像と画像に対して指示されたコマンドを７のＲＡＭ内の特定領域に記憶する。
【００９４】
ステップＳ１２−３において、入力コマンドの種類で画像利用度テーブルを検索する。図１０に表したように、画像に対する操作内容とそれに応じた画像利用度の値が、８のＲＯＭ内に記憶されているので、ステップＳ１２−２で記憶した操作種類に応じた画像利用度の値を取得する。
【００９５】
ステップＳ１２−４において、対象画像ファイルの画像利用度を加算して記憶する処理を行う。対象画像利用度は、図１３で表わした様に画像データ内のヘッダー内の特定領域に記憶領域が設けられている。ステップＳ１２−３で取得した画像利用度をヘッダー内の画像利用度の値に加算して、ヘッダー内の画像利用度の値を更新する。
【００９６】
例えば、撮影したばかりの画像に対して、その画像ファイルを電子メイルに添付する処理が指示されたときの処理を説明すると。添付処理を行う前の画像ファイルの画像利用度は撮影されたばかりであるので、新規作成時の１が記憶されいる。図１０の様に、画像をメイルに添付の操作に対応する画像利用度は＋１なので、新規の値１に＋１を加算して、２になり、その対象の画像ファイルの画像利用度は２に更新されるわけである。
【００９７】
ステップＳ１２−５において、対象画像の操作処理の実行をおこなう。操作処理の詳細については、従来の情報処理装置で行っている処理と同様に実行するだけなのでここでの詳細な説明は省く。もし、画像をメイルに添付の処理であれば、その選択されている画像を添付ファイルとして電子メイルのデータに付属させ、電子メイルのアプリケーションで宛先等の必要な情報を入力させ、インターネット等へ一般的な通信プロトコルで送り出すわけである。
【００９８】
ステップＳ１２−６において、一定期間アクセスされない画像ファイルを検索する。個々の画像ファイルの画像ヘッダーの１３−３のファイル最終アクセス日の情報を検査することによって、一定期間アクセスされていない画像ファイルを検出することができる。この処理自体は、一定期間に一回行えば良い。一定期間とは、ユーザの設定によって変更可能であるが、例えば１年間とかである。もし１年間アクセスされていない画像ファイルを検出したらその画像ファイルを記憶する。
【００９９】
ステップＳ１２−７において、検出した画像ファイルの利用度を減算して記憶する処理を行う。ステップＳ１２−６で検出した画像ファイルの利用度を読み出しその値に−２を減算するわけである。例えば、利用度４の画像ファイルが１年間以上アクセスされていないと４−２＝２に更新されるわけである。
【０１００】
ステップＳ１２−８で、画像操作処理を終了する。
【０１０１】
次に、画像利用度別一覧表示の処理を説明する。ユーザが画像利用度別一覧表示の開始を指示するとこの処理が実行されるわけである。
【０１０２】
ステップＳ１４−１で、画像利用度別一覧表示処理を開始する。ここで、ワーク領域等の初期化を行う。
【０１０３】
ステップＳ１４−２で、画像利用度の値で画像ファイルをソートする。画像ファイルのヘッダーの１３−７の画像利用度値の高い順にソートする。色々な画像操作処理を行った画像の利用度が高くなり、使われない画像の利用度は低くなっているわけで、その順にソートを行う。
【０１０４】
ステップＳ１４−３で、同一画像利用度の画像はファイルアクセス時間の新らしいものから順にソートする。
【０１０５】
ステップＳ１４−４において、ソートされた画像の縮小表示を順次表示する。図の１１が表示例で、１１−３がソートされた画像の縮小表示が表示される領域である。グループ１に一番利用度が高い画像が表示されていて、Ｈの画像が最近アクセスしており、Ｉの画像が前にアクセスしている。グループ２に次に利用度が高い画像が表示されている。
【０１０６】
ステップＳ１４−５において、画面操作の処理を行う。１１−１のスクロールバー内の座標が３のペンによって入力されたら、その移動量に応じて、縮小画像表示画面をスクロールさせる。もし、ある画像上の座標が入力されたら、その画像の拡大表示を行う。
【０１０７】
上記操作処理が終了したら、画像利用度別一覧表示の処理を終了させる。
以上説明した構成で、画像情報処理装置を作ることにより、画像利用度によってソートした一覧表示が行える画像処理装置が実現できる。これにより、良く使う画像は、直ぐ探すことができる。又、アクセスをあまりしない画像も、この利用度情報によってわかるので、消去を行う場合や、他の機械等へ移動するときなどに便利である。この表示方法と、実施例１の表示方法を１つの機械で同時に実装しても問題はなく、その時のユーザの要望に合わせて表示方法を変えれば良いわけである。
【０１０８】
【発明の効果】
以上説明したように本発明によれば、同一撮影時間間隔決定手段と同一撮影間隔内画像データグループ選別手段と、記憶画像データグループ別表示手段とを設け、ある撮影間隔で撮影した画像を、１連の撮影を１グループとして選別することにより、撮影画像が自動的に階層的に記憶されることによって、画像一覧時に簡単に目的の画像を探すことができる。
【０１０９】
また、画像利用度決定手段と画像利用度記憶手段と画像利用度別一覧手段とを設けることにより、良く使われた重要である画像を直ぐ見つけることができたり、全然使われない画像等を簡単に探すこともできる、画像情報処理装置を実現できる。
【図面の簡単な説明】
【図１】本発明の実際の使用形態を表す図である。
【図２】本発明の携帯情報機器のブロック図である。
【図３】本発明実施例の処理構成図である。
【図４】画像データの構造図である。
【図５】Ａ、Ｂは、画像一覧表示の画面例である。
【図６】フローチャートである。
【図７】フローチャートである。
【図８】画像の表示例である。
【図９】第２実施例の処理構成図である。
【図１０】画像利用度テーブルの表である。
【図１１】画像利用度別グループ一覧表示の表示例である。
【図１２】第２実施例のフローチャートである。
【図１３】画像データの記録構造を表した概念図である。
【図１４】第２実施例のフローチャートである。
【符号の説明】
１ 携帯情報端末
２−１ 位置座標入力部
２−２ 画像表示部
３ ペン
４ カメラ部
５ パソコン
６ ＣＰＵ
７ ＲＡＭ
８ ＲＯＭ
９ 画像メディアインターフェイス
１０ ＵＳＢインターフェイス
１１ システムバス
１２ 時計チップ[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to an image information processing method for photographing a still image and a moving image, displaying the photographed images in a list, and facilitating a search or the like.
[0002]
[Prior art]
As described in Japanese Patent Application Laid-Open No. 2001-69458, there is a conventional device that has a means for grouping photographed images at a timing when the date changes or when the number of photographed images exceeds a certain number. did.
[0003]
In addition, there is an apparatus in Japanese Patent Application Laid-Open No. Hei 5-165935 or the like in which a means for grouping based on only the photographing date is provided.
[0004]
[Problems to be solved by the invention]
By the way, in the apparatus disclosed in Japanese Patent Application Laid-Open No. 2001-69458 or the like, even if a series of photographing is performed, if the date changes or if a certain number of pictures are taken, the pictures are sorted into another group, so that the user is easy to use. I couldn't say. Objects that the user considers to be a series of shooting data are stored in another group, making it difficult to search.
[0005]
In the case where the images are grouped only by the photographing date as in Japanese Patent Application Laid-Open No. 5-165935 or the like, images photographed for different purposes in the same day become the same group, making it difficult to search.
[0006]
[Means for Solving the Problems]
The present invention has been made in view of such a problem.
[0007]
By providing the same photographing time interval determining means, image data group within the same photographing interval selecting means, and display means for each stored image data group, images photographed at a certain photographing interval are selected as one group of a series of photographing. The user can easily search for a target image when listing images.
[0008]
Further, by providing means for displaying the reduced images of the first and last images in the series of group images at the time of displaying the image group list, it is easy to search for the target image from the image group list display.
[0009]
In addition, by providing the image usage determining unit, the image usage storage unit, and the image usage-specific list unit, a list display for displaying images that are frequently used and images that are rarely used is realized.
[0010]
BEST MODE FOR CARRYING OUT THE INVENTION
FIG. 1 shows an actual use form of the present invention. Reference numeral 1 denotes a portable information device, which includes a camera unit, a liquid crystal display unit, a coordinate input unit including a resistive film, a CPU, a ROM, a RAM, a slot into which a recording medium is inserted, and a USB for connecting to another information device. And so on. An image captured by the camera unit is displayed on the liquid crystal display unit, and memo information and the like to be added to the image are created based on locus data input by the coordinate input unit. The ROM stores information processing procedures of the portable information device including the present invention. The RAM stores image data, input trajectory data, and the like.
[0011]
The input handwritten trajectory data is added as an image memo as it is without being recognized, or is added as text data by the recognition means. The image data to which the memo information has been added is sent to a personal computer through a USB interface by a user's instruction operation. Alternatively, the image data is sent to a personal computer or a printer via a recording medium.
[0012]
Reference numeral 2 denotes a general liquid crystal display unit, and a general transparent resistive film digitizer for inputting coordinates is mounted on the upper surface of the liquid crystal display unit. By pressing the pen on the display screen with the three pens, a handwritten locus can be input. When an instruction to display a list of images is given by an operation performed with the pen 3, the processing of the present invention is performed, and the list of images is displayed on the liquid crystal display screen.
[0013]
Reference numeral 3 denotes a general pen, which is used for inputting handwritten trajectory information, soft buttons on a display screen, a soft keyboard, and the like.
[0014]
Reference numeral 4 denotes a general digital camera unit, which is configured by an image sensor such as a lens and a CCD. The captured image data is controlled by a CPU in one portable information device and stored in a RAM connected to the CPU.
[0015]
Reference numeral 5 denotes a general personal computer, which is connected to one portable information device through a USB interface. It is configured to process handwritten locus data and image data sent from one portable information device in accordance with a predetermined processing procedure.
[0016]
FIG. 2 is a block diagram of the portable information device according to the embodiment of the present invention.
[0017]
Reference numeral 2-1 denotes a position coordinate input unit, which is constituted by a resistive film digitizer arranged on the upper surface of the liquid crystal display unit 2-2. The resistive digitizer is connected to 6 CPUs via 11 system buses via a control circuit. By pressing the screen with the pen 3, the position coordinate data of the pressed position is read by the CPU 6. The read position coordinate data is stored in the RAM 7, and image data processing such as image data search, image data grouping, and handwritten locus data recognition processing are performed in accordance with the processing procedure in the ROM 8. It is executed.
Reference numeral 2-2 denotes a general liquid crystal display unit, which includes a liquid crystal display element, a liquid crystal control circuit, and a display memory, and is connected to six CPUs via eleven system buses. The image data and the handwritten locus data are displayed on the screen according to an instruction from the CPU 6.
[0018]
Reference numeral 3 denotes a general pen, which is used for inputting handwritten trajectory information and soft buttons on the display screen.
[0019]
Reference numeral 4 denotes a general digital camera unit, which includes a lens, an imaging device such as a CCD, and a CCD control circuit. The control circuit of the CCD is connected to 6 CPUs via 11 system buses. The CCD is controlled by the CPU 6, and the captured image is stored in the RAM 7.
[0020]
Reference numeral 6 denotes a general CPU, which is connected to a RAM 7, a ROM 8, a position coordinate input unit 2-1, and a liquid crystal display unit 2-2 via a system bus 11. The processing operation is performed by a program stored in the ROM.
[0021]
Reference numeral 7 denotes a general RAM, which is used for storing image data and as a work area of a program.
[0022]
Reference numeral 8 denotes a general ROM, which stores a control program for the CCD, a control program for the liquid crystal display, and the like. Also stored are processing procedures of the present invention, such as a handwritten trajectory recognition program and handwritten trajectory shape dictionary data.
[0023]
Reference numeral 9 denotes an interface unit of a card of a compact flash (registered trademark) generally used in a digital camera or the like, which can read and write data of an inserted compact flash card and store image data and the like.
[0024]
Reference numeral 10 denotes a general USB interface unit, which is controlled by the CPU 6 and can exchange handwritten locus data, image data, and the like by connecting to a general personal computer.
[0025]
Reference numeral 12 denotes a general clock chip which can set a date and time and is operated by a battery. The time can be set and read out by the CPU 6 and used for recording the photographing time at the time of photographing.
[0026]
FIG. 3 is a processing configuration diagram of the embodiment of the present invention.
[0027]
Reference numeral 2-1 denotes the position coordinate input unit described with reference to FIG. 2, and when pressed with a pen, the position coordinates of the pressed position are input. By writing a handwritten character trajectory on the display as shown in the figure, a handwritten character can be input.
[0028]
Reference numeral 2-2 denotes a display unit which includes a conventional liquid crystal display unit and a display control unit, and is located below the position coordinate input unit. Is displayed.
[0029]
Reference numeral 4 denotes a general digital camera unit, which includes a lens, an imaging device such as a CCD, and a CCD control circuit. The control circuit of the CCD is connected to 6 CPUs via 11 system buses. The photographed image data is recorded in the image recording unit 3-2.
[0030]
Reference numeral 3-1 denotes an image data display operation unit, which performs a list display of image data and a search process of image data based on position coordinate data input from the pen 3.
[0031]
Reference numeral 3-2 denotes an image recording unit which records a digital image sent from the digital camera 4 as a digital file on an image medium, and sets the photographing time of the digital image file to the time read from the 12 clock chips. Record with information.
[0032]
Reference numeral 3-3 denotes an identical photographing interval determining unit that determines a photographing interval time, which is a threshold for grouping images, by looking at a distribution of photographing times of images recorded in the photographed image recording unit 3-2. .
[0033]
Reference numeral 3-4 denotes an image data grouping unit that sets the image capturing interval time determined in step 3-3 as a threshold value and stores the image file based on the image capturing time of the digital image file recorded in the image recording unit 3-2. Determine the classification.
[0034]
Reference numeral 3-5 denotes group-by-group image listing means for creating display images of digital images for each group determined in 3-4, and displaying a display that makes it easy for the user to search for images on the display unit 2-2.
[0035]
FIG. 4 is a conceptual diagram showing a recording structure of image data.
[0036]
One image file includes an image file header and image data. The image file of 4-8 may be a general image format conventionally used. Here, it is assumed that the image is recorded in JPEG. Reference numerals 4-1 to 4-7 denote image file headers, in which image file names, shooting dates, and image data sizes are recorded.
[0037]
4-2, a shooting date information recording area in which the date and time when the image was shot is recorded.
[0038]
Reference numeral 4-7 denotes a group number recording area in which the group number determined in the process of the flowchart 6 is recorded.
[0039]
FIG. 5 is an example of an image list display for each group.
[0040]
In FIG. 5, reference numeral 5-1 denotes a scroll instruction area for displaying an image list. By moving a scroll bar 5-2 by operating a pen 3, a screen for displaying an image list 5-3 is displayed in accordance with the amount of movement. Scroll. Reference numeral 5-3 denotes an image list display screen on which reduced image display objects grouped in the present invention are displayed.
[0041]
A, B, C, and D are the reduced display of the grouped images.
[0042]
6 and 7 are flowcharts of the embodiment of the present invention.
[0043]
FIG. 8 is a list display example of the selected group images.
[0044]
8-1 is a scroll instruction area for group image list display. By moving the scroll bar of 8-2 by operating the pen 3, the screen of group image list display of 8-3 is displayed according to the amount of movement. Scroll. An image display area 8-4 displays the selected image. Reference numeral 8-5 denotes an image information display area which displays shooting information, such as a shooting time and a shutter speed at the time of shooting, recorded in the header of the image file.
[0045]
Reference numeral 8-3 denotes a group image list display area in which reduced displays of images of the same group are displayed. The reduced display is displayed in the display area 8-4 by selecting with the pen 3 and the details of the image can be understood.
[0046]
With the above configuration, processing will be described with reference to the flowcharts of FIGS.
[0047]
FIG. 6 is a flowchart illustrating the process of determining an image group. The start timing of this processing is when a new image is shot by the digital camera unit 4, when an image file is deleted, or the like.
[0048]
In step S6-1, the image group determination process starts. Here, the work area and the like are initialized. The processing represented by this flowchart corresponds to the same photographing interval determination means 3-3. Normally, when a user shoots an image, the image is shot at a certain short shooting interval, and the shot image during that time is information having a certain series of contents and intention. However, the threshold value of the photographing interval in another group may be different depending on the image to be stored and the user, and thus is determined in this processing.
[0049]
In step S6-2, a process of setting the temporary shooting interval threshold to one hour is performed. In a general user's usage situation, there is no problem with this one hour setting. The initial temporary setting value may be changed by user setting. If the set value is one hour, images taken after a lapse of one hour or more have been handled as another group.
[0050]
In step S6-3, a process of reading the first image data and storing the shooting time of the image data is performed. Since the image data is recorded in general JPEG by a digital camera or the like, the photographing time is read from the header and stored in the storage area time1 of the RAM 7.
[0051]
In step S6-4, a process of reading the next image file and storing the shooting time of the image file is performed. The photographing time is read from the header of the image file, and stored in the storage area time2 of the RAM 7.
[0052]
In step S6-5, it is determined whether the shooting interval between the image files is equal to or smaller than the threshold. If the next image file is equal to or larger than the threshold value, the process proceeds to step S6-6; otherwise, the process proceeds to step S6-8. Since the shooting time of the previously read image file is stored in time1, and the shooting time of the next read image file is stored in time2, the time of the shooting interval is obtained by time2−time1. The obtained photographing interval time is compared with the photographing interval threshold value DTime, and if a time equal to or longer than DTime has elapsed, the next image is put into another group.
[0053]
In step S6-6, the image data read in step S6-4 is processed into another group. In the image data, as shown in FIG. 4, there is an area 4-7 for recording a group number, and the group number is recorded there. In the image data, the oldest data is set to the image group number 0, and the next image group number is set to 1. Therefore, the number obtained by adding 1 to the group number of the previous image is stored as the next image group number.
[0054]
For example, with the image group number 3 of the previous image file, if the shooting interval time of the next read image file is larger than the shooting interval threshold DTime, the next image file is stored as the image group number 4.
[0055]
In step S6-7, it is checked whether the processing of all image files has been completed. When the processing of all the image files is completed, the process proceeds to step S6-9. If there are still image files to be processed, the process proceeds to step S6-8 to continue the processing of the image files. The image file end check processing itself may be a normal one. If the number of image files is stored in a specific area of the RAM 7, the processed image files are counted and compared with the value. Thus, the end can be determined.
[0056]
In step S6-8, a process of updating the target data of the shooting time is performed. The shooting time of the currently focused image file stored in time2 is stored in time1. Thus, the photographing time interval between the current image file and the next image file can be measured.
[0057]
In step S6-9, it is checked whether the number of image files in one image group is 30 or less. This is because if the number of files in the group is too large when the user uses it, the searchability is poor, so that a limitation is provided. This value of 30 is a value that can be changed by a user setting change operation or the like. This operation processing and the like may be performed by a general user interface, and thus description thereof is omitted. Image data is searched from the beginning, and the number of images is counted from the first image group. If the total number of images in the image group is equal to or larger than the threshold, the process is stopped there and the process proceeds to step S6-10. Otherwise, proceed to the next image group, count the number of images, and make the above determination. The above processing is performed for all image groups, and if the counted number of all image groups is equal to or smaller than the threshold, the process proceeds to step S6-11, and the image group setting processing ends.
[0058]
In step S6-10, a process of halving the photographing interval threshold DTime is performed. If the photographing interval threshold is set to a short time, it is naturally expected that the number of image files in one image group will decrease. Therefore, the above processing is performed, and then the process proceeds to step S6-3, where the image data is read from the beginning, and the image grouping is performed again. Then, the processing is repeated until the number of data in the group becomes equal to or less than the predetermined value.
[0059]
In step S6-11, the image group determination process ends.
[0060]
Next, the processing in the flowchart in FIG. 7 will be described. In this flowchart, a process of displaying a list of image files that are grouped will be described. The list display of the grouped image files is started when the user designates the image list display. Since the instruction itself is a general process, the description is omitted here.
[0061]
In step S7-1, a grouped image file list display process is started. Here, the work area in the RAM 7 used in this processing is initialized.
[0062]
In step S7-2, the mode of the list display format of the image file is determined. In the present embodiment, display is performed in two types of list display formats. In the first list display format, image files are sorted and displayed according to the number of image files in the same group. The one with the largest number of image files is displayed first, and the one with the next largest number is displayed next.
[0063]
In the second list display format, image files are displayed in the same group unit in the order of shooting time. FIG. 5 shows an example of the display, in which the horizontal axis indicates the date order and the vertical axis indicates the time order. If the image list display mode determined by the user's instruction is display in the order of the number of image files in the group, the process proceeds to step S7-4, and if the image list display mode is the date order display mode, the process proceeds to step S7-3. Do.
[0064]
In step S7-3, a process of reading image files in the order of storage is performed. The image file is recorded on a compact flash (registered trademark) card which is a general digital camera image medium. Therefore, the same group image file is read from the beginning into the work buffers in the seven RAMs in the order of the shooting date and time. Since the image file exists as a general JPEG file, it is sufficient to read the image group number and the shooting date and time information from the header information in the JPEG file, and read all the files while sorting the data.
[0065]
In step S7-4, a process of sorting and storing the group numbers in descending order of the number of images in the image group is performed. First, the JPEG image files recorded on the CompactFlash (registered trademark) card are read into the working buffer in the RAM 7 for each same image group number. At that time, the number of images in the same group is counted. 7 in a specific area in the RAM. The numbers of the image groups are sorted in descending order of the number of stored images, and in the case of image groups having the same number of images, the images are sorted in chronological order of the shooting date and time.
[0066]
In step S7-5, the image files in the work buffer in the RAM 7 are sorted in the order of the sorted image group numbers.
[0067]
In step S7-6, the image files of the same image group are read in the order stored in the work buffer in the RAM of 7, and a reduced display of the first image for each group is created. The algorithm for creating the reduced display itself may be a general algorithm.
[0068]
In step S7-7, a process of displaying the reduced display created in the above step on the display unit 2-2 is performed. When the list display mode is covered by the number of image data, the display is performed as shown in FIG. 5B. The horizontal axis displays the images in the order of the number of images, and the image group of the same number of images displays the vertical axis in the order of the shooting date and time. That is, since the number of images in the group is stored in the work buffer in step S7-5 in the order of the number of images in the group, the maximum number of image files is four in the example of FIG. E and group F are displayed. When the number of images is the same, the vertical axis is displayed in the order of photographing date and time. If the photographing date and time of group E is 99/8/30 and the photographing date and time of group F is 99/12/24, it is displayed as shown in FIG. 5B. That is.
[0069]
If the mode of the list display is a mode in which the images are displayed in the order of the shooting time, the list is displayed as shown in FIG. 5A. The horizontal axis is in order of shooting date. The old one is on the left and the new one is on the right. In the case of an image group having the same shooting date and an image group having a different time, the vertical axis is displayed in chronological order. The image with the oldest time is displayed above and the image with the newest time is displayed below.
[0070]
In the display of one image group, the reduced display of the first image file in the image group is displayed at the top. If the next image data exists, the reduced display of the next image data is displayed at a position shifted by three dots to the lower right from the reduced display of the first image so that the reduced display of the next image data is lower. By performing the display in this manner, a display example as shown in A of FIG. 5A is obtained.
[0071]
Next, in step S7-8, switching processing of group selection display is performed. Upon completion of the process in the step S7-7, a process of waiting for a user's instruction operation is performed. When an instruction is input by the user, the type of the instruction is checked. In the case of the display example of FIG. 5A, when the user uses the pen 3 and moves down the pen on the display of the image group A and pen-ups, the process proceeds to step S7-9 as a selection instruction to the image group. . If coordinates other than those on the image group are input, the process proceeds to step S7-10 because there is no selection instruction.
[0072]
In step S7-9, a list of the selected image groups is displayed. FIG. 8 shows a list display example of group images. A reduced display of the images in the selected image group is displayed in 8-3. The reduced image can be selected by pointing with a pen, and the detailed display of the selected image is displayed in 8-4. The shooting information and the like of the image are displayed in an area 8-5. If the number of images in the selected image group is large and not all images can be displayed in the display area 8-3, a scroll bar is displayed in the area 8-1 and the scroll bar is operated with a pen. Control is performed to change the display of the image list. (This may be a general conventional processing procedure.)
In the present embodiment, only the display operation for the grouped images has been described. However, by providing a menu instruction or a gesture instruction for pen operation, a print instruction or a print instruction for the grouped images is provided on this screen. A configuration for giving a transfer instruction to an electronic mail or the like may be adopted. The operation instruction may have a conventional configuration, and the image file to be operated is an image file in image group units described in this patent, and an instruction is given to the image file in image group units. That is, it is only necessary to perform the print processing and the transfer processing to the electronic mail.
[0073]
In step S7-10, it is checked whether the operation is a scroll instruction operation. If the position coordinates in the area 5-1 are input, it is a scroll instruction, so the process proceeds to step S7-11, and if the coordinates are other than the above, the process proceeds to step S7-12 to perform image list display processing. To end.
[0074]
In step S7-11, scroll processing is performed. The scroll processing itself may be a conventional processing procedure. By moving the scroll bar with three pens, the image list display area 5-3 is scrolled according to the amount of movement, the screen is updated, and the display of the image group that is not currently visible is displayed. . When the update of the new display is completed, the user waits for an operation instruction again.
[0075]
By creating an image information processing apparatus with the above-described configuration, a grouping of captured image files is automatically performed and stored, so that an image processing apparatus that can easily use searchability and other operation instructions can be realized. .
[0076]
(Second embodiment)
In the first embodiment, the images are grouped using the information of the shooting time. However, a configuration in which an operation instruction for the image data after shooting is used as another information data is also conceivable. With this configuration, it is possible to realize an easy-to-use image information processing apparatus that can reflect the degree of use of images used in various scenes in operations such as image display.
[0077]
FIG. 9 is a processing configuration diagram of the second embodiment. 2-1 to 2-2, 3-1, 3-2, 4 and 12 are the same processing means as in the first embodiment, and will not be described.
[0078]
An image usage determining unit 9-1 determines the usage of the image according to the type of information processing operation on the image, and sends the value of the usage to the image usage storage unit 9-2.
Reference numeral 9-2 denotes an image usage storage unit for updating the image usage in the image file based on the value of the image usage sent from 9-1.
[0079]
Reference numeral 9-3 denotes an image usage-specific group list unit, which creates list display data for each image usage of the image data updated by the image usage storage unit 9-2 and displays the list display data on the display unit 2-2. .
[0080]
FIG. 10 is a table showing image operation contents and image utilization values corresponding to the operation.
[0081]
FIG. 11 is a display example of a group list display by image usage degree.
[0082]
FIG. 12 is a flowchart showing the image operation processing.
[0083]
FIG. 13 is a conceptual diagram showing a recording structure of image data.
[0084]
13-1 is an image file name which stores the file name of the image data.
[0085]
13-2 is shooting date information which stores the date and time when this image file was shot.
[0086]
Reference numeral 13-3 denotes file last access information in which date and time information at the time of the last reading process for this image file is stored.
[0087]
Reference numeral 13-4 denotes shooting information which stores shooting aperture, shutter speed, and shooting information of the digital camera.
[0088]
Reference numeral 13-5 denotes editing information for the image, which stores a history of editing operations such as changing or correcting the color balance of the image.
[0089]
13-6 is operation history information which stores the latest operation instruction history for this image.
[0090]
13-7 is image usage information in which the cumulative value of the usage values for this image is stored. When this image is created, 1 is stored here, and when an operation is performed on the image, the value is added accordingly.
Reference numeral 13-8 denotes image data in which JPEG image data in a general image format is recorded.
[0091]
FIG. 14 is a flowchart showing the image usage-specific list display processing.
[0092]
The processing will be described with reference to the flowcharts of FIGS.
In step S12-1, image operation processing is started. Here, the work area and the like are initialized. The processing shown in this flowchart realizes the image usage determining unit 9-1. When the user instructs processing on image data, the image operation processing is started.
[0093]
In step S12-2, input processing of an image operation command is performed. The actual input operation of the image operation command is performed by a conventional menu selection process, a gesture command, or the like. The user selects an image and selects the type of command menu desired to be performed on the image. The selected image and the command specified for the image are stored in a specific area in the RAM 7.
[0094]
In step S12-3, the image utilization table is searched by the type of the input command. As shown in FIG. 10, since the operation content for the image and the value of the image utilization corresponding to the operation are stored in the ROM of 8, the image utilization corresponding to the operation type stored in step S12-2 is stored. Get the value.
[0095]
In step S12-4, a process of adding and storing the image usage of the target image file is performed. As shown in FIG. 13, the storage area of the target image utilization is provided in a specific area in the header of the image data. The value of the image usage in the header is updated by adding the image usage obtained in step S12-3 to the value of the image usage in the header.
[0096]
For example, a description will be given of a process when an instruction to attach an image file to an electronic mail is given for an image that has just been shot. Since the image utilization degree of the image file before the attachment processing is just photographed, 1 at the time of new creation is stored. As shown in FIG. 10, since the image utilization corresponding to the operation of attaching an image to a mail is +1, +1 is added to the new value 1 to become 2, and the image utilization of the target image file becomes 2. It will be updated.
[0097]
In step S12-5, an operation process for the target image is performed. The details of the operation processing are only executed in the same manner as the processing performed in the conventional information processing apparatus, and thus detailed description thereof will be omitted. If the process is to attach an image to mail, the selected image is attached to the e-mail data as an attached file, necessary information such as the destination is input by the e-mail application, and general information is sent to the Internet etc. It is sent by a typical communication protocol.
[0098]
In step S12-6, an image file that has not been accessed for a certain period is searched for. By checking the information of the last access date of the file 13-3 in the image header of each image file, an image file that has not been accessed for a certain period can be detected. This processing itself may be performed once in a certain period. The certain period can be changed by the user's setting, but is, for example, one year. If an image file that has not been accessed for one year is detected, that image file is stored.
[0099]
In step S12-7, a process of subtracting and storing the usage of the detected image file is performed. The usage of the image file detected in step S12-6 is read, and -2 is subtracted from the value. For example, if the image file of the usage degree 4 has not been accessed for one year or more, it is updated to 4-2 = 2.
[0100]
In step S12-8, the image operation processing ends.
[0101]
Next, a process of displaying a list according to image usage will be described. This processing is executed when the user instructs the start of the list display by image usage degree.
[0102]
In step S14-1, an image usage-specific list display process is started. Here, the work area and the like are initialized.
[0103]
In step S14-2, the image files are sorted by the value of the image usage. The image files are sorted in descending order of the image utilization values of 13-7 in the header of the image file. Since the usage of the image on which various image manipulation processes have been performed is high and the usage of the unused image is low, the images are sorted in that order.
[0104]
In step S14-3, the images having the same image usage degree are sorted in descending order of file access time.
[0105]
In step S14-4, the reduced images of the sorted images are sequentially displayed. 11 is a display example, and 11-3 is an area where a reduced display of the sorted image is displayed. The image with the highest usage is displayed in group 1, the image of H has been accessed recently, and the image of I has been accessed earlier. The image having the second highest usage is displayed in group 2.
[0106]
In step S14-5, a screen operation process is performed. When the coordinates in the scroll bar 11-1 are input by the pen 3, the reduced image display screen is scrolled according to the amount of movement. If coordinates on a certain image are input, the image is enlarged and displayed.
[0107]
When the above operation processing is completed, the processing of displaying the list by image usage is ended.
By forming an image information processing apparatus with the above-described configuration, an image processing apparatus capable of displaying a list sorted according to the degree of image use can be realized. As a result, frequently used images can be searched immediately. In addition, since images that are not frequently accessed can be identified by the usage information, it is convenient when erasing or moving to another machine or the like. There is no problem if this display method and the display method of the first embodiment are implemented simultaneously by one machine, and the display method may be changed according to the user's request at that time.
[0108]
【The invention's effect】
As described above, according to the present invention, the same photographing time interval determining means, image data group within the same photographing interval selecting means, and storage image data group displaying means are provided, and an image photographed at a certain photographing interval is set to 1 By selecting a series of shots as one group, the shot images are automatically and hierarchically stored, so that a desired image can be easily searched when listing images.
[0109]
In addition, by providing an image usage determining unit, an image usage storage unit, and an image usage-specific list unit, it is possible to quickly find frequently used important images or to easily remove images that are not used at all. An image information processing apparatus that can be searched for can be realized.
[Brief description of the drawings]
FIG. 1 is a diagram showing an actual use form of the present invention.
FIG. 2 is a block diagram of the portable information device of the present invention.
FIG. 3 is a processing configuration diagram of an embodiment of the present invention.
FIG. 4 is a structural diagram of image data.
FIGS. 5A and 5B are screen examples of an image list display.
FIG. 6 is a flowchart.
FIG. 7 is a flowchart.
FIG. 8 is a display example of an image.
FIG. 9 is a processing configuration diagram of a second embodiment.
FIG. 10 is a table of an image utilization table.
FIG. 11 is a display example of an image usage-specific group list display.
FIG. 12 is a flowchart of the second embodiment.
FIG. 13 is a conceptual diagram illustrating a recording structure of image data.
FIG. 14 is a flowchart of the second embodiment.
[Explanation of symbols]
1 portable information terminals
2-1 Position coordinate input section
2-2 Image display section
3 pens
4 Camera section
5 PC
6 CPU
7 RAM
8 ROM
9 Image media interface
10 USB interface
11 System bus
12 watch chips
