JP2020052949A - 画像処理装置，画像処理方法および画像処理プログラム - Google Patents

Abstract

【課題】ユーザにとって思いがけずに楽しめるような画像を得ることができる画像処理装置，画像処理方法および画像処理プログラムを提供する。【解決手段】2017年１月から12月に撮影された画像群ＩＡ１−ＩＡ12の中からプリントする画像としてユーザが画像ＩＳ１−ＩＳ12を選択する。選択されなかった残存画像ＩＲ１−ＩＲ12の中から，画像ＩＳ１−ＩＳ12の属性についての頻度がしきい値以下の画像を見つけてプリントする。得られる画像はユーザが選択した画像ＩＳ１−ＩＳ12とかけ離れた画像となるので，ユーザにとっては思いがけない画像が得られる。【選択図】 図５

Description

この発明は，画像処理装置，画像処理方法および画像処理プログラムに関する。

ディジタル・カメラ，スマートフォンなどの普及により，きわめて多くの画像が撮影されるようになってきている。多くの画像の中から所望の画像を見つけるのは手間であるために，ユーザにとって重要度が高い画像を自動で抽出するもの（特許文献１），ユーザにとって価値のある画像を抽出するもの（特許文献２），ユーザにとっての満足度が高い画像を優先的に抽出するもの（特許文献３）などが考えられている。

特開2017-010251号公報 特開2017-059124号公報 特開2010-067186号公報

しかしながら，ユーザにとって重要な画像，価値のある画像と認識していないような画像であっても，実はユーザにとって楽しめる画像が，撮影された多くの画像の中に埋もれていることがある。特許文献１では，ユーザにとって重要度が高い画像が抽出されるのであるから，ユーザが重要と思っていない画像を抽出することは考えられていない。特許文献２では，ユーザにとって価値のある画像が抽出されるのであるから，ユーザが，価値がないと思っている画像を抽出することはできない。特許文献３は，ユーザにとって満足度の高い画像が抽出されるのであるから，ユーザにとって満足度が低いと思われる画像は抽出されない。

この発明は，ユーザにとって思いがけずに楽しめるような画像を得ることを目的とする。

この発明による画像処理装置は，第１の画像群から選択された１または複数の第１の画像を除く第１の残存画像を，第１の画像群から検出する第１の検出手段，第２の画像群から選択された１または複数の第２の画像を除く第２の残存画像を，第２の画像群から検出する第２の検出手段，ならびに画像が有する属性についての頻度が第１のしきい値以下の属性を有する画像を，第１の残存画像および第２の残存画像の中から出力する画像出力手段を備えていることを特徴とする。

この発明は，画像処理装置に適した画像処理方法も提供している。すなわち，この方法は，第１の検出手段が，第１の画像群から選択された１または複数の第１の画像を除く第１の残存画像を，第１の画像群から検出し，第２の検出手段が，第２の画像群から選択された１または複数の第２の画像を除く第２の残存画像を，第２の画像群から検出し，画像出力手段が，画像が有する属性についての頻度が第１のしきい値以下の属性を有する画像を，第１の残存画像および第２の残存画像の中から出力するものである。

また，この発明は，画像処理装置のコンピュータを制御するプログラムおよびそのプログラムを格納した記録媒体（可搬型記録媒体）も提供している。

さらに，画像処理装置に，プロセッサを含み，そのプロセッサが，第１の画像群から選択された１または複数の第１の画像を除く第１の残存画像を，第１の画像群から検出し，第２の画像群から選択された１または複数の第２の画像を除く第２の残存画像を，第２の画像群から検出し，画像が有する属性についての頻度が第１のしきい値以下の属性を有する画像を，第１の残存画像および第２の残存画像の中から出力するものでもよい。

画像出力手段は，たとえば，画像が有する属性についての頻度が第１のしきい値以下であり，かつ第２のしきい値以上の属性を有する画像を出力する。

また，画像出力手段は，たとえば，画像が有する属性についての頻度がしきい値以下の属性を有する画像を，第１の残存画像および第２の残存画像のそれぞれから出力してもよい。

画像出力手段は，第１の画像および第２の画像に対する類似度がしきい値以下の画像を，画像が有する属性についての頻度が第１のしきい値以下の属性を有する画像として第１の残存画像および第２の残存画像の中から出力するものでもよい。

画像出力手段における，画像が有する属性についての頻度が，画像に含まれる主要被写体の出現頻度でもよい。

主要被写体は，たとえば，人物または物品の少なくとも一方に属してもよい。

画像出力手段における画像が有する属性についての頻度は，たとえば，撮影日，撮影場所，撮影者または撮影対象ごとの画像の撮影枚数である。

画像出力手段は，たとえば，第１の画像および第２の画像に第３のしきい値以上の頻度において含まれている主要被写体を除く被写体を画像が有する属性として，画像が有する属性についての頻度が第１のしきい値以下の属性を有する画像を，第１の残存画像および第２の残存画像の中から出力する。

画像出力手段は，たとえば，第１の画像および第２の画像に第３のしきい値以上の頻度において含まれている主要被写体を除く被写体を画像が有する属性として，画像が有する属性についての頻度が第１のしきい値以下の属性を有する画像を，第１の残存画像および第２の残存画像の中から所定枚数以上の画像を出力してもよい。

第１の画像群の撮影時期と第２の画像群の撮影時期とが異なっていてもよい。

画像出力手段から出力された画像を用いて画像商材を作成する画像商材作成手段をさらに備えてもよい。

この発明によると，選択されていない第１の残存画像および第２の残存画像の中から，画像が有する属性についての頻度が第１のしきい値以下の画像を出力するから，出力される画像は，ユーザにとって思いがけずに楽しい画像となる。

スマートフォンの外観を示している。 スマートフォンの電気的構成を示すブロック図である。 ホーム画面の一例である。 ホーム画面の一例である。 撮影した画像の一例である。 編集システムの概要を示している。 スマートフォンの処理手順を示すフローチャートである。 ユーザによって選択された画像と，残存画像から見つけられた画像とを示している。

図１は，本発明の画像処理装置の一実施形態であるスマートフォン１（画像処理装置の一例である）の外観を示すものである。図１に示すスマートフォン１は，平板状の筐体２を有し，筐体２の一方の面に表示部としての表示パネル２１と，入力部としての操作パネル２２とが一体となった表示入力部２０を備えている。また，係る筐体２は，マイクロホン３２と，スピーカ３１，操作部４０と，カメラ部４１とを備えている。なお，筐体２の構成はこれに限定されず，例えば，表示部と入力部とが独立した構成を採用したり，折り畳み構造やスライド機構を有する構成を採用したりすることもできる。

図２は，図１に示すスマートフォン１の構成を示すブロック図である。図２に示すように，スマートフォンの主たる構成要素として，無線通信部１０と，表示入力部２０と，通話部３０と，操作部４０と，カメラ部４１と，記憶部５０と，外部入出力部６０と，ＧＰＳ(Global Positioning System)受信部７０と，モーションセンサ部８０と，電源部９０と，主制御部１００とを備える。また，スマートフォン１の主たる機能として，基地局装置ＢＳと移動通信網ＮＷとを介した移動無線通信を行う無線通信機能を備える。

無線通信部１０は，主制御部１００の指示にしたがって，移動通信網ＮＷに収容された基地局装置ＢＳに対し無線通信を行うものである。係る無線通信を使用して，音声データ，画像データ等の各種ファイルデータ，電子メールデータなどの送受信や，Ｗｅｂデータやストリーミングデータなどの受信を行う。

表示入力部２０は，主制御部１００の制御により，画像（静止画像および動画像）や文字情報などを表示して視覚的にユーザに情報を伝達するとともに，表示した情報に対するユーザ操作を検出する，いわゆるタッチパネルであって，表示パネル２１と，操作パネル２２とを備える。

表示パネル２１は，LCD(Liquid Crystal Display)，OELD(Organic Electro-Luminescence Display)などを表示デバイスとして用いたものである。操作パネル２２は，表示パネル２１の表示面上に表示される画像を視認可能に載置され，ユーザの指や尖筆によって操作される一又は複数の座標を検出するデバイスである。係るデバイスをユーザの指や尖筆によって操作すると，操作に起因して発生する検出信号を主制御部１００に出力する。次いで，主制御部１００は，受信した検出信号に基づいて，表示パネル２１上の操作位置（座標）を検出する。

図１に示すように，本発明の画像処理装置の一実施形態として例示しているスマートフォン１の表示パネル２１と操作パネル２２とは一体となって表示入力部２０を構成しているが，操作パネル２２が表示パネル２１を完全に覆うような配置となっている。係る配置を採用した場合，操作パネル２２は，表示パネル２１外の領域についても，ユーザ操作を検出する機能を備えてもよい。換言すると，操作パネル２２は，表示パネル２１に重なる重畳部分についての検出領域（以下，表示領域と称する）と，それ以外の表示パネル２１に重ならない外縁部分についての検出領域（以下，非表示領域と称する）とを備えていてもよい。

なお，表示領域の大きさと表示パネル２１の大きさとを完全に一致させても良いが，両者を必ずしも一致させる必要は無い。また，操作パネル２２が，外縁部分と，それ以外の内側部分の２つの感応領域を備えていてもよい。更に，外縁部分の幅は，筐体２の大きさなどに応じて適宜設計されるものである。更にまた，操作パネル２２で採用される位置検出方式としては，マトリクススイッチ方式，抵抗膜方式，表面弾性波方式，赤外線方式，電磁誘導方式，静電容量方式などが挙げられ，いずれの方式を採用することもできる。

通話部３０は，スピーカ３１やマイクロホン３２を備え，マイクロホン３２を通じて入力されたユーザの音声を主制御部１００にて処理可能な音声データに変換して主制御部１００に出力したり，無線通信部１０あるいは外部入出力部６０により受信された音声データを復号してスピーカ３１から出力したりするものである。また，図１に示すように，例えば，スピーカ３１を表示入力部２０が設けられた面と同じ面に搭載し，マイクロホン３２を筐体２の側面に搭載することができる。

操作部４０は，キースイッチなどを用いたハードウェアキーであって，ユーザからの指示を受け付けるものである。例えば，図１に示すように，操作部４０は，スマートフォン１の筐体２の側面に搭載され，指などで押下されるとオンとなり，指を離すとバネなどの復元力によってオフ状態となる押しボタン式のスイッチである。

記憶部５０は，主制御部１００の制御プログラムや制御データ，アプリケーションソフトウェア，通信相手の名称や電話番号などを対応づけたアドレスデータ，送受信した電子メールのデータ，ＷｅｂブラウジングによりダウンロードしたＷｅｂデータや，ダウンロードしたコンテンツデータを記憶し，またストリーミングデータなどを一時的に記憶するものである。また，記憶部５０は，スマートフォン内蔵の内部記憶部５１と着脱自在な外部メモリスロットを有する外部記憶部５２により構成される。なお，記憶部５０を構成するそれぞれの内部記憶部５１と外部記憶部５２は，フラッシュメモリタイプ（flash memory type），ハードディスクタイプ（hard disk type），マルチメディアカードマイクロタイプ（multimedia card micro type），カードタイプのメモリ（例えば，ＭｉｃｒｏＳＤ（登録商標）メモリ等），ＲＡＭ（Random Access Memory），ＲＯＭ（Read Only Memory）などの格納媒体を用いて実現される。

外部入出力部６０は，スマートフォン１に連結される全ての外部機器とのインターフェースの役割を果たすものであり，他の外部機器に通信等（例えば，ユニバーサルシリアルバス（ＵＳＢ），IEEE１３９４など）又はネットワーク（例えば，インターネット，無線ＬＡＮ，ブルートゥース（Bluetooth）（登録商標），ＲＦＩＤ（Radio Frequency Identification），赤外線通信（Infrared Data Association：ＩｒＤＡ）（登録商標），ＵＷＢ（Ultra Wideband）（登録商標），ジグビー（ZigBee）（登録商標）など）により直接的又は間接的に接続するためのものである。

スマートフォン１に連結される外部機器としては，例えば，有／無線ヘッドセット，有／無線外部充電器，有／無線データポート，カードソケットを介して接続されるメモリカード（Memory card）やＳＩＭ(Subscriber Identity Module Card)／ＵＩＭ(User Identity Module Card)カード，オーディオ・ビデオＩ／Ｏ（Input/Output）端子を介して接続される外部オーディオ・ビデオ機器，無線接続される外部オーディオ・ビデオ機器，有／無線接続されるスマートフォン，有／無線接続されるパーソナル・コンピュータ，有／無線接続されるPDA，有／無線接続されるパーソナル・コンピュータ，イヤホンなどがある。外部入出力部は，このような外部機器から伝送を受けたデータをスマートフォン１の内部の各構成要素に伝達することや，スマートフォン１の内部のデータが外部機器に伝送されるようにすることができる。

ＧＰＳ受信部７０は，主制御部１００の指示にしたがって，GPS衛星ＳＴ１〜ＳＴｎから送信されるGPS信号を受信し，受信した複数のGPS信号に基づく測位演算処理を実行し，当該スマートフォン１の緯度，経度，高度からなる位置を検出する。ＧＰＳ受信部７０は，無線通信部１０や外部入出力部６０（例えば，無線ＬＡＮ）から位置情報を取得できる時には，その位置情報を用いて位置を検出することもできる。

モーションセンサ部８０は，例えば，３軸の加速度センサなどを備え，主制御部１００の指示にしたがって，スマートフォン１の物理的な動きを検出する。スマートフォン１の物理的な動きを検出することにより，スマートフォン１の動く方向や加速度が検出される。係る検出結果は，主制御部１００に出力されるものである。
電源部９０は，主制御部１００の指示にしたがって，スマートフォン１の各部に，バッテリ（図示しない）に蓄えられる電力を供給するものである。

主制御部１００は，マイクロプロセッサを備え，記憶部５０が記憶する制御プログラムや制御データにしたがって動作し，スマートフォン１の各部を統括して制御するものである。また，主制御部１００は，無線通信部１０を通じて，音声通信やデータ通信を行うために，通信系の各部を制御する移動通信制御機能と，アプリケーション処理機能を備える。

アプリケーション処理機能は，記憶部５０が記憶するアプリケーションソフトウェアにしたがって主制御部１００が動作することにより実現するものである。アプリケーション処理機能としては，例えば，外部入出力部６０を制御して対向機器とデータ通信を行う赤外線通信機能や，電子メールの送受信を行う電子メール機能，Webページを閲覧するWebブラウジング機能などがある。

また，主制御部１００は，受信データやダウンロードしたストリーミングデータなどの画像データ（静止画像や動画像のデータ）に基づいて，映像を表示入力部２０に表示する等の画像処理機能を備える。画像処理機能とは，主制御部１００が，上記画像データを復号し，係る復号結果に画像処理を施して，画像を表示入力部２０に表示する機能のことをいう。

更に，主制御部１００は，表示パネル２１に対する表示制御と，操作部４０，操作パネル２２を通じたユーザ操作を検出する操作検出制御を実行する。表示制御の実行により，主制御部１００は，アプリケーションソフトウェアを起動するためのアイコンや，スクロールバーなどのソフトウェアキーを表示したり，あるいは電子メールを作成するためのウィンドウを表示したりする。なお，スクロールバーとは，表示パネル２１の表示領域に収まりきれない大きな画像などについて，画像の表示部分を移動する指示を受け付けるためのソフトウェアキーのことをいう。

また，操作検出制御の実行により，主制御部１００は，操作部４０を通じたユーザ操作を検出したり，操作パネル２２を通じて，上記アイコンに対する操作や，上記ウィンドウの入力欄に対する文字列の入力を受け付けたり，あるいは，スクロールバーを通じた表示画像のスクロール要求を受け付ける。

更に，操作検出制御の実行により主制御部１００は，操作パネル２２に対する操作位置が，表示パネル２１に重なる重畳部分（表示領域）か，それ以外の表示パネル２１に重ならない外縁部分（非表示領域）かを判定し，操作パネル２２の感応領域や，ソフトウェアキーの表示位置を制御するタッチパネル制御機能を備える。

また，主制御部１００は，操作パネル２２に対するジェスチャ操作を検出し，検出したジェスチャ操作に応じて，予め設定された機能を実行することもできる。ジェスチャ操作とは，従来の単純なタッチ操作ではなく，指などによって軌跡を描いたり，複数の位置を同時に指定したり，あるいはこれらを組み合わせて，複数の位置から少なくとも１つについて軌跡を描く操作を意味する。

カメラ部４１は，CMOS(Complementary Metal Oxide Semiconductor)やCCD(Charge-Coupled Device)などの撮像素子を用いて電子撮影するディジタル・カメラである。また，カメラ部４１は，主制御部１００の制御により，撮像によって得た画像データを例えばJPEG(Joint Photographic coding Experts Group)などの圧縮した画像データに変換し，記憶部５０に記録したり，入出力部６０や無線通信部１０を通じて出力したりすることができる。図１に示すにスマートフォン１において，カメラ部４１は表示入力部２０と同じ面に搭載されているが，カメラ部４１の搭載位置はこれに限らず，表示入力部２０の背面に搭載されてもよいし，あるいは，複数のカメラ部４１が搭載されてもよい。なお，複数のカメラ部４１が搭載されている場合には，撮影に供するカメラ部４１を切り替えて単独にて撮影したり，あるいは，複数のカメラ部４１を同時に使用して撮影したりすることもできる。

また，カメラ部４１はスマートフォン１の各種機能に利用することができる。例えば，表示パネル２１にカメラ部４１で取得した画像を表示することや，操作パネル２２の操作入力のひとつとして，カメラ部４１の画像を利用することができる。また，ＧＰＳ受信部７０が位置を検出する際に，カメラ部４１からの画像を参照して位置を検出することもできる。更には，カメラ部４１からの画像を参照して，３軸の加速度センサを用いずに，或いは，３軸の加速度センサと併用して，スマートフォン１のカメラ部４１の光軸方向を判断することや，現在の使用環境を判断することもできる。勿論，カメラ部４１からの画像をアプリケーションソフトウェア内で利用することもできる。

その他，静止画又は動画の画像データにＧＰＳ受信部７０により取得した位置情報，マイクロホン３２により取得した音声情報（主制御部等により，音声テキスト変換を行ってテキスト情報となっていてもよい），モーションセンサ部８０により取得した姿勢情報等などを付加して記憶部５０に記録したり，入出力部６０や無線通信部１０を通じて出力したりすることもできる。

インターネットなどを介して得られたプログラムが，スマートフォン１にあらかじめスンストールされており，そのプログラムが起動させられることにより，後述する処理が開始する。また外部記憶部52などの記録媒体にプログラムが記憶されており，外部記憶部52から読み出されたプログラムがスマートフォン１にインストールされてもよい。

この実施例では，毎月多数撮影された画像の集まり（画像群）の中から，ユーザにより複数の画像が毎月選択される。自動的に複数の画像が毎月選択されてもよい。選択された画像がプリントされる。

図３は，スマートフォン１の表示パネル21に表示されるホーム画面の一例である。

ホーム画面のほぼ全体に渡って11個の画像表示領域129が形成されている（画像表示領域129は11個未満でも12個以上でもよい）。ホーム画面のほぼ左上には，撮影年月表示領域128が表示されている。撮影年月表示領域128には，「１月」の文字列と「2017年」の文字列とが表示されている。プログラム起動後のホーム画面の撮影年月表示領域128には，プログラムの起動時に対応する年月が表示される。

ホーム画面の上部には，撮影年月指定領域121が形成されている。撮影年月指定領域121には，撮影年表示領域122およびプルダウン・ボタン123が形成されている。プルダウン・ボタン123をプルダウンすることにより，プルダウン・メニューが現われ，ユーザは，所望の撮影年を選択できる。撮影年表示領域122の右側には，撮影月指定領域124，125および126が形成されている。撮影年月指定領域121を左右にスクロールすることにより，これらの撮影月指定領域124，125および126に表示される月が切り替わる。図３に示すホーム画面においては撮影月指定領域124，125および126には，それぞれ「12月」（2016年12月），「１月」および「２月」が表示されており，中央の撮影月指定領域125に表示されている「１月」の文字列が囲まれている。「１月」が囲まれていることから，画像表示領域129に表示される画像が撮影された月として「１月」が選択されていることを示している。撮影月指定領域125の右側には検索ボタン127が形成されている。画像表示領域129の左下には画像追加領域130が形成されている。画像追加領域130がタッチされることにより，ホーム画面に表示される画像表示領域129の数が一つ増える。

ホーム画面の下部には「注文」の文字列が表示されている注文ボタン131が表示されている。画像のプリントを注文する場合に注文ボタン131がタッチされる。また，ホーム画面の最下部には，「ホーム」の文字列が表示されているホーム・ボタン132，「物販」の文字列が表示されている物販ボタン133および「メニュー」の文字列が表示されているメニュー・ボタン134が形成されている。

プログラム起動後のホーム画面の撮影年月表示領域128には，プログラムの起動時に対応する年月が表示されるから，その起動時に対応する年月に撮影された画像の中から画像が選択されていなければ画像表示領域129には画像が表示されず，画像が選択されていれば画像表示領域129に画像が表示される。図３に示す例では，2017年１月に撮影された画像の中から，選択された11枚の画像が画像表示領域129に表示されている。

図４も，スマートフォン１の表示パネル21に表示されるホーム画面の一例である。

図３に示すホーム画面の画像表示領域129には2017年１月に撮影された画像の中から選択された画像が表示されているのに対し，図４に示すホーム画面の画像表示領域129には2017年２月に撮影された画像の中から選択された画像が表示されている。

2017年３月以降も同様に，撮影された画像の中から画像が選択されている。ユーザは，毎月多数撮影した画像の中から画像を毎月選択する。選択された画像を表す画像データが受注サーバに送信され，画像がプリントされる。プリントがユーザに郵送され，ユーザは郵送されたプリントをアルバムに整理するだけで家族の成長を記録したアルバムが得られる。ただし、ユーザは、注文に際し、注文に係る月の周辺の月日に撮影された画像を選択しても構わない。

図５は，2017年１月から2017年12月までの間に撮影された画像と選択された画像との関係等を示している。

2017年１月には，画像Ｉ１から画像Ｉ100までの100枚が撮影されている。これらの画像Ｉ１から画像Ｉ100までの100枚の画像を2017年１月の画像群ＩＡ１とする。2017年１月の画像群ＩＡ１に含まれている画像Ｉ１から画像Ｉ100の中から，画像Ｉ１から画像Ｉ11の11枚の画像が選択されている。これらの選択された画像Ｉ１から画像Ｉ11までの画像が2017年１月に選択された画像ＩＳ１である。選択された画像Ｉ１から画像Ｉ11までの画像が，図３に示したように画像表示領域129に表示されている画像である。2017年１月の画像群ＩＡ１に含まれている画像Ｉ１から画像Ｉ100のうち，選択された画像ＩＳ１を除く画像Ｉ12から画像Ｉ100が2017年１月の残存画像ＩＲ１である。2017年１月の残存画像ＩＲ１は，2017年１月の画像群ＩＡ１に含まれる画像Ｉ１から画像Ｉ100の中から選択されなかった画像である。

同様に，2017年２月には，画像Ｉ10１から画像Ｉ200までの100枚が撮影されている。これらの画像Ｉ101から画像Ｉ200までの100枚の画像を2017年２月の画像群ＩＡ２とする。2017年２月の画像群ＩＡ２に含まれている画像Ｉ101から画像Ｉ200の中から，画像Ｉ101から画像Ｉ111の11枚の画像が選択されている。これらの選択された画像Ｉ101から画像Ｉ111までの画像が2017年２月に選択された画像ＩＳ２である。選択された画像Ｉ101から画像Ｉ111までの画像が，図４に示したように画像表示領域129に表示されている画像である。2017年２月の画像群ＩＡ２に含まれている画像Ｉ101から画像Ｉ200のうち，選択された画像ＩＳ２を除く画像Ｉ112から画像Ｉ200が2017年２月の残存画像ＩＲ２である。2017年２月の残存画像ＩＲ２は，2017年２月の画像群ＩＡ２に含まれる画像Ｉ101から画像Ｉ200の中から選択されなかった画像である。

その他の月も同様に毎月多くの画像が撮影されており，それらの多くの画像の中から毎月画像が選択されている。2017年12月には，画像Ｉ110１から画像Ｉ1200までの100枚が撮影されている。これらの画像Ｉ1101から画像Ｉ1200までの100枚の画像を2017年12月の画像群ＩＡ12とする。2017年12月の画像群ＩＡ12に含まれている画像Ｉ1101から画像Ｉ1200の中から，画像Ｉ1101から画像Ｉ1111の11枚の画像が選択されている。これらの選択された画像Ｉ1101から画像Ｉ1111までの画像が2017年12月に選択された画像ＩＳ12である。2017年12月の画像群ＩＡ12に含まれている画像Ｉ1101から画像Ｉ1200のうち，選択された画像ＩＳ12を除く画像Ｉ1112から画像Ｉ1200が2017年12月の残存画像ＩＲ12である。2017年12月の残存画像ＩＲ12は，2017年12月の画像群ＩＡ12に含まれる画像Ｉ1101から画像Ｉ1200の中から選択されなかった画像である。

このように，毎月選択された画像がある一方で選択されなかった画像も存在する。この実施例は，選択されなかった画像の中からユーザも思いもかけないような画像を見つけるものである。図５においては，毎月同じ枚数である100枚の画像が撮影され，毎月同じ枚数である11枚の画像が選択されているが，毎月同じ枚数の画像が撮影されなくともよく，また毎月同じ枚数の画像が選択されなくともよい。

図６は，この実施例による画像編集システムの概要を示している。

スマートフォン１と受注サーバ151とがインターネットを介して通信可能である。また，受注サーバ151とプリンタ152とが通信可能である。

スマートフォン１から受注サーバ151に画像データが送信されると，受注サーバ151において受信した画像データがプリンタ152に送信される。画像データによって表される画像がプリントされる。プリントはユーザに郵送される。

上述したように，ユーザによって選択された画像を表す画像データが受注サーバ151に毎月送信されることにより，ユーザによって選択された画像のプリントがユーザに毎月届く。この実施例では，次に述べるようにユーザによって選択された画像を表す画像データ以外に，ユーザによって選択されていない画像の中から，ユーザにとって珍しいと思われる画像が決定される。決定された画像を表す画像データが受注サーバ151に毎月送信されることにより，ユーザによって選択された画像以外のプリントがユーザに毎月届く（毎月でなくともよいし，プリントせずにユーザにとって珍しいと思われる画像を決定し，ユーザに知らせるだけでもよい）。ユーザにとっては思いがけない画像のプリントが届くこととなり，楽しみが増える。

図７は，スマートフォン１の処理手順を示すフローチャートである。

ホーム画面に含まれるメニュー・ボタン134がタッチされると，残存画像の中から画像を見つけるための残存画像モードの選択ボタンが現われる。その選択ボタンがタッチされると，画像を見つける期間（たとえば，2017年１月から2017年12月までの１年間）がユーザによって指定され，図７に示す処理手順が開始する。この実施例では，2017年１月から2017年12月までの１年間が指定されたとする。

スマートフォン１の主制御部100（第１の検出手段の一例である）によって第１の残存画像が第１の画像群の中から検出され（ステップ141），主制御部100（第２の検出手段の一例である）によって第２の残存画像が第２の画像群の中から検出される（ステップ142）。第１の画像群は，指定された2017年１月から2017年12月までの１年間のそれぞれの月に撮影された画像群（たとえば，2017年１月の画像群ＩＡ１）のいずれかの画像群であり，１つの画像群でも複数の画像群でもよい。第１の画像群が2017年１月の画像群ＩＡ１とすると，第１の残存画像は2017年１月の残存画像ＩＲ１となる。第２の画像群は，指定された2017年１月から2017年12月までの１年間のそれぞれの月に撮影された画像群のうち，第１の画像群とは異なる画像群（たとえば，2017年２月の画像群ＩＡ２，第１の画像群と第２の画像群とは撮影時期が異なるが同じでもよい）であり，１つの画像群でも複数の画像群でもよい。第２の画像群が2017年２月の画像群ＩＡ２とすると，第２の残存画像は2017年２月の残存画像ＩＲ２となる。第１の画像群と第２の画像群とが異なれば，第１の画像群も第２の画像群のいずれも１つでも複数でもよい。この実施例では，2017年１月の画像群ＩＡ１を第１の画像群とし，2017年２月の画像群ＩＡ２から2017年12月の画像群ＩＡ12の11個の画像群を第２の画像群とする。第１の画像群ＩＡ１から第１の残存画像ＩＲ１が検出され，第２の画像群ＩＡ２からＩＡ12のそれぞれの中から，第２の残存画像ＩＲ２からＩＲ12のそれぞれが検出される。

つづいて，第１の残存画像ＩＲ１および第２の残存画像ＩＲ２−ＩＲ12のそれぞれから，画像が有する属性の頻度が第１のしきい値以下の属性を有する画像が，主制御部100によって決定される（ステップ143）。「画像が有する属性」とは，画像から導き出される画像の様々な性質のことであり，たとえば，画像に含まれる主要被写体，画像の撮影日，画像の撮影場所，画像の撮影者，撮影対象などである。主要被写体は，画像の中から被写体検出が行われ，その被写体の画像における位置，大きさなどから判断され，たとえば，画像の中心位置に存在し，かつ画像に対する相対的な大きさが一定の大きさ以上の被写体である。主要被写体には，人物，物品のいずれも含む。また、「画像が有する属性の頻度」とは、ある画像群の画像枚数がｎ枚（ｎは自然数）存在し、そのうちある属性を有する画像がｍ枚（ｍは自然数）存在する場合に、ｍ／ｎ（パーセント表示等、一定の数を乗除して表示する数値も含む）により表される数値のことである。

決定した画像が表示パネル21（画像出力手段の一例である）に表示され（ステップ144），決定した画像を表す画像データがスマートフォン１の無線通信部10（画像出力手段の一例である）から受注サーバ151（図８参照）に送信される（ステップ145）。画像データは，受注サーバ151からプリンタ152（画像商材作成手段の一例である）に送信されることによりプリント（画像商材の一例である）される。プリントがユーザに郵送されることにより，ユーザはユーザ自身では選択しないような思いもかけないような画像が表されているプリントを受け取ることができる。上述の実施例では，決定された画像が画像出力の一形態として表示パネル21に表示されているが，決定した画像の出力は，表示パネル21への表示などのようにユーザ認識できる状態でなくともよい。たとえば，主制御部100の内部において，決定した画像を表す画像データが画像評価処理などの処理が行なわれる場合でも決定した画像を表す画像データが得られれば画像が出力されたこととなる。画像データに対して画像評価処理などが行われた結果，評価が低い場合には，そのような画像は表示パネル21には表示されないこともあり得る。その場合には，決定した画像をユーザは認識しないが，画像の出力自体は主制御部100の内部で行われている。

とくに，第１の残存画像ＩＲ１および第２の残存画像ＩＲ２−ＩＲ12のそれぞれから決定される画像は，画像が有する属性の頻度が第１のしきい値以下の属性を有する画像であるから，第１の残存画像ＩＲ１および第２の残存画像ＩＲ２−ＩＲ12のそれぞれにおいて，出現頻度の高い属性を有する画像が取り除かれ，ユーザにとって思いがけない画像が得られる。

図８は，2017年１月から2017年12月までの間に得られた画像群ＩＡ１−ＩＡ12の中から選択された画像ＩＳ１−ＩＳ12と，2017年１月から2017年12月までの間の残存画像ＩＲ１−ＩＲ12の中から，図７に示す処理手順で示すようにして決定した画像ＩＤ１−ＩＤ12と，を示している。画像ＩＤ１には残存画像ＩＲ１の中から決定した画像Ｉ21，Ｉ22およびＩ23が含まれており，画像ＩＤ２には残存画像ＩＲ２の中から決定した画像Ｉ21，Ｉ22およびＩ23が含まれている。その他の画像についても同様であり，画像ＩＤ12には残存画像ＩＲ12の中から決定した画像Ｉ1121，Ｉ1122およびＩ1123が含まれている。

選択された画像ＩＳ１−ＩＳ12は，多数の画像の中からユーザ等が必要な画像として選択された画像であり，いわば2017年１月から2017年12月までに撮影された画像に含まれる複数の人物における主役（例えば，ユーザの家族における子ども）などのストーリーを表していると考えることができる。これに対し，残存画像ＩＲ１−ＩＲ12の中から決定された画像ＩＤ１−ＩＤ12は，ユーザ等が毎月を代表するために必要であるとは考えなかった残存画像ＩＲ１−ＩＲ12の中から決定された画像であり，いわば2017年１月から2017年12月までに撮影された画像に含まれる複数の人物における脇役（例えば，遠くに住んでいるのであまり頻繁には会えないユーザの両親）などのストーリーを表していると考えることができる。ユーザが思いもかけない脇役のストーリーを表す画像が得られる。あるいは，自転車のような物品が脇役となるストーリーの画像が得られる。

上述の実施例では，第１の残存画像ＩＲ１および第２の残存画像ＩＲ２−ＩＲ12のそれぞれから，画像が有する属性の頻度が第１のしきい値以下の属性を有する画像が，主制御部100によって決定されているが，画像が有する属性の頻度が第１のしきい値以下の属性を有し，かつ第２のしきい値以上の属性を有する画像が，主制御部100によって決定されてもよい。画像が有する属性の頻度が第２のしきい値以上の属性を有する画像が第１の残存画像ＩＲ１および第２の残存画像ＩＲ２−ＩＲ12のそれぞれから決定されるので，画像が有する属性の頻度があまりにも少ない画像については取り除かれる。

また，図８に示す例では，第１の残存画像ＩＲ１および第２の残存画像ＩＲ２−ＩＲ12のそれぞれから画像が決定されているが，第１の残存画像ＩＲ１または第２の残存画像ＩＲ２−ＩＲ12から画像が決定されてもよい。たとえば，第１の残存画像ＩＲ１のみから画像が決定されてもよいし，第２の残存画像ＩＲ２−ＩＲ12のうちの少なくとも一つの残存画像の中から画像が決定されてもよい。

さらに，2017年１月の画像群ＩＡ１から選択された第１の画像ＩＳ１および2017年２月から2017年12月の第２の画像群ＩＡ２−ＩＡ12から選択された第２の画像ＩＳ２−ＩＳ12に対する類似度を主制御部100において算出し，算出された類似度がしきい値以下の画像を画像が有する属性についての頻度が第１のしきい値以下の属性を有する画像として，第１の残存画像ＩＲ１および第２の残存画像ＩＲ２−ＩＲ12の中から決定して出力してもよい。たとえば，2017年１月の画像群ＩＡ１から選択された第１の画像ＩＳ１に含まれる画像Ｉ１−Ｉ11のいずれにも類似せず，2017年２月から2017年12月の画像群ＩＡ２−ＩＡ12から選択された第２の画像ＩＳ２−ＩＳ12に含まれる画像Ｉ101−Ｉ111などに類似しない画像が決定される。ユーザによって選択された画像とは類似しない画像が見つかって上述のようにプリントされるので，ユーザにとっては，より思いがけない画像が得られる。

また，画像が有する属性が画像に含まれる主要被写体である場合には，主要被写体とは異なる被写体，主要被写体とは一緒に写らないような被写体，画像にあまり現われない被写体が含まれている画像が得られるようになる。何気なく撮影したものの忘れていた被写体が含まれているような画像が得られる。

画像が有する属性が撮影日の場合には，ユーザによって選択された画像の撮影日とは異なる撮影日に撮影された画像を見つけることができる。たとえば，ユーザによって選択された画像の撮影日に休日が多い場合には，本実施例の画像出力手段においては、休日以外の撮影日の画像を見つけてもよい。画像が有する属性が撮影場所の場合には，ユーザによって選択された画像の撮影場所とは異なる撮影場所，例えば観光名所以外の場所，ユーザがあまり行かない場所，ユーザの自宅から遠く離れている場所などにおいて撮影された画像を見つけることができる。また，画像が有する属性が撮影者であり、ユーザの選択した画像の撮影者にユーザ自身が多い場合には，ユーザ以外の撮影者が撮影した画像を見つけることができる（家族のそれぞれが撮影した画像を１つのシステムに集約（アグリゲート）している場合に有効である）。

さらに，画像が有する属性が撮影対象（被写体）ごとの画像の撮影枚数の場合には，そのような対象（被写体）が含まれていないような画像を見つけることができる。また，画像が有する属性が画像から認識されるイベントの場合には，選択された画像からイベントを検出する処理を主制御部100が行い，検出されたイベントとは異なるイベントの画像が見つけられる。また，選択されていない画像の中から画像の評価を主制御部100において行い，その評価値が低い画像を見つけてもよい。

さらに，ユーザによって選択された第１の画像ＩＳ１および第２の画像ＩＳ２−ＩＳ12に第３のしきい値以上の頻度において含まれている主要被写体を主制御部100によって検出し，検出された主要被写体と異なる被写体が被写体（主要被写体）を画像が有する属性としてもよい。そのような場合であっても，画像が有する属性の頻度が第１のしきい値以下の属性を有する画像を主制御部100によって第１の残存画像ＩＲ１および第２の残存画像ＩＲ２−ＩＲ12の中から見つけるようにしてもよい。検出された主要被写体と異なる被写体が主要被写体となっているような画像のうち所定枚数以上の画像を見つけるようにしてもよい。選択された画像における主要被写体とは異なる次の主要被写体の画像を見つけることができるようになる。

画像が有する属性の一例である撮影日等の情報については，画像データが格納されている画像ファイルのヘッダに記憶されているので，その情報を用いて画像が有する属性が第１のしきい値以下かどうかを判断できる。

上述の実施例ではスマートフォン１が利用されているが，スマートフォン１以外の専用の画像処理装置，パーソナル・コンピュータ，タブレット端末などを利用して構成することもできる。

また，第１の残存画像の検出（図７ステップ141），第２の残存画像の検出（図７ステップ142）および画像が有する属性の頻度が第１のしきい値以下の画像を第１の残存画像，第２の残存画像の中から決定する処理（図７ステップ143）の少なくとも一つの処理をスマートフォン１ではなく受注サーバ151において行うようにしてもよい。また，画像を
プリントする処理をスマートフォン１からプリンタ152に指令を与えてもよい。その場合には，スマートフォン１とプリンタ152とはインターネットを介して通信するのではなく，WiFiなどを用いて通信する。

さらに，上述の実施例においては，画像を１枚ごとにプリントしているが，１枚ごとのプリントではなく，１枚に複数枚の画像をプリント（画像商材の一例である）したり，複数ページから構成されるフォトブック（画像商材の一例である）などにプリントしたりしてもよい。

上述の処理を実行する処理部には，ソフトウエアを実行して各種の処理部として機能する主制御部100のほかに，FPGA（field-programmable gate array）などのように製造後に回路構成を変更可能なプログラマブル・ロジック・ディバイス，ASIC（application specific integrated circuit）などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。

１つの処理部は，これらの各種のプロセッサのうちの１つで構成されてもよいし，同種または異種の２つ以上のプロセッサの組合せ（たとえば，複数のFPGA，ＣＰＵとFPGAの組合せ）で構成されてもよい。複数の処理部を１つのプロセッサで構成する例としては，第１に，クライアント・コンピュータやサーバなどのコンピュータに代表されるように，１つ以上のＣＰＵとソフトウエアの組合せで１つのプロセッサを構成し，このプロセッサが複数の処理部として機能する形態がある。第２に，システム・オン・チップなどに代表されるように，複数の処理部を含むシステム全体の機能を１つのＩＣ（integrated circuit）チップで実現するプロセッサを使用する形態がある。このように，各種の処理部は，ハードウエア的な構造として各種のプロセッサを１つ以上用いて構成される。

さらに，これらの各種のプロセッサのハードウエア的な構造は，より具体的には，半導体素子などの回路素子を組合せた電気回路である。

１：スマートフォン，２：筐体，10：無線通信部，20：表示入力部，21：表示パネル，22：操作パネル，30：通話部，31：スピーカ，32：マイクロホン，40：操作部，41：カメラ部，50：記憶部，51：内部記憶部，52：外部記憶部，60：外部入出力部，70：ＧＰＳ受信部，80：モーションセンサ部，90：電源部，100：主制御部，121：撮影年月指定領域，122：撮影年表示領域，123：プルダウン・ボタン，124：撮影月指定領域，125：撮影月指定領域，127：検索ボタン，128：撮影年月表示領域，129：画像表示領域，130：画像追加領域，131：注文ボタン，132：ホーム・ボタン，133：物販ボタン，134：メニュー・ボタン，151：受注サーバ，152：プリンタ，ＢＳ：基地局装置，Ｉ１-Ｉ1200：画像，ＩＡ１−ＩＡ12 ：画像群，ＩＤ１−ＩＤ12：画像，ＩＲ１−ＩＲ12：残存画像，ＩＳ１−ＩＳ12：画像，ＮＷ：移動通信網，ＳＴ１：GPS衛星

Claims (14)

1. 第１の画像群から選択された１または複数の第１の画像を除く第１の残存画像を，上記第１の画像群から検出する第１の検出手段，
   第２の画像群から選択された１または複数の第２の画像を除く第２の残存画像を，上記第２の画像群から検出する第２の検出手段，ならびに
   画像が有する属性についての頻度が第１のしきい値以下の属性を有する画像を，上記第１の残存画像および上記第２の残存画像の中から出力する画像出力手段，
   を備えた画像処理装置。
2. 上記画像出力手段は，
   上記画像が有する属性についての頻度が第１のしきい値以下であり，かつ第２のしきい値以上の属性を有する画像を出力する，
   請求項１に記載の画像処理装置。
3. 上記画像出力手段は，
   上記画像が有する属性についての頻度がしきい値以下の属性を有する画像を，上記第１の残存画像および上記第２の残存画像のそれぞれから出力する，
   請求項１に記載の画像処理装置。
4. 上記画像出力手段は，
   上記第１の画像および上記第２の画像に対する類似度がしきい値以下の画像を，上記画像が有する属性についての頻度が第１のしきい値以下の属性を有する画像として上記第１の残存画像および上記第２の残存画像の中から出力する，
   請求項１に記載の画像処理装置。
5. 上記画像出力手段における，上記画像が有する属性が，画像に含まれる主要被写体である，
   請求項１に記載の画像処理装置。
6. 上記主要被写体は，人物または物品の少なくとも一方に属する，
   請求項５に記載の画像処理装置。
7. 上記画像出力手段における画像が有する属性が，撮影日，撮影場所，撮影者または撮影対象である，
   請求項１に記載の画像処理装置。
8. 上記画像出力手段は，
   上記第１の画像および上記第２の画像に第３のしきい値以上の頻度において含まれている主要被写体を除く被写体を上記画像が有する属性とし，画像が有する属性についての頻度が第１のしきい値以下の属性を有する画像を，上記第１の残存画像および上記第２の残存画像の中から出力する，
   請求項１に記載の画像処理装置。
9. 上記画像出力手段は，
   上記第１の画像および上記第２の画像に第３のしきい値以上の頻度において含まれている主要被写体を除く被写体を，上記画像が有する属性として，画像が有する属性についての頻度が第１のしきい値以下の属性を有する画像を，上記第１の残存画像および上記第２の残存画像の中から所定枚数以上の画像を出力する，
   請求項８に記載の画像処理装置。
10. 上記第１の画像群の撮影時期と上記第２の画像群の撮影時期とが異なっている，
    請求項１から９のうち，いずれか一項に記載の画像処理装置。
11. 上記画像出力手段から出力された画像を用いて画像商材を作成する画像商材作成手段，
    をさらに備えた請求項１から10のうち，いずれか一項に記載の画像処理装置。
12. 第１の検出手段が，第１の画像群から選択された１または複数の第１の画像を除く第１の残存画像を，上記第１の画像群から検出し，
    第２の検出手段が，第２の画像群から選択された１または複数の第２の画像を除く第２の残存画像を，上記第２の画像群から検出し，
    画像出力手段が，画像が有する属性についての頻度が第１のしきい値以下の属性を有する画像を，上記第１の残存画像および上記第２の残存画像の中から出力する，
    画像処理方法。
13. 画像処理装置のコンピュータを制御するプログラムであって，
    第１の画像群から選択された１または複数の第１の画像を除く第１の残存画像を，上記第１の画像群から検出させ，
    第２の画像群から選択された１または複数の第２の画像を除く第２の残存画像を，上記第２の画像群から検出させ，
    画像が有する属性についての頻度が第１のしきい値以下の属性を有する画像を，上記第１の残存画像および上記第２の残存画像の中から出力するように画像処理装置のコンピュータを制御するコンピュータが読み取り可能なプログラム。
14. 請求項13に記載のプログラムを格納した記録媒体。