JP2021005879A - Imaging apparatus and display method for the same - Google Patents
Imaging apparatus and display method for the same Download PDFInfo
- Publication number
- JP2021005879A JP2021005879A JP2020151060A JP2020151060A JP2021005879A JP 2021005879 A JP2021005879 A JP 2021005879A JP 2020151060 A JP2020151060 A JP 2020151060A JP 2020151060 A JP2020151060 A JP 2020151060A JP 2021005879 A JP2021005879 A JP 2021005879A
- Authority
- JP
- Japan
- Prior art keywords
- image
- title
- display
- images
- display method
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Television Signal Processing For Recording (AREA)
- Studio Devices (AREA)
- Indication In Cameras, And Counting Of Exposures (AREA)
Abstract
Description
本発明は、カメラで撮影した複数の画像を分類整理して保存し、所望の画像を容易に検索できる撮像装置に関する。 The present invention relates to an imaging device capable of classifying and organizing a plurality of images taken by a camera, storing them, and easily searching for a desired image.
被写体像をCCD(Charge Coupled Device)等の電子デバイスにより電気信号に変換し、メモリに記録するデジタルカメラの普及が著しい。また最近では、このデジタルカメラ機能が携帯電話やスマートホン、タブレット端末等の情報端末機器に搭載されることも一般的となった。 Digital cameras that convert subject images into electrical signals using electronic devices such as CCDs (Charge Coupled Devices) and record them in memory are becoming widespread. Recently, it has become common for this digital camera function to be installed in information terminal devices such as mobile phones, smartphones, and tablet terminals.
また、デジタルカメラ等に用いられる記憶素子は、大容量化が進み、撮影される画像データが多量に生成されるため、画像データの分類及び整理が煩雑になっている。特に、多数の画像をサムネイル一覧画像として表示させる場合は、アプリケーションソフトを用いて画像データに付与された時刻、位置情報等のメタデータに基づいて分類することができる。しかし、多数の画像データをグループに分類する作業が必要となり、非常に手間がかかり利便性に欠けていた。このような欠点を解消するために、複数の画像に対して区切りとなる画像を生成して挿入することで、撮影した複数の画像を分類して整理する手法が提案されている。 Further, the storage elements used in digital cameras and the like are increasing in capacity, and a large amount of image data to be captured is generated, which makes it complicated to classify and organize the image data. In particular, when displaying a large number of images as thumbnail list images, they can be classified based on metadata such as time and position information given to the image data using application software. However, it is necessary to classify a large amount of image data into groups, which is very troublesome and lacks convenience. In order to eliminate such a defect, a method has been proposed in which a plurality of captured images are classified and organized by generating and inserting images that serve as delimiters for a plurality of images.
例えば特許文献1には、前回生成された画像の生成日と今回生成された画像の生成日とが異なる場合に、または、前回生成された時に用いられた撮影機材と今回生成された時に用いられた撮影機材とが異なる場合に、シャッターを閉じて撮影した画像に日付画像等を重畳し、区切り画像として挿入する構成が記載されている。
For example, in
特許文献1に記載の技術では、生成日情報、撮影機材情報、連写情報、音声入力情報など複数の種類の情報に基づいて区切り画像を生成している。その際、区切り画像の生成条件となる複数の種類の情報の間では優先順位が設定されず対等に扱われている。例えば特許文献1の図5には、生成日情報を重畳した画像(a)、撮影機材情報を重畳した画像(b)、生成日情報と撮影機材情報を重畳した画像(c)が示されるが、画像(c)において生成日情報と撮影機材情報とは対等に扱われている。
In the technique described in
区切り画像の生成条件が複数種類存在することは、画像検索の際に検索条件を複数選択できるのでユーザにとって好ましい。しかしそれらが対等の関係にあると、ある検索条件1で検索しようとするとき、他の検索条件2に対する区切り画像が目障りとなり、使い勝手が悪くなる。さらに、所望の検索条件にヒットする画像群は1つのグループとして連続して表示されることが望ましい。
It is preferable for the user that there are a plurality of types of delimited image generation conditions because a plurality of search conditions can be selected during an image search. However, if they are on an equal footing, when trying to search under a
本発明の目的は、撮影した画像を複数の異なる条件で分類するとともに、撮影した画像を所望の条件で容易に検索できる撮像装置及びその表示方法を提供することである。 An object of the present invention is to provide an imaging device and a display method thereof that can classify captured images under a plurality of different conditions and easily search for captured images under desired conditions.
本発明の撮像装置は、被写体を撮影する撮像部と、前記撮像部により取得された複数の撮影画像に対し、前記撮影画像を分類する表示タイトルを含むタイトル画像を生成して挿入するタイトル生成実行部と、前記撮影画像と前記タイトル画像を格納するストレージ部と、前記ストレージ部に格納された前記撮影画像と前記タイトル画像を一覧表示する表示部と、前記表示部に一覧表示されている複数の前記撮影画像と前記タイトル画像から、所望の撮影画像を検索する画像検索実行部を備え、前記タイトル生成実行部は、前記撮影画像を分類する表示タイトルの種別ごとに設定された優先順位に従って、前記タイトル画像を階層的に生成することを特徴とする。 The imaging device of the present invention generates and inserts a title image including a display title that classifies the captured image into an imaging unit that captures a subject and a plurality of captured images acquired by the imaging unit. A unit, a storage unit for storing the photographed image and the title image, a display unit for displaying the photographed image and the title image stored in the storage unit in a list, and a plurality of units listed in the display unit. An image search execution unit for searching a desired captured image from the captured image and the title image is provided, and the title generation execution unit is said to have a priority set for each type of display title that classifies the captured image. The feature is that the title image is generated hierarchically.
本発明によれば、複数の撮影画像が分類条件の優先順位に従い自動的に階層的に分類整理されるので、所望の画像を容易かつ迅速に検索することができる。 According to the present invention, since a plurality of captured images are automatically classified and arranged hierarchically according to the priority of the classification conditions, a desired image can be easily and quickly searched.
以下、本発明の実施形態の例を、図面を用いて説明する。なお、以下に説明する実施の形態は本発明を実現するための一例であり、本発明が適用される装置の構成や各種条件によって、適宜修正又は変更されるべきものであり、本発明は以下の実施の形態に限定されるものではない。 Hereinafter, examples of embodiments of the present invention will be described with reference to the drawings. It should be noted that the embodiments described below are examples for realizing the present invention, and should be appropriately modified or changed depending on the configuration of the apparatus to which the present invention is applied and various conditions. It is not limited to the embodiment of.
図1に本実施例の撮像装置の外観図を示す。ここでは、撮像装置100がスマートホン等の情報端末機器の場合であり、(a)は表面図、(b)は背面(裏面)図であり、(a)の表面側には撮影した画像や様々な情報を表示する表示部121が配置されている。本実施例の撮像装置100では、撮像部(カメラ)を3箇所に設けている。(a)に示すように、第3撮像部125は表示部121と同一面(表面)に配置し、(b)に示すように、第1撮像部123と第2撮像部124は、表示部121と反対面(背面)に配置している。表示部121と同一面に配置する第3撮像部125はインカメラ、表示部121と反対面に配置する第1撮像部123、第2撮像部124はアウトカメラとも呼ばれる。第1撮像部123、第2撮像部124に隣接する位置には、フラッシュ部129を配置している。
FIG. 1 shows an external view of the image pickup apparatus of this embodiment. Here, the
その他撮像装置100の入出力部として、音声入力部(マイク)133、音声出力部(スピーカ)131、操作キー140k、タッチパネル140tが配置されている。
In addition, as input / output units of the
なお、撮像装置100は、スマートホンの他、デジタルスチルカメラ、カメラ機能を備えた携帯電話、タブレット端末、PDA(Personal Digital Assistants)やノート型PC(Personal Computer)であってもよい。また、動画撮影可能なビデオカメラや携帯型ゲーム機、またはその他の携帯用デジタル機器であってもよい。従って、撮像部(カメラ)の構成は上記に限らず、情報端末機器の機能に応じて、第1撮像部123と第2撮像部124を一体で構成したり、第1〜第3撮像部を統合して、1つのカメラを背面側あるいは表示部121側に配置したりする構成であってもよい。
In addition to the smart phone, the
図2Aは、本実施例の撮像装置のブロック図である。撮像装置100は、主制御部101、システムバス102、メモリ部104、ストレージ部110、映像処理部120、音声処理部130、操作部140、通信処理部150、センサ部160、拡張インタフェース部170、で構成される。
FIG. 2A is a block diagram of the image pickup apparatus of this embodiment. The
主制御部101は、所定のプログラムに従って撮像装置100全体を制御するマイクロプロセッサユニットである。システムバス102は主制御部101と撮像装置100内の各部との間でデータ送受信を行うためのデータ通信路である。
The
メモリ部104は基本動作プログラムやその他のアプリケーションプログラム実行時のプログラム領域、及び各種アプリケーションプログラム実行時に、必要に応じて画像データ等を一時的に保持する一時記憶領域となる。メモリ部104は主制御部101と一体構成であってもよい。
The
ストレージ部110は、撮像装置100の各種設定情報や、撮像装置100で撮影した静止画像データや動画像データ等を記憶する。またストレージ部110には、撮像装置100が実行する各種のアプリケーションプログラムを格納している。主制御部101は、ストレージ部110に格納されたアプリケーションプログラムをメモリ部104に展開し、さらに展開したアプリケーションプログラムを実行することにより、撮像装置100は各種の機能を実現する。アプリケーションプログラムはインターネットを介してアプリケーションサーバからダウンロードすることで、機能拡張することができる。
The
ストレージ部110は、撮像装置100に電源が供給されていない状態であっても記憶している情報を保持する必要がある。したがって、例えばフラッシュROMやSSD(Solid State Drive)、HDD(Hard Disc Drive)等のデバイスが用いられる。
The
映像処理部120は、表示部121、映像信号処理部122、第1撮像部123、第2撮像部124、第3撮像部125で構成される。表示部121は、例えば液晶パネル等の表示デバイスであり、映像信号処理部122で処理した画像データを撮像装置100のユーザに提供する。映像信号処理部122は、第1撮像部123、第2撮像部124、第3撮像部125で撮影された画像データを処理する。
The
音声処理部130は、音声出力部131、音声信号処理部132、音声入力部133、で構成される。音声出力部131はスピーカであり、音声信号処理部132で処理した音声信号を撮像装置100のユーザに提供する。音声入力部133はマイクであり、ユーザの声などを音声データに変換して入力する。なお、音声入力部133は撮像装置100と別体であり、有線通信または無線通信により撮像装置100と接続されるものであってもよい。
The
操作部140は、撮像装置100に対する操作指示の入力を行う指示入力部であり、図1に示したように、表示部121に重ねて配置したタッチパネル140t及びボタンスイッチを並べた操作キー140kが相当する。なお、このタッチパネル機能は表示部121が備え持っているものであってもよい。他の操作法として、後述の拡張インタフェース部170に接続したキーボード等を用いて撮像装置100の操作を行ってもよい。あるいは、有線通信または無線通信により接続された別体の情報端末機器を用いて撮像装置100の操作を行ってもよい。
The
通信処理部150は、LAN(Local Area Network)通信部151、移動体電話網通信部152、近接無線通信部153、で構成される。LAN通信部151は、インターネットの無線通信用アクセスポイントと無線通信により接続してデータの送受信を行う。移動体電話網通信部152は、移動体電話通信網の基地局との無線通信により、電話通信(通話)及びデータの送受信を行う。近接無線通信部153は、対応するリーダ/ライタとの近接時に無線通信を行う。LAN通信部151、移動体電話網通信部152、近接無線通信部153は、それぞれ符号回路や復号回路、アンテナ等を備えるものとする。さらに、赤外線通信部等を備えていてもよい。
The
センサ部160は、撮像装置100の状態を検出するためのセンサ群であり、本実施例では、GPS(Global Positioning System)受信部161、加速度センサ162、ジャイロセンサ163、地磁気センサ164、照度センサ165、近接センサ166、で構成される。これらのセンサ群により、撮像装置100の位置、動き、傾き、方角、及び周囲の明るさ、周囲物の近接状況、等を検出する。
The
拡張インタフェース部170は、撮像装置100の機能を拡張するためのインタフェース群であり、本実施例では、映像/音声インタフェース、USB(Universal Serial Bus)インタフェース、メモリインタフェース等で構成されるものとする。映像/音声インタフェースは、外部映像/音声出力機器からの映像信号/音声信号の入力、外部映像/音声入力機器への映像信号/音声信号の出力、等を行う。USBインタフェースはキーボードやその他のUSB機器の接続を行う。メモリインタフェースはメモリカードやその他のメモリ媒体を接続してデータの送受信を行う。
The
なお、図2Aに示した撮像装置100の構成はスマートホン等の情報端末機器の場合であり、対象とする情報端末機器の機能に応じて適宜変更できることは言うまでもない。
Needless to say, the configuration of the
図2Bは、本実施例の撮像装置のソフトウェア構成図であり、メモリ部104、及びストレージ部110におけるソフトウェア構成を示す。
FIG. 2B is a software configuration diagram of the image pickup apparatus of this embodiment, and shows the software configuration of the
ストレージ部110には、各種情報/データ記憶領域110aを備え、またカメラ機能プログラム110b、タイトル生成プログラム110c、画像解析プログラム110d、画像検索プログラム110eを格納している。各種情報/データ記憶領域110aは、撮像装置100の各種設定情報や、撮像装置100で撮影した静止画像データや動画像データ等を記憶する。また、カメラ機能プログラム110bは撮影を実行するためのプログラム、タイトル生成プログラム110cはタイトル画像を生成するためのプログラム、画像解析プログラム110dは撮影した画像の解析を行うためのプログラム、画像検索プログラム110eは撮影した画像の検索を行うためのプログラムである。
The
メモリ部104には、情報端末機器としての基本動作を行う基本動作実行部104aと撮像機能に関する動作を行う各種実行部104b〜104e、及び撮影した画像等を一時記憶する一時記憶領域104fを備える。ストレージ部110に格納された上記の各プログラム110b〜110eは、メモリ部104に展開される。そして、主制御部101が各プログラムを実行することで、カメラ機能実行部104b、タイトル生成実行部104c、画像解析実行部104d、画像検索実行部104eを構成し、各種機能動作を実行する。
The
本実施例では、撮像装置の各種機能動作をソフトウェアで実現する構成としたが、上記の各種実行部104b〜104eの動作をハードウェアで実現する構成も可能である。 In this embodiment, the various functional operations of the image pickup apparatus are realized by software, but the operations of the various execution units 104b to 104e described above can also be realized by hardware.
以下、本実施例の撮像装置による動作、特にタイトル画像の生成について詳細に説明する。本実施例では、複数の撮影画像を分類するための区切り画像を「タイトル画像」と呼ぶ。タイトル画像は分類するためのキーワード(表示タイトル)を含んで生成される。その際、表示タイトルの種別に応じて優先順位を設け、優先順位に従って階層的にタイトル画像を生成することに特徴がある。 Hereinafter, the operation by the image pickup apparatus of this embodiment, particularly the generation of the title image will be described in detail. In this embodiment, the delimited image for classifying a plurality of captured images is referred to as a "title image". The title image is generated including a keyword (display title) for classification. At that time, it is characterized in that priority is set according to the type of display title and title images are generated hierarchically according to the priority.
図3は、タイトル画像の生成ルールを定めたタイトル画像制御表である。タイトル画像制御表(T0)は事前にユーザにより設定されて、ストレージ部110の各種情報/データ記憶領域110aに格納されている。ここではタイトル画像の表示タイトルの種別として、「年」、「季節」、「月」、「日」、「場所」を登録している。タイトル生成実行部104cは、撮影条件のうち「年」、「季節」・・・等が異なるときにそれらの表示タイトルを有するタイトル画像を生成する。なお、表示タイトルの種別はこれに限定されず、時刻情報及び位置情報(GPS情報)に基づき区別できるものであれば任意に追加できる。「季節」の定義は、春(3月〜5月)、夏(6月〜8月)、秋(9月〜11月)、冬(12月〜2月)としているが、期間は任意に設定できる。また、「場所」とは単に異なる場所ではなく、前回の撮影位置と今回の撮影位置とが所定距離以上離れていれば異なる場所と定義する。この例では条件欄に記載のように、10kmの距離以上離れている場合とする。
FIG. 3 is a title image control table in which title image generation rules are defined. The title image control table (T0) is set in advance by the user and stored in various information / data storage areas 110a of the
タイトル画像制御表では、表示タイトルの種別に応じて優先順位のフラグ(=1、2、・・・)を設定している。ここでは、表示タイトルが「年」、「季節」、「月」・・・の順に優先順位を与えている。タイトル画像生成フラグは、タイトル画像を生成する場合(フラグ=1)と、タイトル画像を生成しない場合(フラグ=0)を定め、この例では、表示タイトルが「日」、「場所」についてはタイトル画像を生成しないものとする。 In the title image control table, priority flags (= 1, 2, ...) Are set according to the type of display title. Here, the display titles are prioritized in the order of "year", "season", "month", and so on. The title image generation flag defines the case where the title image is generated (flag = 1) and the case where the title image is not generated (flag = 0). In this example, the display title is "day" and the title is "location". No image is generated.
また、タイトル画像合成フラグは、先に生成した他の種別のタイトル画像と合成する場合(フラグ=1)と、合成しない場合(フラグ=0)を定める。この例では、「年」と「季節」については他の種別のタイトル画像と合成せず、「月」については他の種別のタイトル画像と合成するものとする。ただし、自身のタイトル画像合成フラグ=0であっても、後に生成された他の種別のタイトル画像のタイトル画像合成フラグ=1の場合には、後に生成されたタイトル画像と合成される場合がある。なお、タイトル画像合成フラグ=×印はノット・ケア(無関係)を意味する。 Further, the title image composition flag defines a case of combining with the title image of another type generated earlier (flag = 1) and a case of not combining (flag = 0). In this example, "year" and "season" are not combined with other types of title images, and "month" is not combined with other types of title images. However, even if its own title image composition flag = 0, if the title image composition flag of another type of title image generated later is 1, it may be combined with the title image generated later. .. The title image composition flag = × mark means not care (irrelevant).
さらに本実施例では、生成するタイトル画像のデザインを表示タイトルの優先順位に従って変えている。具体的には後述するように、タイトル画像のサイズ(縦横比)、画像内の文字サイズ、画像の背景色、画像の解像度の少なくとも1つを異ならせることで、タイトル画像の目立ち易さを変えている。つまりタイトル画像を優先順位に従って階層的に表示することで、ユーザは、優先順位の高いタイトル画像を容易に識別し、優先順位の高い表示タイトルに属する撮影画像を迅速に検索することを可能にしている。 Further, in this embodiment, the design of the generated title image is changed according to the priority of the displayed title. Specifically, as will be described later, the conspicuity of the title image is changed by making at least one of the title image size (aspect ratio), the character size in the image, the background color of the image, and the resolution of the image different. ing. In other words, by displaying the title images hierarchically according to the priority, the user can easily identify the title image with a high priority and quickly search for the captured image belonging to the display title with a high priority. There is.
図4は、タイトル画像の表示画面の例を示す図である。撮像装置100で撮影した一連の画像10を、表示部121にサムネイル表示している。(a)は撮影画像10をタイトル画像なしに時系列に配列して一覧表示した状態であり、撮影順は矢印の方向、すなわち画面の左から右方向へ、また上から下方向となっている。(b)は撮影画像10にタイトル画像11〜13を生成・挿入して一覧表示した状態である。
FIG. 4 is a diagram showing an example of a display screen of a title image. A series of
タイトル画像の生成ルールは図3のタイトル画像制御表(T0)に従い、撮影条件のうち「年」、「季節」、「月」が変わるごとにその表示タイトルの内容を示すタイトル画像(この例では黒画面に白抜き文字)を生成して、撮影画像の区切りの位置に挿入している。タイトル画像11は「年」の区切りに挿入したもので、優先順位が最も高く画像のサイズを最大としている。タイトル画像12は「季節」の区切りに、タイトル画像13は「月」の区切りに挿入し、優先順位に従い画像のサイズを小さくしている。なお、「季節」と「月」とが同時に変わる場合には、タイトル画像12とタイトル画像13とを合成して表示している。
The title image generation rule follows the title image control table (T0) in FIG. 3, and the title image indicating the content of the displayed title each time the "year", "season", and "month" of the shooting conditions change (in this example). An outline character) is generated on a black screen and inserted at the delimiter position of the captured image. The title image 11 is inserted at the "year" delimiter, and has the highest priority and the largest image size. The title image 12 is inserted in the "season" delimiter, and the
このように、タイトル画像を優先順位に従って画像サイズを変えて階層的に表示することで、ユーザは、優先順位の高い表示タイトル「年」に属する撮影画像を迅速に検索することができる。 In this way, by displaying the title images hierarchically by changing the image size according to the priority, the user can quickly search for the captured image belonging to the display title "year" having a high priority.
図5は、撮像装置100の撮像動作を示すフローチャートである。この撮像動作は、メモリ部104に構成されたカメラ機能実行部104bとタイトル生成実行部104cにより制御される。
FIG. 5 is a flowchart showing an imaging operation of the
操作部140から第1撮像部123、第2撮像部124、及び第3撮像部125のいずれかに対し撮像の指示がなされると、撮像処理を実行する(S201)。これにより指示された撮像部(例えば第1撮像部123)から撮影画像を取得する(S202)。次に、内蔵の時計機構(図示せず)とGPS受信部161から撮影時の時刻情報と位置情報を取得し、撮影画像のメタデータとする(S203)。取得した撮影画像とメタデータを関連付けて、メモリ部104の一時記憶領域104fに一時保存する(S204)。
When an imaging instruction is given from the
次に、内部処理用の変数PRIを1に初期設定する(S205)。この変数PRIはタイトル画像の優先順位のパラメータである。ストレージ部110に格納しているタイトル画像制御表を参照し、変数PRIに設定された優先順位の表示タイトルを検索する(S206)。例えば図3のタイトル画像制御表(T0)の場合は、変数PRI=1に対し表示タイトル「年」が検索される。次にタイトル画像制御表の設定に従い、検索した表示タイトル(例えば「年」)を対象にタイトル画像生成処理を実行する(S207)。タイトル画像生成処理の具体的な内容は後述するが、対象となる表示タイトルのタイトル画像生成フラグ=1(タイトル画像を生成すべきもの)であって、前回の撮影画像と撮影条件が一致しないときにタイトル画像を生成する。生成したタイトル画像は、メモリ部104内の一時記憶領域104fに一時保存する。タイトル画像生成処理終了後、処理した表示タイトルの優先順位は最下位かどうか判定する(S208)。
Next, the variable PRI for internal processing is initially set to 1 (S205). This variable PRI is a parameter of the priority of the title image. The title image control table stored in the
S208の判定で、処理した表示タイトルの優先順位が最下位ではない時には、変数PRIに1を加算し(S209)、S206に戻る。そして、次の優先順位の表示タイトルについて同様の処理を行う。図3の制御表(T0)場合は、変数PRI=2の優先順位である表示タイトル「季節」を対象にタイトル画像生成処理を行う。 In the determination of S208, when the priority of the processed display title is not the lowest, 1 is added to the variable PRI (S209), and the process returns to S206. Then, the same processing is performed for the display title of the next priority. In the case of the control table (T0) of FIG. 3, the title image generation process is performed for the display title “season”, which is the priority of the variable PRI = 2.
S208の判定で、処理した表示タイトルの優先順位が最下位である時には、タイトル画像生成処理を終了する。そして、一時保存されたタイトル画像をストレージ部110の各種情報/データ記憶領域110aに格納する(S210)。なお、S207で生成されるタイトル画像の数(N)は、0個から設定された優先順位の最大設定数までの範囲となる。次に、メモリ部104の一時記憶領域104fに一時保存されていた画像データとメタデータを、ストレージ部110の各種情報/データ記憶領域110aに格納する(S211)。これで撮像処理を終了する。
In the determination of S208, when the processed display title has the lowest priority, the title image generation process is terminated. Then, the temporarily saved title image is stored in the various information / data storage areas 110a of the storage unit 110 (S210). The number (N) of title images generated in S207 is in the range from 0 to the maximum number of priorities set. Next, the image data and metadata temporarily stored in the temporary storage area 104f of the
図6Aと図6Bは、図5のタイトル画像生成処理(S207)の詳細を示すフローチャートである。タイトル画像生成処理(S207)では、各表示タイトルを対象にタイトル画像の生成を行うが、ここでは表示タイトルが「年」と「場所」について説明する。他の表示タイトル「季節」、「月」、「日」についても同様の処理であり説明を省略する。 6A and 6B are flowcharts showing the details of the title image generation process (S207) of FIG. In the title image generation process (S207), a title image is generated for each display title, and here, the display titles "year" and "place" will be described. The same processing is applied to the other display titles "season", "month", and "day", and the description thereof will be omitted.
図6Aは、「年」を対象とするタイトル画像生成処理を示すフローチャートである。図5のS206に続いて実行される。
タイトル画像制御表を参照し、タイトル画像生成フラグが1に設定されているか判定する(S301)。生成フラグが1に設定されていない時には、本処理を終了する。
FIG. 6A is a flowchart showing a title image generation process for the “year”. This is executed following S206 in FIG.
With reference to the title image control table, it is determined whether or not the title image generation flag is set to 1 (S301). When the generation flag is not set to 1, this process ends.
生成フラグが1に設定されている時には、ストレージ部110に格納されている画像のうち、前回撮影した画像のメタデータからその撮影年を読み出し、メモリ部104に一時保存された今回の撮影画像の撮影年と一致するかどうか判定する(S302)。S302で撮影年が一致している時には、本処理を終了する。
When the generation flag is set to 1, among the images stored in the
S302で撮影年が不一致の時には、当該表示タイトルの優先順位に応じたデザインのタイトル画像を生成する。すなわち、優先順位に応じて予め定めた画像サイズ(縦横比)とし、撮影年を示す文字(西暦年、和暦年等)を含むタイトル画像を生成して、メモリ部104の一時記憶領域104fに一時保存する(S303)。なお、タイトル画像の背景画像には、当該年の干支を示す画像やカレンダー等を用いてもよい。また、表示タイトルが「季節」の場合は、背景画像として季節感のある画像、例えば、桜、海、紅葉、雪景色等の画像を用いてもよい。
When the shooting years do not match in S302, a title image having a design according to the priority of the displayed title is generated. That is, a title image including characters indicating the shooting year (year of the Christian era, Japanese calendar year, etc.) is generated with an image size (aspect ratio) predetermined according to the priority, and temporarily stored in the temporary storage area 104f of the
次に、タイトル画像制御表のタイトル画像合成フラグが1に設定されているか判定する(S304)。合成フラグが1に設定されていない時には、本処理を終了する。すなわち先に生成した他のタイトル画像と合成せず、単独のタイトル画像となる。 Next, it is determined whether or not the title image composition flag of the title image control table is set to 1 (S304). When the synthesis flag is not set to 1, this process ends. That is, it becomes a single title image without being combined with other title images generated earlier.
合成フラグが1に設定されている時には、先に生成しメモリ部104に一時保存している優先順位が上位のタイトル画像があるか判定する(S305)。先に一時保存されたタイトル画像がない時には、本処理を終了する。 When the composition flag is set to 1, it is determined whether or not there is a title image having a higher priority that is generated first and temporarily stored in the memory unit 104 (S305). If there is no title image temporarily saved earlier, this process ends.
先に一時保存されたタイトル画像がある時には、先に生成したタイトル画像と今回生成したタイトル画像を合成して、メモリ部104に一時保存する(S306)。なお、このときの合成処理では、今回生成したタイトル画像を縮小または変形して、先に生成した上位のタイトル画像との階層差が明確になるようにする。例えば、今回生成したタイトル画像は画面内で下段に配置したり、表示タイトルの文字サイズを小さくしたりするデザインとする。これでタイトル画像生成処理を終了し、図5のS208へ移行する。 When there is a title image temporarily saved earlier, the title image generated earlier and the title image generated this time are combined and temporarily saved in the memory unit 104 (S306). In the compositing process at this time, the title image generated this time is reduced or transformed so that the hierarchical difference from the previously generated upper title image becomes clear. For example, the title image generated this time is designed to be arranged at the bottom of the screen or to reduce the character size of the display title. This completes the title image generation process, and proceeds to S208 in FIG.
図6Bは、「場所」を対象とするタイトル画像生成処理を示すフローチャートである。
タイトル画像制御表を参照し、タイトル画像生成フラグが1に設定されているか判定する(S311)。生成フラグが1に設定されていない時には、本処理を終了する。
FIG. 6B is a flowchart showing a title image generation process for the “location”.
With reference to the title image control table, it is determined whether or not the title image generation flag is set to 1 (S311). When the generation flag is not set to 1, this process ends.
生成フラグが1に設定されている時には、ストレージ部110に格納されている前回撮影した画像のメタデータからその撮影場所を読み出し、メモリ部104に一時保存された今回の撮影画像の撮影場所と一致するかどうか判定する(S312)。この判定では、両者の撮影場所間の距離が、タイトル画像制御表の条件欄に記載された距離(図3では10km)未満であれば一致するとみなす。なお、撮影画像が撮像装置を移動して得られる動画像である場合には、撮影開始位置あるいは撮影終了位置など、撮影場所として比較する位置を適宜決めておけばよい。S312で撮影場所が一致している時には、本処理を終了する。
When the generation flag is set to 1, the shooting location is read from the metadata of the previously shot image stored in the
S312で撮影場所が不一致の時には、当該表示タイトルの優先順位に応じたデザインのタイトル画像を生成する。すなわち、優先順位に応じて予め定めた画像サイズ(縦横比)とし、撮影場所を示す文字(例、箱根、日光等)を含むタイトル画像を生成して、メモリ部104の一時記憶領域104fに一時保存する(S313)。なお、タイトル画像の背景画像には、当該場所の地図画像や当該場所を代表するランドマーク画像等を用いてもよい。これらの文字や画像は、通信処理部150よりインターネットを経由して提供サーバから入手することができる。
When the shooting locations do not match in S312, a title image having a design according to the priority of the displayed title is generated. That is, the image size (aspect ratio) is set in advance according to the priority, a title image including characters indicating the shooting location (eg, Hakone, sunlight, etc.) is generated, and the image is temporarily stored in the temporary storage area 104f of the
次に、タイトル画像制御表のタイトル画像合成フラグが1に設定されているか判定する(S314)。合成フラグが1に設定されていない時には、本処理を終了する。 Next, it is determined whether or not the title image composition flag of the title image control table is set to 1 (S314). When the synthesis flag is not set to 1, this process ends.
合成フラグが1に設定されている時には、先に生成しメモリ部104に一時保存している優先順位が上位のタイトル画像があるか判定する(S315)。先に一時保存されたタイトル画像がない時には、本処理を終了する。 When the composition flag is set to 1, it is determined whether or not there is a title image having a higher priority that is generated first and temporarily stored in the memory unit 104 (S315). If there is no title image temporarily saved earlier, this process ends.
先に一時保存されたタイトル画像がある時には、先に生成したタイトル画像と今回生成したタイトル画像を合成して、メモリ部104に一時保存する(S316)。このときの合成処理は、図6AのS306の説明と同様である。あるいは、今回生成したタイトル画像が地図やランドマーク等の画像である場合、前記地図やランドマークを背景として、先に生成したタイトル画像の文字を重畳するように合成しても良い。これでタイトル画像生成処理を終了し、図5のS208へ移行する。 When there is a title image temporarily saved earlier, the title image generated earlier and the title image generated this time are combined and temporarily saved in the memory unit 104 (S316). The synthesis process at this time is the same as the description of S306 in FIG. 6A. Alternatively, when the title image generated this time is an image such as a map or a landmark, the characters of the previously generated title image may be superimposed on the map or the landmark as a background. This completes the title image generation process, and proceeds to S208 in FIG.
図7Aと図7Bは、タイトル画像のその他の生成例を示す図である。図7Aは、タイトル画像制御表のその他の例として(T1)〜(T4)の場合を示す。ここでは、タイトル画像生成フラグ=0となる項目は省略している。なお、制御表(T2)は図3の制御表(T0)と同じ内容である。図7Bでは、これらの各制御表に従い生成されるタイトル画像の例を示す。 7A and 7B are diagrams showing other generation examples of title images. FIG. 7A shows the cases (T1) to (T4) as other examples of the title image control table. Here, the item in which the title image generation flag = 0 is omitted. The control table (T2) has the same contents as the control table (T0) of FIG. FIG. 7B shows an example of a title image generated according to each of these control tables.
図7Bの(初期状態)として、ストレージ部110に2枚の撮影画像P1,P2がメタデータと共に記憶されている時に、新たに撮像処理が実行されてメモリ部104の一時記憶領域104fに撮影画像P3とメタデータが一時保存された状態を想定する。この場合、画像P2が前回の画像、画像P3が今回の画像となる。各画像の下にはメタデータである撮影日時と撮影場所の情報を記述している。この時、図7Aの各タイトル画像制御表に従いどのようにタイトル画像が生成されるかを説明する。
As (initial state) of FIG. 7B, when two captured images P1 and P2 are stored together with metadata in the
制御表(T1)の場合は、優先順位が「年」、「季節」、「月」の順であり、これらのタイトル画像生成フラグは1、タイトル画像合成フラグは0である。この場合、前回の撮影画像P2の撮影日時と今回の撮影画像P3の撮影日時は「年」、「季節」、「月」共に不一致であるので、年のタイトル画像21、季節のタイトル画像22、月のタイトル画像23の順に生成される。その際、優先順位に従ってタイトル画像のサイズを変えている。また、文字サイズを変えてもよい。合成フラグは全て0なので、タイトル画像の合成は行わない。生成された3つのタイトル画像は、撮影画像P3の直前に挿入される。
In the case of the control table (T1), the order of priority is "year", "season", and "month", and the title image generation flag is 1 and the title image composition flag is 0. In this case, since the shooting date and time of the previous shot image P2 and the shooting date and time of the current shot image P3 do not match in all of "year", "season", and "month", the
制御表(T2)の場合は、制御表(T1)に対して「月」のタイトル画像合成フラグが1に設定されているので、季節と月のタイトル画像22,23が合成される。
In the case of the control table (T2), since the title image composition flag of "month" is set to 1 with respect to the control table (T1), the
制御表(T3)の場合は、優先順位が「場所」、「年」の順であり、これらのタイトル画像生成フラグは1、タイトル画像合成フラグは0である。この場合、前回の撮影場所であるA地点と今回の撮影場所であるB地点との距離は100kmであり、制御表の条件欄に記載の10km以上離れている。また、撮影年が異なっているので、場所のタイトル画像24と年のタイトル画像25が生成される。
In the case of the control table (T3), the order of priority is "place" and "year", and the title image generation flag is 1 and the title image composition flag is 0. In this case, the distance between the point A, which is the previous shooting location, and the point B, which is the shooting location this time, is 100 km, which is 10 km or more as described in the condition column of the control table. Further, since the shooting years are different, the
制御表(T4)の場合は、制御表(T3)に対して「年」のタイトル画像合成フラグが1に設定されているので、場所と年のタイトル画像24,25が合成される。
In the case of the control table (T4), since the title image composition flag of "year" is set to 1 with respect to the control table (T3), the
このように、所望のタイトル画像制御表を設定することで、優先順位に従って階層構造を有するタイトル画像を生成し、区切り画像として挿入することができる。その結果、複数の撮影画像を所望の優先順位に従って分類整理することができる。 By setting the desired title image control table in this way, it is possible to generate a title image having a hierarchical structure according to the priority order and insert it as a delimiter image. As a result, a plurality of captured images can be classified and arranged according to a desired priority.
実施例1では、撮影画像のメタデータである時刻情報及び位置情報(GPS情報)に基づいてタイトル画像を生成した。実施例2では、さらに、撮影画像内の被写体の種類を判別し、それに基づきタイトル画像を生成するものである。そのため撮像装置100の構成として、図2Bにおける画像解析実行部104dを使用し、例えば、画像内に人物等が存在するかどうかを判断してメタデータを追加する。以下の説明では、実施例1で利用したメタデータを「メタデータ1」、実施例2で追加したメタデータを「メタデータ2」として区別する。
In the first embodiment, the title image was generated based on the time information and the position information (GPS information) which are the metadata of the captured image. In the second embodiment, the type of the subject in the captured image is further determined, and the title image is generated based on the determination. Therefore, as the configuration of the
図8Aは、本実施例におけるタイトル画像を生成するためのタイトル画像制御表である。タイトル画像制御表(T5)では表示タイトルの種別として、被写体の種類である「家族」、「人物」、「風景」を追加している。ここで、「家族」とは人物が写っている画像で、かつ人物に家族が含まれている画像である。「人物」とは家族以外の人物が写っている画像である。「風景」とは人物が写っていない画像である。 FIG. 8A is a title image control table for generating a title image in this embodiment. In the title image control table (T5), "family", "person", and "landscape", which are the types of subjects, are added as the types of display titles. Here, the "family" is an image in which a person is shown and the person includes a family. A "person" is an image of a person other than a family member. A "landscape" is an image that does not show a person.
図8Bは、「家族」画像の判定を行うための条件を定めた家族構成テーブルである。家族構成テーブル(T6)は、家族の顔画像リンクと一致人数とからなる。撮影画像に家族の顔画像リンク先の顔画像と一致するものがあるか判定し、一致した人数が所定人数(ここでは2名以上)であれば家族の画像と判定する。 FIG. 8B is a family composition table that defines the conditions for determining the “family” image. The family composition table (T6) consists of a family face image link and a matching number of people. It is determined whether or not the captured image matches the face image of the family's face image link destination, and if the number of matched people is a predetermined number (here, two or more), it is determined to be a family image.
なお、画像解析実行部104dでは、画像解析による人物認識及び家族認識(顔認識による)を行うが、パターン認識と機械学習等を用いた公知の技術(例えばViola-Jones法等)を用いればよく、特にその実現方法を限定しない。また、ここでは追加する表示タイトルとして家族、人物、風景を取り上げたが、画像解析結果を用いるものであれば、山、動物、友達、同窓生等でもよく、特に限定されない。 The image analysis execution unit 104d performs person recognition and family recognition (by face recognition) by image analysis, but a known technique using pattern recognition, machine learning, or the like (for example, the Viola-Jones method) may be used. , In particular, the method of realizing it is not limited. In addition, although family, people, and landscapes are taken up as display titles to be added here, mountains, animals, friends, alumni, etc. may be used as long as they use image analysis results, and are not particularly limited.
各々の表示タイトルには実施例1と同様に優先順位が設定され、優先順位に従ってデザインが異なるタイトル画像を生成することで、タイトル画像の階層構造を実現する。このタイトル画像制御表(T5)、及び家族構成テーブル(T6)は事前にユーザにより設定されてストレージ部110に格納されている。
Priorities are set for each display title as in the first embodiment, and a hierarchical structure of title images is realized by generating title images having different designs according to the priorities. The title image control table (T5) and the family structure table (T6) are set in advance by the user and stored in the
図9は、撮像装置100の撮像動作を示すフローチャートである。S401〜S403は撮影画像の取得とメタデータの取得処理であり、実施例1のS201〜S203と同一であるので説明を省略する。なお、S403で取得するのはメタデータ1とする。
FIG. 9 is a flowchart showing an imaging operation of the
画像解析実行部104dにより撮影画像を解析し、当該画像が家族画像か、人物画像か、風景画像かを判別し、判別結果をメタデータ2として作成する(S404)。画像解析処理の詳細は後述する。撮影画像とメタデータ1,2を関連付けて、メモリ部104の一時記憶領域104fに一時保存する(S405)。
The image analysis execution unit 104d analyzes the captured image, determines whether the image is a family image, a person image, or a landscape image, and creates the determination result as metadata 2 (S404). The details of the image analysis process will be described later. The captured image and the
次に、内部処理用の変数PRIを1に初期設定する(S406)。ストレージ部110に格納しているタイトル画像制御表を参照し、変数PRIに設定された優先順位の表示タイトルを検索する(S407)。例えば図8Aのタイトル画像制御表(T5)の場合は、変数PRI=1に対し表示タイトル「家族」が検索される。次にタイトル画像制御表の設定に従い、検索した表示タイトルを対象にタイトル画像生成処理を実行する(S408)。
Next, the variable PRI for internal processing is initially set to 1 (S406). The title image control table stored in the
タイトル画像生成処理の具体的な内容は後述するが、今回の撮影画像が対象とする表示タイトルに変わったときにタイトル画像を生成するだけでなく、前回の撮影画像が対象とする表示タイトルであって今回の撮影画像が対象とする表示タイトル以外に変わったときには、対象とする表示タイトルが「終了」したことを示すタイトル画像を生成する。生成したタイトル画像は、メモリ部104内の一時記憶領域104fに一時保存する。タイトル画像生成処理終了後、処理した表示タイトルの優先順位は最下位かどうか判定する(S409)。
The specific content of the title image generation process will be described later, but it is not only the title image generated when the displayed image changed to the target display title, but also the display title targeted by the previous shot image. When the captured image changes to a display title other than the target display title, a title image indicating that the target display title has "finished" is generated. The generated title image is temporarily stored in the temporary storage area 104f in the
S409の判定で、処理した表示タイトルの優先順位が最下位ではない時には、変数PRIに1を加算し(S410)、S407に分岐する。そして、次の優先順位の表示タイトルについて同様の処理を行う。図8Aの制御表(T5)場合は、変数PRI=2の優先順位である表示タイトル「風景」を対象にタイトル画像生成処理を行う。 In the determination of S409, when the priority of the processed display title is not the lowest, 1 is added to the variable PRI (S410) to branch to S407. Then, the same processing is performed for the display title of the next priority. In the case of the control table (T5) of FIG. 8A, the title image generation process is performed for the display title “landscape” which is the priority of the variable PRI = 2.
S409の判定で、処理した表示タイトルの優先順位が最下位である時には、タイトル画像生成処理を終了する。そして、一時保存されたタイトル画像をストレージ部110の各種情報/データ記憶領域110aに格納する(S411)。次に、メモリ部104の一時記憶領域104fに一時保存されていた画像データとメタデータ1,2を、ストレージ部110の各種情報/データ記憶領域110aに格納する(S412)。これで撮像処理を終了する。
In the determination of S409, when the processed display title has the lowest priority, the title image generation process is terminated. Then, the temporarily saved title image is stored in the various information / data storage areas 110a of the storage unit 110 (S411). Next, the image data and the
図10Aは、図9の画像解析処理(S404)の詳細を示すフローチャートである。
画像解析実行部104dにより撮影画像を解析する(S501)。撮影画像に人物が含まれているか判定する(S502)。撮影画像に人物が含まれていないと判定した時には、撮影画像は「風景」画像であると判別してメタデータ2を作成する(S507)。
FIG. 10A is a flowchart showing details of the image analysis process (S404) of FIG.
The captured image is analyzed by the image analysis execution unit 104d (S501). It is determined whether or not a person is included in the captured image (S502). When it is determined that the captured image does not include a person, the captured image is determined to be a "landscape" image and
撮影画像に人物が含まれていると判定した時には、その人物には家族が含まれるか判定する(S503)。この家族の判定のために、図8Bに示した家族構成テーブル(T6)を用いる。家族構成テーブルには家族の顔画像リンクがあり、撮影画像に含まれる人物と家族の顔画像リンク先の顔画像とが一致するか判定する。この判定は家族構成テーブルに登録された全家族について順次実施する。 When it is determined that the captured image contains a person, it is determined whether the person includes a family member (S503). The family composition table (T6) shown in FIG. 8B is used for determining the family. There is a family face image link in the family composition table, and it is determined whether or not the person included in the captured image matches the face image of the family face image link destination. This determination is sequentially performed for all the families registered in the family composition table.
撮影画像に家族が含まれると判定した時は、含まれる家族の人数が所定人数以上かを判定する(S504)。すなわち、顔画像が一致した人数が家族構成テーブルの「一致人数」以上であるか判定する。家族の人数が一致人数以上と判定した時には、撮影画像は「家族」画像であると判別してメタデータ2を作成する(S505)。
When it is determined that the captured image includes a family member, it is determined whether or not the number of family members included is a predetermined number or more (S504). That is, it is determined whether the number of people whose face images match is equal to or greater than the "matching number of people" in the family composition table. When it is determined that the number of family members is equal to or greater than the number of matching persons, it is determined that the captured image is a "family" image and
S503で撮影画像に家族が含まれないと判定した時、あるいはS504で家族の人数が一致人数未満と判定した時には、撮影画像は「人物」画像であると判別してメタデータ2を作成する(S506)。
これで画像解析処理を終了し、図9のS405へ移行する。
When it is determined in S503 that the captured image does not include a family, or when it is determined in S504 that the number of family members is less than the matching number, the captured image is determined to be a "person" image and
This completes the image analysis process and proceeds to S405 in FIG.
図10Bは、図9のタイトル画像生成処理(S408)の詳細を示すフローチャートである。図9のS407に続いて実行される。ここでは対象とする表示タイトルが「家族」の場合を例に説明する。なお、表示タイトルが「人物」や「風景」の場合も同様の処理となる。 FIG. 10B is a flowchart showing details of the title image generation process (S408) of FIG. This is executed following S407 in FIG. Here, the case where the target display title is "family" will be described as an example. The same processing is performed when the display title is "person" or "landscape".
タイトル画像制御表を参照し、「家族」のタイトル画像生成フラグが1に設定されているか判定する(S511)。生成フラグが1に設定されていない時には、本処理を終了する。 With reference to the title image control table, it is determined whether or not the title image generation flag of "family" is set to 1 (S511). When the generation flag is not set to 1, this process ends.
生成フラグが1に設定されている時には、一時保存された今回の撮影画像のメタデータ1,2から今回の撮影画像が「家族」画像かどうか判定する(S512)。今回の画像が家族画像であると判定したときはS513へ進み、今回の画像が家族画像でないと判定したときはS515へ進む。
When the generation flag is set to 1, it is determined from the temporarily saved
S513では、ストレージ部110に格納されている前回撮影した画像のメタデータ1,2から前回の画像が家族画像かどうか判定する。前回の撮影画像が家族画像であると判定したときは、本処理を終了する。前回の撮影画像が家族画像でないと判定したときはタイトル画像を生成する。すなわち、当該表示タイトルである「家族」の優先順位に応じたデザイン(画像サイズ等)で「家族」を示す文字を含むタイトル画像を生成して、メモリ部104の一時記憶領域104fに一時保存する(S514)。なお、タイトル画像の背景画像として、典型的な家族画像(家族の代表者、または全員の画像)あるいは一時保存されている家族の撮影画像等を用いてもよい。その後S517へ進む。
In S513, it is determined from the
S515では、S513と同様に前回の画像が家族画像かどうか判定する。前回の撮影画像が家族画像でないと判定したときは、本処理を終了する。前回の撮影画像が家族画像であると判定したときはタイトル画像を生成する。ただしこの場合は、「家族」の優先順位に応じたデザインであって「家族終了」を示す文字を含むタイトル画像を生成して、メモリ部104の一時記憶領域104fに一時保存する(S516)。なお、タイトル画像の背景画像として「終了」を強調する画像等を合成してもよい。その後S517へ進む。 In S515, as in S513, it is determined whether the previous image is a family image. When it is determined that the previously captured image is not a family image, this process ends. When it is determined that the previously captured image is a family image, a title image is generated. However, in this case, a title image having a design according to the priority of "family" and including a character indicating "end of family" is generated and temporarily stored in the temporary storage area 104f of the memory unit 104 (S516). An image or the like that emphasizes "end" may be combined as the background image of the title image. Then proceed to S517.
S517では、タイトル画像制御表のタイトル画像合成フラグが1に設定されているか判定する。合成フラグが1に設定されていない時には、本処理を終了する。合成フラグが1に設定されている時には、先に生成しメモリ部104に一時保存している優先順位が上位のタイトル画像があるか判定する(S518)。先に一時保存されたタイトル画像がない時には、本処理を終了する。先に一時保存されたタイトル画像がある時には、先に生成したタイトル画像と今回生成したタイトル画像を合成して、メモリ部104に一時保存する(S519)。タイトル画像の合成では、優先順位に従って上下の配置関係や文字サイズを異ならせる。これでタイトル画像生成処理を終了し、図9のS409へ移行する。 In S517, it is determined whether or not the title image composition flag of the title image control table is set to 1. When the synthesis flag is not set to 1, this process ends. When the composition flag is set to 1, it is determined whether or not there is a title image having a higher priority that is generated first and temporarily stored in the memory unit 104 (S518). If there is no title image temporarily saved earlier, this process ends. When there is a title image temporarily saved earlier, the title image generated earlier and the title image generated this time are combined and temporarily saved in the memory unit 104 (S519). In the composition of title images, the vertical arrangement and character size are different according to the priority. This completes the title image generation process, and proceeds to S409 in FIG.
図11Aと図11Bは、タイトル画像の様々な生成例を示す図である。図11Aは、タイトル画像制御表の例として(T7)〜(T9)の場合を示す。ここでは、タイトル画像生成フラグ=0の項目は一部省略している。図11Bでは、これらの各制御表に従い生成されるタイトル画像の例を示す。 11A and 11B are diagrams showing various generation examples of title images. FIG. 11A shows the cases of (T7) to (T9) as an example of the title image control table. Here, some items of the title image generation flag = 0 are omitted. FIG. 11B shows an example of a title image generated according to each of these control tables.
図11Bの(初期状態)では、ストレージ部110に2枚の撮影画像P4,P5がメタデータ1,2と共に記憶されている時に、新たに撮像処理が実行されてメモリ部104の一時記憶領域104fに撮影画像P6とメタデータ1,2が一時保存された状態を想定する。この場合、画像P5が前回の画像、画像P6が今回の画像となる。各画像の下にはメタデータ1である撮影日時とメタデータ2である画像解析の結果(家族、人物、風景)の情報を記述している。この時に、図11Aの各タイトル画像制御表によりどのようにタイトル画像が生成されるかを説明する。
In the (initial state) of FIG. 11B, when two captured images P4 and P5 are stored in the
制御表(T7)の場合は、優先順位が「家族」、「人物」、「年」の順であり、タイトル画像生成フラグは1、タイトル画像合成フラグは0である。この場合、前回の撮影画像(P5)の画像解析結果が「人物」であり今回の撮影画像(P6)の画像解析結果が「家族」であること、また撮影年が異なっていることから、「家族」のタイトル画像31、「人物終了」のタイトル画像32、「年」のタイトル画像33の3つのタイトル画像が優先順位に従って生成される。合成フラグは全て0なので、タイトル画像の合成は行わない。
In the case of the control table (T7), the order of priority is "family", "person", and "year", the title image generation flag is 1, and the title image composition flag is 0. In this case, since the image analysis result of the previously captured image (P5) is "person", the image analysis result of the current captured image (P6) is "family", and the shooting year is different, " Three title images, a
制御表(T8)の場合は、制御表(T7)に対して「人物」のタイトル画像合成フラグが1に設定されているので、「家族」と「人物終了」のタイトル画像31,32が合成される。
In the case of the control table (T8), since the title image composition flag of "person" is set to 1 with respect to the control table (T7), the
制御表(T9)の場合は、制御表(T7)に対してタイトル画像生成フラグが「人物」のみ1である。この場合、前回の撮影画像が「人物」であり今回の撮影画像(P6)が「家族」であるので、優先順位2に相当する「人物終了」のタイトル画像32のみが生成される。
In the case of the control table (T9), the title image generation flag is 1 only for "person" with respect to the control table (T7). In this case, since the previously captured image is "person" and the current captured image (P6) is "family", only the
このように本実施例では、撮影画像の画像解析結果で作成したメタデータ2を含めて参照し、タイトル画像制御表で設定した優先順位を持つ階層構造のタイトル画像を生成できる。したがって表示タイトルの種別を増やし複数の撮影画像をより使いやすい項目で分類整理することが可能となる。
As described above, in the present embodiment, the title image having a hierarchical structure having the priority set in the title image control table can be generated by referring to the
実施例3では、ストレージ部110に記憶されている撮影画像の検索法について説明する。撮影画像の検索処理を効率的に行うため、本実施例では、メモリ部104に構成した画像検索実行部104eにより以下のように検索を実行する。
In the third embodiment, a method of searching the captured image stored in the
図12は、画像検索時の表示画面の一例を示す図である。(a)は、撮影画像の一覧表示状態を示し、撮影画像10の区切り位置にはタイトル画像が挿入されている。ここでは図7Aのタイトル制御表(T1)に従い、「年」、「季節」、「月」の優先順位に従ってそれぞれのタイトル画像21,22,23を階層的に生成している。なお、タイトル画像の合成は行っていない。ユーザは操作部140により例えば所望のタイトル画像をタップすることで、検索対象を選択する。その際、優先順位に従ってタイトル画像のサイズ等を変えているので、上位のタイトル画像を容易に識別して選択できる。
FIG. 12 is a diagram showing an example of a display screen at the time of image search. (A) shows the list display state of the photographed image, and the title image is inserted at the delimiter position of the photographed
(b)は「2016年」のタイトル画像21を選択した場合で、「2016年」のタイトル画像に含まれる撮影画像(破線21aで示す対象範囲)がハイライト表示される。(c)は「春」のタイトル画像22を選択した場合(対象範囲22a)、(d)は「3月」のタイトル画像23を選択した場合(対象範囲23a)である。このように、選択したタイトル画像に属する撮影画像が他の画像よりも強調して表示されるため、ユーザは迅速に所望の画像を探すことができる。
(B) is the case where the
図12の場合は撮影画像が時系列に配置されているので、「年」で検索する場合は、対象となる画像の範囲は連続しているので検索しやすい。一方、「春」や「3月」で検索する場合は、「年」の違いにより対象となる画像の範囲が分散するので、異なる「年」に渡って検索するときは検索しにくくなる。そこで、タイトル画像の優先順位を変更して、撮影画像の配置を並べ替えることについて説明する。 In the case of FIG. 12, since the captured images are arranged in chronological order, when searching by "year", the range of the target images is continuous, so that the search is easy. On the other hand, when searching by "spring" or "March", the range of the target image is dispersed depending on the difference in "year", so that it becomes difficult to search when searching over different "years". Therefore, it will be described that the priority of the title images is changed to rearrange the arrangement of the captured images.
図13は、優先順位を変更して撮影画像を並べ替える例を示す図である。(a)は、「年」のタイトル画像21を最優先とした場合の一覧表示で、図12(a)と同様の配置である。これに対し(b)は、「季節」のタイトル画像22が最優先となるよう変更した場合の一覧表示である。このときユーザは、例えば(a)の画面で「春」のタイトル画像22の位置をドラッグして「2016年」のタイトル画像21と入れ替えるように操作する。
FIG. 13 is a diagram showing an example in which the captured images are rearranged by changing the priority order. (A) is a list display when the
ユーザのドラッグ操作を検知すると、タイトル生成実行部104cは現在のタイトル画像制御表(T1)に対し、「季節」の優先順位フラグ=1、「年」の優先順位フラグ=2に変更して新たな優先順位に従ったタイトル画像を生成する。そして、ストレージ部110に記憶されている撮影画像の順序を新たな優先順位に従って並べ替える処理(ソート処理)を行う。この並べ替え処理では、(a)で生成済みのタイトル画像による分類された画像群をグループとして扱うことができるので、各画像のメタデータを逐一参照することなしに短時間で処理可能となる。その結果(b)のように、「春」の新たなタイトル画像22’には異なる「年」に渡る撮影画像が連続して配置されるので(破線22a’で示す)、ユーザは容易に検索することができる。
When the user's drag operation is detected, the title
以上、本発明のいくつかの実施例を説明したが、言うまでもなく、本発明の技術を実現する構成は前記実施例に限られるものではなく、様々な変形例が考えられる。例えば、前記実施例では撮像装置により撮影したタイミングでタイトル画像を生成しているが、撮影終了後に複数の撮影データを解析することによりタイトル画像制御表に従ってタイトル画像を生成し、区切り画像として挿入してもよい。また、文中や図中に現れる数値等はあくまでも一例であり、異なるものを用いても本発明の効果を損なうことはない。 Although some examples of the present invention have been described above, it goes without saying that the configuration for realizing the technique of the present invention is not limited to the above examples, and various modifications can be considered. For example, in the above embodiment, the title image is generated at the timing of shooting by the imaging device, but the title image is generated according to the title image control table by analyzing a plurality of shooting data after the shooting is completed, and is inserted as a delimited image. You may. In addition, the numerical values appearing in the text and figures are merely examples, and the effects of the present invention may not be impaired even if different values are used.
前記した本発明の機能等は、それらの一部または全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、マイクロプロセッサユニット等がそれぞれの機能等を実現するプログラムを解釈して実行することによりソフトウェアで実現してもよい。ハードウェアとソフトウェアを併用して構成してもよい。 The above-mentioned functions of the present invention and the like may be realized by hardware, for example, by designing a part or all of them by an integrated circuit. Further, it may be realized by software by interpreting and executing a program in which a microprocessor unit or the like realizes each function or the like. Hardware and software may be used together.
10:撮影画像、11〜13,21〜25,31〜33:タイトル画像、100:撮像装置、104:メモリ部、104c:タイトル生成実行部、104d:画像解析実行部、104e:画像検索実行部、104f:一時記憶領域、110:ストレージ部、110a:各種情報/データ記憶領域、121:表示部、123〜125:撮像部(カメラ)、140:操作部。 10: Captured image 11-13, 21-25, 31-33: Title image, 100: Imaging device, 104: Memory unit, 104c: Title generation execution unit, 104d: Image analysis execution unit, 104e: Image search execution unit , 104f: Temporary storage area, 110: Storage unit, 110a: Various information / data storage areas, 121: Display unit, 123 to 125: Imaging unit (camera), 140: Operation unit.
Claims (10)
前記撮像装置が被写体を撮像する撮像ステップと、
前記撮像装置が前記撮像ステップで撮像した複数の撮影画像に対し、前記撮影画像を分類する表示タイトルを含むタイトル画像を生成して挿入するタイトル生成ステップと、
前記撮像装置が表示する表示ステップと、を備え、
前記タイトル生成ステップにおいて、前記撮影画像を分類する表示タイトルの種別ごとに設定された優先順位に従って、前記タイトル画像を階層的に生成し、
前記表示ステップにおいて、前記撮影画像と前記タイトル画像を一覧表示することを特徴とする表示方法。 This is the display method of the image pickup device.
An imaging step in which the imaging device images a subject,
A title generation step of generating and inserting a title image including a display title that classifies the captured image into a plurality of captured images captured by the imaging device in the imaging step.
The display step to be displayed by the imaging device is provided.
In the title generation step, the title image is hierarchically generated according to the priority set for each type of display title that classifies the captured image.
A display method comprising displaying a list of the captured image and the title image in the display step.
前記撮像装置は、前記タイトル画像を生成するときの前記表示タイトルの種別と前記表示タイトルの優先順位を記憶したタイトル画像制御情報を有し、
前記タイトル生成ステップにおいて、前記タイトル画像制御情報に基づいて、異なるデザインの前記タイトル画像を生成することを特徴とする表示方法。 In the display method according to claim 1,
The imaging device has title image control information that stores the type of the display title and the priority order of the display title when the title image is generated.
A display method characterized in that, in the title generation step, the title image having a different design is generated based on the title image control information.
前記タイトル画像の異なるデザインとは、画像のサイズ、画像内の文字サイズ、画像の背景色、画像の解像度の少なくとも1つが異なることを特徴とする表示方法。 In the display method according to claim 2,
A display method characterized in that at least one of the image size, the character size in the image, the background color of the image, and the resolution of the image is different from the different designs of the title images.
前記タイトル画像制御情報は、前記表示タイトルごとにタイトル画像を生成するか否かを示すタイトル画像生成情報と、先に生成した他の種別のタイトル画像と合成してタイトル画像を生成するか否かを示すタイトル画像合成情報を含むことを特徴とする表示方法。 In the display method according to claim 2,
The title image control information is whether or not to generate a title image by combining the title image generation information indicating whether or not to generate a title image for each display title with the title image of another type generated earlier. A display method characterized by including title image composition information indicating.
前記タイトル生成ステップは、前回撮影された撮影画像と今回撮影された撮影画像を比較し、前記表示タイトルの種別として、各撮影画像の撮影日時または撮像場所が異なるときに、前記タイトル画像を生成することを特徴とする表示方法。 In the display method according to claim 2,
The title generation step compares the captured image captured last time with the captured image captured this time, and generates the title image when the capture date and time or the imaging location of each captured image is different as the type of the display title. A display method characterized by that.
前記撮像装置は前記被写体を判別する画像解析ステップを備え、
前記画像解析ステップにおいて、前記撮影画像内の被写体の種類を判別し、
前記タイトル生成ステップにおいて、前記表示タイトルの種別として、前記画像解析ステップで判別した被写体の種類が異なるときに、前記タイトル画像を生成することを特徴とする表示方法。 In the display method according to claim 5,
The image pickup apparatus includes an image analysis step for identifying the subject.
In the image analysis step, the type of the subject in the captured image is determined.
A display method characterized in that, in the title generation step, the title image is generated when the type of the subject determined in the image analysis step is different as the type of the display title.
前記被写体の種類として前記撮影画像内に人物が存在するとき、前記人物に家族が含まれるか否かにより、前記表示タイトルを異ならせることを特徴とする表示方法。 In the display method according to claim 6,
A display method characterized in that when a person is present in the captured image as the type of the subject, the display title is different depending on whether or not the person includes a family member.
前記撮像装置が一覧表示している複数の前記撮影画像と前記タイトル画像から、所望の撮影画像を検索することを特徴とする表示方法。 In the display method according to claim 1,
A display method comprising searching for a desired captured image from a plurality of captured images and title images displayed in a list by the imaging device.
前記撮像装置が一覧表示している前記タイトル画像がユーザにより選択されると、選択されたタイトル画像にて分類されている前記撮影画像を強調して表示することを特徴とする表示方法。 In the display method according to claim 8,
A display method characterized in that when the title image displayed in a list by the imaging device is selected by the user, the captured image classified by the selected title image is emphasized and displayed.
前記タイトル生成ステップは、前記撮像装置が一覧表示している前記タイトル画像の優先順位を変更するようユーザから操作を受けたとき、新たな優先順位に従って新たなタイトル画像を生成し、
新たなタイトル画像に従って前記撮影画像を並べ替えて前記撮像装置が一覧表示することを特徴とする表示方法。 In the display method according to claim 9,
In the title generation step, when the user receives an operation to change the priority of the title images listed by the imaging device, a new title image is generated according to the new priority.
A display method characterized in that the captured images are rearranged according to a new title image and the imaging device displays a list.
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020151060A JP6951529B2 (en) | 2017-02-23 | 2020-09-09 | Display method of the image pickup device |
JP2021155078A JP7204851B2 (en) | 2020-09-09 | 2021-09-24 | Image display method |
JP2022211918A JP7498255B2 (en) | 2020-09-09 | 2022-12-28 | Image display device |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019500925A JP6763079B2 (en) | 2017-02-23 | 2017-02-23 | Imaging device |
JP2020151060A JP6951529B2 (en) | 2017-02-23 | 2020-09-09 | Display method of the image pickup device |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019500925A Division JP6763079B2 (en) | 2017-02-23 | 2017-02-23 | Imaging device |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021155078A Division JP7204851B2 (en) | 2020-09-09 | 2021-09-24 | Image display method |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2021005879A true JP2021005879A (en) | 2021-01-14 |
JP2021005879A5 JP2021005879A5 (en) | 2021-04-08 |
JP6951529B2 JP6951529B2 (en) | 2021-10-20 |
Family
ID=74098295
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020151060A Active JP6951529B2 (en) | 2017-02-23 | 2020-09-09 | Display method of the image pickup device |
JP2021155078A Active JP7204851B2 (en) | 2020-09-09 | 2021-09-24 | Image display method |
JP2022211918A Active JP7498255B2 (en) | 2020-09-09 | 2022-12-28 | Image display device |
Family Applications After (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021155078A Active JP7204851B2 (en) | 2020-09-09 | 2021-09-24 | Image display method |
JP2022211918A Active JP7498255B2 (en) | 2020-09-09 | 2022-12-28 | Image display device |
Country Status (1)
Country | Link |
---|---|
JP (3) | JP6951529B2 (en) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005135554A (en) * | 2003-10-31 | 2005-05-26 | Canon Inc | Reproducing device and method |
JP2009141426A (en) * | 2007-12-03 | 2009-06-25 | Olympus Imaging Corp | Image display device and image display program |
WO2013136637A1 (en) * | 2012-03-14 | 2013-09-19 | パナソニック株式会社 | Content display processing device, content display processing method, program, and integrated circuit |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4713115B2 (en) | 2004-09-17 | 2011-06-29 | 株式会社ジャストシステム | File display device, file display method, and file display program |
JP4735151B2 (en) | 2005-09-16 | 2011-07-27 | カシオ計算機株式会社 | Camera device, image recording method, and image display method |
JP4759498B2 (en) | 2006-11-30 | 2011-08-31 | オリンパスイメージング株式会社 | Camera, image recording method and program |
JP4375442B2 (en) | 2007-06-04 | 2009-12-02 | ソニー株式会社 | Image management apparatus, image management method, and image management program |
JP2009089325A (en) | 2007-10-03 | 2009-04-23 | Fujifilm Corp | Information device and remaining battery level detection method |
-
2020
- 2020-09-09 JP JP2020151060A patent/JP6951529B2/en active Active
-
2021
- 2021-09-24 JP JP2021155078A patent/JP7204851B2/en active Active
-
2022
- 2022-12-28 JP JP2022211918A patent/JP7498255B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005135554A (en) * | 2003-10-31 | 2005-05-26 | Canon Inc | Reproducing device and method |
JP2009141426A (en) * | 2007-12-03 | 2009-06-25 | Olympus Imaging Corp | Image display device and image display program |
WO2013136637A1 (en) * | 2012-03-14 | 2013-09-19 | パナソニック株式会社 | Content display processing device, content display processing method, program, and integrated circuit |
Also Published As
Publication number | Publication date |
---|---|
JP2021193833A (en) | 2021-12-23 |
JP2023036902A (en) | 2023-03-14 |
JP7498255B2 (en) | 2024-06-11 |
JP7204851B2 (en) | 2023-01-16 |
JP6951529B2 (en) | 2021-10-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110020140B (en) | Recommended content display method, device and system | |
US9471600B2 (en) | Electronic device and method for handling tags | |
EP3125135B1 (en) | Picture processing method and device | |
JP3982605B2 (en) | Captured image management apparatus, captured image management method, and captured image management program | |
CN110471858B (en) | Application program testing method, device and storage medium | |
CN105094760B (en) | A kind of picture indicia method and device | |
JP5401962B2 (en) | Image processing apparatus, image processing method, and image processing program | |
JP4735995B2 (en) | Image processing apparatus, image display method, and image display program | |
US20230336671A1 (en) | Imaging apparatus | |
KR20110028877A (en) | Method for providing user interface and display apparatus applying the same | |
US11500533B2 (en) | Mobile terminal for displaying a preview image to be captured by a camera and control method therefor | |
WO2018171047A1 (en) | Photographing guide method, device and system | |
CN107870999B (en) | Multimedia playing method, device, storage medium and electronic equipment | |
CN107885482B (en) | Audio playing method and device, storage medium and electronic equipment | |
CN104123339A (en) | Method and device for image management | |
CN107391608B (en) | Picture display method and device, storage medium and electronic equipment | |
JP6951529B2 (en) | Display method of the image pickup device | |
CN108255917B (en) | Image management method and device and electronic device | |
JP4796022B2 (en) | Image recording apparatus, control program, computer-readable recording medium, and image recording method | |
US20110064311A1 (en) | Electronic apparatus and image search method | |
JP4102933B2 (en) | Captured image management apparatus, captured image management method, and captured image management program | |
CN111970441A (en) | Image processing method and device, storage medium and electronic equipment | |
JP2020009145A (en) | Business card management system, method, and program | |
CN109255045A (en) | Picture sharing method and device, electronic equipment | |
CN109063001A (en) | page display method and device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200909 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210210 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210629 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210824 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210924 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6951529 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |