JP2018124781A - 情報処理装置、表示制御方法、及びプログラム - Google Patents

情報処理装置、表示制御方法、及びプログラム Download PDF

Info

Publication number
JP2018124781A
JP2018124781A JP2017016210A JP2017016210A JP2018124781A JP 2018124781 A JP2018124781 A JP 2018124781A JP 2017016210 A JP2017016210 A JP 2017016210A JP 2017016210 A JP2017016210 A JP 2017016210A JP 2018124781 A JP2018124781 A JP 2018124781A
Authority
JP
Japan
Prior art keywords
item
image
area
user
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017016210A
Other languages
English (en)
Other versions
JP6723938B2 (ja
Inventor
智也 石田
Tomoya Ishida
智也 石田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2017016210A priority Critical patent/JP6723938B2/ja
Priority to US15/879,918 priority patent/US11073962B2/en
Publication of JP2018124781A publication Critical patent/JP2018124781A/ja
Application granted granted Critical
Publication of JP6723938B2 publication Critical patent/JP6723938B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0486Drag-and-drop
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482Interaction with lists of selectable items, e.g. menus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/06Buying, selling or leasing transactions
    • G06Q30/0601Electronic shopping [e-shopping]
    • G06Q30/0641Shopping interfaces

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Telephone Function (AREA)

Abstract

【課題】アイテムを移動する際のユーザの利便性をより高める情報処理装置、表示制御方法、及びプログラムを提供する。【解決手段】表示部の表示領域にアイテムを表示させる情報処理装置であって、前記表示領域内に設定された複数の配置領域のうち所定の配置領域に配置されていたアイテムを、ユーザのドラッグ操作に応じて移動させる第1制御手段と、前記複数の配置領域以外の領域で前記ドラッグ操作がリリースされた場合に、前記複数の配置領域のうちいずれかの配置領域へアイテムを配置するキャンセル処理を実行する第2制御手段と、前記第2制御手段による前記キャンセル処理が完了するまでの間に、ユーザによる前記表示領域への入力を受け付けた場合、前記キャンセル処理を止める第3制御手段と、を備える。【選択図】なし

Description

本発明は、情報処理装置、表示制御方法、及びプログラムに関する。特に、アイテムの表示制御を行う技術に関する。
スマートフォンやタブレット端末等のタッチパネルの操作において、ドラッグ&ドロップによってアプリケーションアイコン等のアイテムを別ページに移動させる方法がある。この方法の場合、まずユーザは、そのアイコンを画面の左右の端にドラッグして移動させることによりページを順番にめくる。そして、所望のページが表示されたら、そのページでアイコンの画面の左右の端から離してドロップすることにより、所望のページにアイコンを再配置する。
ただし、画面の左右端部において指を検知できなかったり、指が誤ってパネルの外に出てしまったりすることにより、ページの切り替え前に、アイテムから指が離れたと認識されてしまい、アイテムが元のページの元の位置に戻ってしまう場合がある。特許文献1は、意図しない指のリリース判定に対応するため、アイテムの移動を行う際に、指の位置に関わらず、アイテムのいずれかの端部が表示枠に接したことを契機にページが切り替わる方法について開示している。
特開2016−115337号公報
特許文献1の方法では、アイテムをページ間移動する場合のユーザの利便性を高めることができる。しかしながら、特許文献1ではアイテムが表示枠に接していないと判断された場合は、アイテムのドロップ処理が行われすぐにアイテムはドラッグ前の元の位置や、同じページ内の所定の位置へ再配置される。よって、ユーザとしては、アイテムが再配置される前に、再度ドラッグ操作を再開することができない。また、この課題は、ページ間移動の場合に限られず、1つのページ内においてユーザの意図しない位置やアイテムを配置できない領域でドラッグ操作がリリースされた場合においても共通して生じうる。
本発明は、上記課題に鑑み、アイテムを移動する際のユーザの利便性をより高めることを目的とする。
表示部の表示領域にアイテムを表示させる情報処理装置であって、前記表示領域内に設定された複数の配置領域のうち所定の配置領域に配置されていたアイテムを、ユーザのドラッグ操作に応じて移動させる第1制御手段と、前記複数の配置領域以外の領域で前記ドラッグ操作がリリースされた場合に、前記複数の配置領域のうちいずれかの配置領域へアイテムを配置するキャンセル処理を実行する第2制御手段と、前記第2制御手段による前記キャンセル処理が完了するまでの間に、ユーザによる前記表示領域への入力を受け付けた場合、前記キャンセル処理を止める第3制御手段と、を備える。
本発明により、アイテムが再配置される前にドラッグ操作を再開することができるため、ユーザの利便性をより高めることができる。
情報処理装置を含むシステムの構成を示す図である。 情報処理装置のハードウェア構成を示す図である。 情報処理装置のソフトウェア構成を示す図である。 アルバム作成アプリケーションにより提供される画面を示す模式図である。 アルバム作成アプリケーションの自動レイアウト処理部を示す図である。 自動レイアウト処理の流れを示すフローチャートである。 自動レイアウト処理における画像解析情報を説明する図である。 自動レイアウト処理における画像群分割を説明する図である。 自動レイアウト処理におけるシーン分類を説明する図である。 自動レイアウト処理における画像得点を説明する図である。 自動レイアウト処理における画像選択を説明する図である。 自動レイアウト処理における画像レイアウトを説明する図である。 表示制御方法について説明する模式図である。 アイテムのアニメーションを示す模式図である。 キャンセル処理について説明する模式図である。 表示制御方法について説明するフローチャートである。 表示制御方法について説明する模式図である。
以下、添付図面を参照して本発明の好適な実施の形態を詳しく説明する。尚、以下の実施の形態は特許請求の範囲に係る本発明を限定するものでなく、また本実施の形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。
<実施形態1>
図1は、フォトアルバム作成/注文のための情報処理システムの構成の一例を示す図である。図1に示すように、情報処理システムは、ユーザが使用する情報処理装置1と、フォトアルバムを作成する会社の情報処理装置2とを有し、情報処理装置1と情報処理装置2は、インターネット3を介して接続されている。情報処理装置1は、例えば、パーソナルコンピュータが挙げられる。情報処理装置2は、例えば、サーバPCである。情報処理装置1、情報処理装置2は、例えばOperating System(以下、OSと略す場合がある)として、Windows(登録商標)8又はWindows(登録商標) Server 2012と同等のOSがインストールされている。情報処理装置1、情報処理装置2は、それぞれEthernet(登録商標)で構成されるネットワーク4及び8に接続されている。
情報処理装置1には、フォトアルバム作成のためのアプリケーション80(以下、アルバムアプリともいう)がインストールされている。アプリは、例えば、Windows(登録商標)用の実行可能形式のファイル(*.EXE)で構成される。また、情報処理装置1には、Webブラウザアプリケーション143(以下、Webブラウザともいう)がインストールされている。Webブラウザ143は、WWW(WorldWideWeb)を利用する際に用いられるブラウザである。ネットワーク4は、情報処理装置1を使用するユーザのためのネットワークであり、例えば、一般家庭用のホームネットワークが挙げられる。
情報処理装置2は、Webサーバの機能を備えるWebサーバ9を含み、例えば、インターネット3を介して所定の会社(仮にABC社とする)のWebサイトを提供する。ショッピングサイト11は、ABC社がユーザ向けにサービスを提供しているショッピングサイトであり、ユーザはショッピングサイト11を利用してフォトアルバムを注文することができる。
図2は、情報処理装置1のハードウェア構成の一例を表す図である。なお、情報処理装置2も同様の構成を有するものとする。ただし、情報処理装置1と情報処理装置2は、同一の構成からなる必要はない。図2に示すように、情報処理装置は、CPU204、RAM201、ROM203、HDD202、表示部205、入力部208、通信制御部207を有し、それぞれがシステムバス206により接続されている。
CPU(中央演算装置/プロセッサ)204は、システム制御部であり、情報処理装置1全体を制御する。また、CPU204は、本実施形態で説明する表示制御方法をプログラムに従って実行する。
RAM201は、ランダムアクセスメモリであり、CPU204によるプログラムの実行時に、各種情報を一時的に記憶するためのメモリを提供している。ROM203は、CPU204により実行されるプログラムが記憶されている。
HDD(ハードディスク)202は、画像ファイルや画像解析などの処理結果を保持するデータベースなどを記憶するための記憶媒体である。HDD202は、アルバムアプリ80、Webブラウザ143等のアプリケーションや、図3で説明する各モジュール(ソフトウェア)を記憶し、必要に応じてRAM201に読み出されてCPU204により実行される。これにより、CPU204が、アプリケーション80、Webブラウザ143等のアプリケーションや、図3に示す各モジュール(ソフトウェア)の機能を実現する。
表示部205は、本実施形態のUI(ユーザーインターフェイス)や画像のレイアウト結果をユーザに表示する。表示部205は、タッチセンサー機能を備えてもよい。入力部208は、ユーザが各種操作をする際に用いられ、例えば、表示部205に表示されたUI上に所定の情報を入力するのに用いられる。
通信制御部207は、プリンタやサーバなどの外部装置と通信するための装置である。例えば、自動レイアウトをして生成したアルバムデータは、通信制御部207を介して情報処理装置2に送信される。
図3は、情報処理装置1のHDD202に保存されているソフトウェアモジュール群の構成を示す図である。図3に示したソフトウェアモジュールはHDD202に保存されているソフトウェアモジュール群の一部を示したものであって、全てではない。また、HDD204に保存されるソフトウェアモジュール群は、情報処理装置1に搭載されるOSや、情報処理装置1の使用環境などに応じて適宜変更される。
モジュール92は、Ethernetを制御するEthernet制御スタックである。モジュール91は、IP Networkを制御するIP Network制御スタックである。モジュール90は、ネットワーク上のデバイス探索の仕組みを提供するWSD(Web Service on Devices)を制御するWSD制御スタックである。モジュール88は、ネットワークのプラグアンドプレイを制御するPnP−X制御スタックである。尚、PnP−Xとは、ネットワーク接続デバイスに対するサポートを提供する、プラグアンドプレイの一連の拡張機能としてWindows8(登録商標)に標準搭載されている機能であるPlug and Play Extensionsの略称である。モジュール85は、デバイスドライバ群であり、OSに標準で同梱されている標準ドライバ群87と、IndependentHardwareVendor(IHV)から提供されるIHV製ドライバ群86とを含んで構成される。
モジュール84は、アプリケーション/DDIインタフェースであり、ApplicationProgramingInterface(API)、DeviceDriverInterface(DDI)を含んで構成される。アプリケーション群82は、アプリケーション80、Webブラウザ143を含むアプリケーション群である。
図4は、フォトアルバムアプリケーションの実行によりCPU204によって提供される表示画面であり、フォトアルバムを編集するための編集画面の一例である。編集画面401は、フォトアルバムアプリケーションにより提供される。表示領域402は、フォトアルバムの各ページのサムネイルを一覧表示する領域である。表示領域403は、表示領域402で選択されたページのプレビュー画像を表示する領域であり、レイアウト画像の編集を行うことができる。
表示領域402において、ユーザが各ページのサムネイルの中から所望のサムネイルを選択することで、そのページが選択状態の表示404になる。図4では、3〜4ページの2ページ分(見開き1つ分)が選択状態であり、このページのレイアウト画像が表示領域403に表示される。なお見開きとは、たとえば表示においてはひとつの表示用ウィンドウに相当し、印刷においては印刷された互いに隣接する1対のページに相当する。
表示領域403では、フォトアルバムの編集操作が可能となる。レイアウト画像において表示されるテンプレートは、1以上のスロットを有する。図4では、3ページ目(図中左ページ)に3つのスロット405を有し、4ページ目(図中右ページ)に1つのスロット405を有する。スロット405は、スロットであり、各スロットには写真が割り当てられる。なお、本実施形態では、各スロット405には、自動で写真が割当てられている。テキストボックス406にはユーザにより任意のテキストが入力される。
ボタン407は、アプリケーションにより作成した(編集した)フォトアルバムをカートに入れるためのボタンである。このボタン407を押すことにより、編集したフォトアルバムがインターネット3経由で情報処理装置2のショッピングカートにアップロードされる。
(自動レイアウト処理部の構成)
図5は、アルバム作成アプリケーションの一部の機能のソフトウェアブロック図である。アルバム作成アプリケーションは様々な機能を持つが、本実施形態では、特に自動レイアウト処理部916により提供される自動レイアウト機能に関して説明する。自動レイアウト機能は、撮影された写真をその内容や属性に基づいて分類し、あるいは選択して写真をレイアウトし、表示部205に表示するアルバム画像を生成するための機能である。
本実施形態では、アルバム作成アプリケーションは、表示部205に表示されているアプリケーションのアイコンがユーザにより押下されることにより起動する。図5に示すように、アルバム作成アプリケーションは、アルバム作成条件指定部901と、自動レイアウト処理部916と、を含む。マウス等の入力部208を介したUI操作に応じてアルバム作成条件を自動レイアウト処理部916に指定する。
画像取得部902は、アルバム作成指定部から指定された画像群をHDD202から取得する。ここでいう画像群とは、1つのアルバム作成の際にレイアウトする候補画像群を指す。例えば、アルバム作成条件指定部201において、XX年1月1日〜XX年12月31日が指定された場合は、XX年1月1日〜XX年12月31日に撮影された画像全てが指定された画像群に該当する。
画像変換903は、以降の処理に使う画像データを所望の画素数や色情報に変換する。本実施形態では、短辺画素の画素数とsRGBの色情報の解析画像に変換する。
画像解析部904は、解析画像から後述の特徴量取得、顔検出、表情認識、個人認識を実施する処理である。また、HDD202から取得した画像に付随したデータ、例えばExif情報から撮影日時の取得も画像処理部904で実施する。
画像分類部905は、画像群に対して撮影日時情報や枚数、検出した顔情報を使って後述のシーン分割、シーン分類を実施する処理である。シーンとは、旅行や日常、結婚式等の撮影シーンのことである。シーンとは、例えば、一つの撮影対象について一時期の撮影機会に撮影された画像の集まりであるということもできる。
主人公情報入力部906は、アルバム作成条件指定部901から指示された主人公のID(識別情報)を画像得点部に入力する。
画像得点部907は、各画像に対して得点付けをする。本実施形態では、レイアウトに適した画像が高得点になるように得点付けをする。レイアウトに適した画像が高得点になるように得点付けする際は、画像解析部904で得られた情報、画像分類部905で得られた情報を使う。画像得点部907は、主人公情報入力部906から入力された主人公IDが含まれる画像の得点が高得点になるように、各画像に対して得点付けをする。
見開き割当部909は、画像群を分割して各見開きに割り当てる。ここでいう見開きとは、例えばアルバムを作成した際の見開きであり2ページ分に相当する。
見開き入力部908は、アルバム作成条件指定部904から指定されたアルバムの見開き数を見開き割当部909に入力する。
見開き割当部909は、入力された見開き数に応じて画像群を分割して各見開きに画像群の一部を割り当てる。例えば、見開き数が5である場合、取得した画像群を5つに分割して小画像群を生成し、各見開きに1つの画像群を割り当てる。
画像選択部910は、見開き割当部909で各見開きに割り当てられた画像群の一部から画像得点部907で付けた得点に基づいて画像を選択する。
テンプレート入力部911は、アルバム作成条件指定部901から指定されたテンプレート情報に応じた複数のテンプレートを画像レイアウト部912に入力する。
画像レイアウト部912は、画像のレイアウトを決定する。具体的には、テンプレート入力部911が入力したそれぞれのテンプレートのうち、画像選択部910が選択した画像に適したテンプレートを選択し、各画像のレイアウト(配置位置)を決定する。
画像補正条件入力部913は、アルバム作成条件指定部901から指定された画像補正のON/OFF条件を画像補正部914に入力する。
画像補正部914は、覆い焼き補正、赤目補正、コントラスト補正をする。画像補正部914は画像補正条件ONの場合は、画像に対して補正を実施する。画像補正条件OFFの場合は、補正を実施しない。尚、画像補正部914には、画像変換部903から入力された画像に対して補正のON/OFFを実施する。画像変化部903から画像補正部914に入力する画像の画素数は、画像レイアウト部912で決定したレイアウトのサイズに合わせて変えられる構成となっている。
レイアウト情報出力部915は、画像レイアウト部912が決定した画像レイアウトに従って、ディスプレイに表示する為のレイアウト情報を出力する。レイアウト情報は例えば、選択したテンプレートに選択した画像をレイアウトしたビットマップデータである。
(自動レイアウト処理のフロー)
図6は本実施形態に係るアルバム作成アプリケーションの自動レイアウト処理部916に関する処理フローを示すフローチャートである。図6に示すフローチャートは、例えば、CPU204がHDD202に格納されたプログラムをROMやRAM201に読み出して実行することにより実現される。図6を使って、自動レイアウトの処理フローを以下説明する。
Step01では、画像変換部903で解析画像を生成する。アルバム作成条件指定部901で指定されたHDD202の画像群の各画像を所望の画素数と色情報に変換する。なお、ここで変換する画素数及び色情報は、予め決められており、保存されている。本実施形態では、短辺画素とsRGBの色情報の解析画像に変換する。
Step02では、画像解析部904で画像特徴量を取得する。HDD202から取得した各画像データに付随する例えばExif情報から撮影日時を取得する。また、Step01で生成された解析画像から特徴量を取得する。特徴量としては、例えば、ピントが挙げられる。エッジの検出方法として一般的にソーベルフィルタが知られている。ソーベルフィルタでエッジ検出して、エッジの始点と終点の輝度差を始点と終点の距離で割ればエッジの傾きを算出できる。画像中のエッジの平均傾きを算出して、平均傾き大の画像は平均傾き小の画像よりもピントが合っていると考えることが出来る。傾きに対して異なる値の複数の閾値を設定し、どの閾値以上かを判別することでピント量を出せる。本実施形態では異なる2つの閾値を設定し、○△×の3段階でピント量を判別する。アルバムに採用したいピントの傾きを○、許容できるピントの傾きを△、許容できない傾きを×として、実験を通して閾値を設定する。
Step03では、画像解析部904で顔検出を実施する。Step01で生成された解析画像から顔を検出する。顔の検出は、公知の方法を用いることができ、例えば、複数用意した弱識別器から強識別器を作成するAdaboostが挙げられる。本実施形態では、Adaboostにより作成した強識別器により人物(オブジェクト)の顔を検出する。顔画像を抽出すると共に、検出した顔位置の左上座標値と右下座標値を取得する。なお、ここでいう「画像」とはStep01で生成された画像データにより表される画像である。この2種の座標を特定することにより、人物の顔の位置と顔のサイズを特定することができる。なお、ここでは、人物の顔を検出するものとしたが、人物の顔に限らず、犬や猫等の動物、花、食べ物、建物、置物等のオブジェクトを顔の代わりの検出対象としてAdaboostによって強識別器を作成することができる。すなわち、顔以外のオブジェクトを検出するようにしてもよい。
Step04では、画像解析部904で個人認識をする。まずStep03で抽出した顔画像を顔辞書データベースに個人ID毎に保存されている代表顔画像との類似性を比較する。そして、類似性が閾値以上で最も類似性が高いIDを抽出した顔画像のIDとする。なお、類似性が閾値未満の場合は新規の顔として新規の個人IDとして顔辞書データベースに抽出した顔画像を登録する。
Step02からStep04で取得した画像解析情報は、図7に示すように各画像を識別するID毎に区別して記憶する。Step02で取得した撮影日時情報とピント判別結果、Step03で検出した顔の数と位置情報を保存する。なお、顔の位置情報はStep04で取得した個人ID毎に区別して記憶する。画像データにおいて顔が検出されない場合は、Step02で取得した撮影日時情報及びピント判別結果が保存される。
Step05では、アルバム作成条件指定部201で指定されたHDD104の画像群の全画像に対してStep01からStep04が終了したか否かを判定する。終了していない場合(Step05でNo)、Step01に戻る。終了している場合(Step05でYes)はStep06に移行する。
Step06では、画像分類部205でシーン分割をする。シーン分割とは、取得した画像群をシーンに応じて複数のサブ画像群に分割することを指す。具体的には、Step02で取得済みの撮影日時情報に基づいて、画像と画像との時間差を頼りに画像群を複数に分割する。画像と画像の撮影日が連続していない場合、すなわち、画像間に撮影していない日が存在する場合は、分割する。次に、撮影日が連続する場合について説明する。本実施形態では、画像と画像の撮影時間の差が16時間以上空いている場合は分割する。画像と画像の撮影時間の差が16時間未満の場合は、連続する各日の最初の撮影から最後の撮影までの時間差が4時間未満なら分割する。本実施形態では、4時間以上の場合は、連続する各日の撮影枚数が50枚未満なら分割し、50枚以上であれば分割しないものとする。なお、分割の際の時間差の閾値や枚数の閾値は、これに限定されるものではない。図8(A)は、上述したシーン分割方法で分割した結果を示している。
Step07では、画像分類部906でシーン分類をする。本実施形態では、各サブ画像群(各シーン)を旅行、日常、セレモニーの3つに分類する場合を例に挙げて説明するが、分類はこれに限定されるものではない。まず、旅行、日常、セレモニーのうちいずれに分類されるかを予め判定したサブ画像群を複数取得する。各画像群について、撮影の特徴量を取得する。本実施形態で取得する特徴量は、例えば、撮影期間、撮影枚数、撮影人数である。撮影期間は、画像群の最初の撮影から最後の撮影までの時間差である。撮影枚数は、サブ画像群に含まれる画像の数(写真の枚数)である。撮影人数は、顔が写っている画像における顔の数である。すなわち、1つの画像に含まれる顔の数である。そして、複数のサブ画像群に対して、撮影期間の平均値と標準偏差、撮影枚数の平均値と標準偏差、1画像あたりの人数の平均値と標準偏差を求める。なお、本実施形態では、1画像あたりの顔の数が、1画像あたりの人数とする。図9は、撮影期間(時間)、撮影枚数(枚)、撮影人数(人)の各平均値と標準偏差を示す。これらの求めた値は、アルバム作成アプリケーションのプログラムに予め組み込んでおく。アルバム作成アプリケーションが起動された後、ユーザがパスボックス302で指定した画像群のStep06でシーン分割された各分割に対して、撮影期間と撮影枚数、撮影人数の平均値を算出する。そして、シーン毎に、前記各サブ画像群の撮影期間、撮影枚数、撮影人数の特徴量について、それぞれの平均値と標準偏差に基づいて、以下の式により得点化を実施する。
得点=50−|10×(平均値−特徴量)/標準偏差| (式1)
平均得点=(撮影期間の得点+撮影枚数の得点+人数の得点)/特徴量項目数 (式2)
以上によって、旅行、日常、セレモニー毎の平均得点が算出される。サブ画像群毎に最高点のシーンをそのサブ画像群のシーンとして分類する。2以上のシーンが同点の場合は、優先シーンに分類する。例えば本実施形態では、日常>セレモニー>旅行の順であり、日常の優先度を最も高くしている。
図8(A)のシーン分割された後のサブ画像群(5)は、撮影期間が36時間、撮影枚数が300枚、撮影人数が1.7人であった。旅行の平均得点は45.32、日常の平均得点は18.38、セレモニーの平均得点は−29.92となり、シーンは旅行に分類される。分類したシーンは識別ができるようにシーンIDで管理する。
Step08では、Step06で分割された全サブ群に対してStep07のシーン分類が終了したか否かを判定する。終了していない場合(Step08でNo)、Step07に戻る。終了している場合(Step08でYes)、Step09に移行する。
Step09では、画像得点化部207で主人公設定をする。主人公設定はユーザが指定した画像群に対して実施され、自動と手動の2種類がある。自動で主人公を設定する場合、Step04の個人認識の結果と、Step06のシーン分割の結果に基づいて設定をする。Step04で取得した結果から、サブ画像群に登場する各個人IDの回数、各シーンに登場する各個人IDの回数、各個人IDが登場するシーンの回数等を特定し、これらの情報から自動で主人公を設定する。本実施形態では、サブ画像群に複数シーンがある場合は複数のシーンに登場する個人IDを主人公IDと設定し、サブ画像群が単一シーンである場合は、単一シーンの登場回数が多い個人IDを主人公IDと設定する。主人公設定部304でユーザが特定のアイコンを指定している場合は、主人公情報入力部206を介して選択されたアイコンに対応する個人IDが画像得点部207に伝えられる。ユーザ指定の個人IDがある場合は、上述した自動設定の主人公IDは無視して、ユーザ指定の個人IDを主人公IDと設定する。このように、主人公設定部304の指定に基づく設定を手動設定とする。
Step10では、画像得点化部207で得点化をする。得点化とは、後述する画像選択時に参照する値であり、画像データ毎に後述する観点で評価した得点を付ける。
図12は、3枚の画像をレイアウトする際に用いるテンプレート群を示している。図12の(1−1)に示すテンプレート1601は1枚のテンプレートであり、メインスロット1602と、サブスロット1603、サブスロット1604を有する。メインスロット1602とは、テンプレート1601でメインとなるスロット(画像をレイアウトする枠)であり、サブスロット1603とサブスロット1604よりもサイズが大きい。また、サブスロットとは、各テンプレートにおいて、メインスロット以外のスロットである。メインスロット用の得点とサブスロット用の得点の両方を各画像データに付ける。得点化処理では、メインスロット用の得点とサブスロット用の得点の両方を画像毎に付ける。
次に、図10(A)に画像データの得点化の基準を示す。図10(A)は旅行、日常、セレモニーのシーン毎に得点が高くなる画像の特徴を、メインスロットとサブスロットに分けてまとめた表である。なお、図10(A)に示すように、スロットの種類に応じて、得点が高くなる特徴が異なる。例えば、サブ画像群のシーン分類が旅行である場合、人物と風景が入ったひいた画像は、メインスロットとしての得点が高くなり、顔のアップや横顔の画像は、サブスロットとしての得点が高くなる。例えば、サブ画像群のシーン分類が日常である場合、顔のアップや横顔の画像は、メインスロットとしての得点が高くなり、人物と風景が入ったひいた画像は、サブスロットとしての得点が高くなる。例えば、サブ画像群のシーン分類がセレモニーである場合、2人の距離が近い画像は、メインスロットとしての得点が高くなり、大人数の画像は、サブスロットとしての得点が高くなる。このように、シーン及びスロットの種類に応じて、得点が高くなる特徴、言い換えれば、評価基準が異なる。本実施形態では、シーン及びスロットの種類に応じた得点が高くなる特徴は、アプリケーションにおいて予め設定しておき、プログラムに含むものとする。なお、得点が高くなる特徴は、上述したものに限定されるものではない。図10(A)に示す各シーンのメインスロットとサブスロットのそれぞれの特徴に基づいて、各サブ画像群に含まれる各画像データに得点を付ける。各画像における顔の数、各画像における顔の位置、各画像における顔のサイズを取得し、平均値と標準偏差を各シーン各スロット種類(メインスロットとサブスロット)に対して求めて、アルバム作成アプリケーションのプログラムに記憶しておく。ユーザが指定した画像群の各画像データが表す画像がいずれのシーンに属するか(分類されるか)は、Step07のシーン分類の結果から特定する。そして、注目画像のシーンに対応する予め求めた前記平均値と標準偏差、注目画像における主人公IDの顔の数、顔の位置、顔サイズの各特徴量に基づいて以下の式を使って得点と平均得点を出す。
得点=50−|10×(平均値−特徴量)/標準偏差|
平均得点=(顔数の得点+顔位置の得点+顔サイズの得点)/特徴量項目数
なお、得点化は、メインスロット用とサブスロット用の両方を実施する。またアルバムに使う画像は、図7に示すピントの特徴量が○である画像IDの画像に対しては得点を加算してもよい。これにより、ピントが合っている画像の得点を高くすることができる。図10(B)は、各画像の得点結果の一例を示しており、各画像IDに対して、メインスロットとサブスロットの得点が付けられている。
Step11では、画像得点部207がユーザ指定の画像群の全画像に対してStep10の画像得点化が終了したか否かを判定する。終了していない場合(Step11でNo)、Step10に戻る。終了している場合(Step11でYes)、Step12に移行する。
Step12では、見開き割当部909が、画像分類部905のシーン分割により得られたシーン数(サブ画像群の数)が見開き数入力部908により入力される見開き数と同じか否かを判定する。同じでない場合(Step12でNo)、Step13に移行する。同じ場合(Step12でYes)、Step16に移行する。例えば、図10(A)のシーン分割数が8であり、見開き数入力部908の入力数が8であればStep16に移行する。
Step13では、見開き割当部909が画像分類部905のシーン分割により得られたシーン数が見開き数入力部908により入力される見開き数より少ないか否かを判定する。シーン数が見開き数より少なくない場合(Step13でNo)、Step15に移行する。シーン数が見開き数より少ない場合(Step13でYes)はStep14に移行する。例えば、図8(A)のシーン分割数が8であり、見開き数入力部908の入力数が10であれば、シーン数が見開き数より少なくないため、Step14に移行する。
Step14では、見開き割当部909がサブシーン分割をする。サブシーン分割とは、シーン分割数<見開き数の場合に分割されたシーンを更に細分割することを指す。図8(A)のシーン分割数8に対して指定見開き数が10である場合を例に挙げて説明する。図8(B)では、図8(A)をサブシーン分割した結果である。破線矢印の箇所でサブ画像群をさらに分割したことで、分割数を10にしている。サブシーン分割する基準は、画像枚数および撮影日時である。図8(A)の分割の中で画像枚数が多いサブ画像群を特定する。ここでは、シーン数を8から10に2つ増やしたいため、画像枚数が多い2つのサブ画像群を特定する。多い方からサブ画像群(5)、次にサブ画像群(1)とサブ画像群(2)である。
本実施形態では、サブ画像群に含まれる枚数が同じである場合は、サブ画像群に含まれる最初の画像と最後の画像の時間差が大きい方のサブ画像群を分割する。サブ画像群(1)とサブ画像群(2)は、含まれる画像の同じ枚数だが、サブ画像群(2)の方が最初の画像から最後の画像の時間差が大きいため、サブ画像群(2)を分割対象とする。すなわち、図8(B)では、サブ画像群(5)とサブ画像群(2)をそれぞれさらに分割する。
まず、サブ画像群(2)の分割方法について説明する。サブ画像群(2)には、画像枚数の山が2つあり、この2つは撮影日が違う。この場合は、撮影日が変わる箇所(図8(B)の破線矢印の箇所)で分割する。
次に、サブ画像群(5)の分割を説明する。サブ画像群(5)には画像枚数の山が3つあり、この3つは撮影日が違う。この場合も、撮影日が変わる箇所で分割する。このとき、撮影日が変わる箇所が2箇所あるが、分割後の各画像群の枚数差が小さくなるように分割する。図11(B)では、サブ画像群(5)では、2日目と3日目の境目で分割した方が、1日目と2日目の境目で分割するよりも分割後の各画像群の枚数差が小さくなるので、2日目と3日目の境目で分割する。すなわち、図11(B)の破線矢印の箇所で分割する。以上により分割数を8から10にする。ここでは撮影日の違う箇所で分割したが、画像枚数が多いサブ画像群が単一日で撮影されたものである場合は、単一日の中で時間差が最大の箇所で分割する。
Step15では、見開き割当部909がシーン統合をする。シーン統合とは、シーン数が見開き数よりも多い場合、分割されたシーン(サブ画像群)を統合する。具体的には、シーン数と見開き数が一致するように、シーン統合をする。図8(C)は、見開き数が6の場合、図8(A)をシーン統合してシーン数を6とした結果である。破線の箇所を統合、言い換えれば、破線の箇所での分割をしないことで、シーン数(サブ画像群の数)を6にする。シーン統合では、画像枚数が少ないサブ画像群を特定する。ここでは、分割数を8から6に2つ減らしたいため、画像の枚数が少ないサブ画像群を特定する。
画像枚数が少ないサブ画像群は、少ない方からサブ画像群(8)、サブ画像群(3)、サブ画像群(7)である。したがって、まず、サブ画像群(8)を統合対象とする。次に、サブ画像群(3)とサブ画像群(7)は、画像の枚数は同じである。ただし、サブ画像群(7)に隣接するサブ画像群(8)が統合対象であるため、サブ画像群(3)を統合対象とする。次に、統合対象のサブ画像群を、撮影日時が前のサブ画像群に統合するか、撮影日時が後のサブ画像群に統合するかを決定する。まず、サブ画像群(3)の統合を説明する。サブ画像群(3)の前後のサブ画像群(2)とサブ画像群(4)との時間差を比較すると、サブ画像群(3)の最後の画像とサブ画像群(4)の最初の画像との撮影時間の差の方がサブ画像群(3)の最初の画像とサブ画像群(2)の最後の画像との撮影時間の差よりも小さい。したがって、サブ画像群(3)は、サブ画像群(4)に統合すると決定する。すなわち、図11(C)の破線の箇所を統合する。次に、サブ画像群(8)の統合を説明する。サブ画像群(8)は、後のサブ画像群がない為、前のサブ画像群(7)と統合する。すなわち、図11(C)の破線箇所で統合する。なお、本実施形態では、撮影時間の差が小さいサブ画像群同士を統合することにしたが、これに限定されるものではない。例えば、統合対象のサブ画像群を撮影枚数が少ないサブ画像群に統合するようにしてもよい。
Step16では、見開き割当部909が見開き割当をする。Step12〜Step15によって、サブ画像群の数と指定見開き数は同じになっている。本実施形態では、撮影日時が先頭のサブ画像群から見開きの先頭に割り当てる。すなわち、撮影日時順にサブ画像群をアルバムの各見開きのページに割当てる。これにより、撮影日時順にサブ画像群が並んだアルバムを作成することができる。なお、後述する通り、1つの見開きページ内では、画像は撮影日時に並んでいなくてもよい。
Step17では、画像選択部910が各サブ画像群から所定枚数の画像を選択する。図11を用いて、ある見開きに割り当てられたサブ画像群から画像を4枚選択する場合を例に挙げて説明する。なお、ここでは、見開きとは、2ページを指し、最初の見開き及び最後の見開きは、1ページとする。図11(A)は、見開きに割り当てられたサブ画像群に含まれる最初の画像から最後の画像のまでの撮影日時の時間差、言い換えれば、サブ画像群の撮影期間を示す。図11(B)を使って、4枚選択する際の1枚目を選択する方法を説明する。テンプレートには、1つのメインスロット1002がある。1枚目は、メインスロット用の画像を選択する。図11(B)に示すサブ画像群の撮影期間に撮影された全ての画像のうちStep10で付けたメインスロット用の得点が最高点の画像を選択する。そして、2枚目以降はサブスロット用の画像を選択する。本実施形態では、サブ画像群の撮影期間を細分化して画像を選択することにより、サブ画像群の撮影期間の一部に集中しないようにする。まず、図11(C)のようにサブ画像群の撮影期間を2分割して、2つの撮影期間とする。すなわち、サブ分割撮影期間を2等分して2つの撮影期間にする(グループ分けする)。次に、図11(D)のように1枚目が選ばれていない撮影期間(実線の区間)からサブスロット用の得点が最高点の画像を2枚目として選択する。次に、図11(E)のように、図11(D)の各撮影期間をそれぞれ2等分する。図11(F)の実線区間、すなわち、1枚目と2枚目が選ばれていない2つの撮影期間に撮影された画像(2つの撮影期間に対応する画像)のうちサブスロット用の得点が最高点の画像を3枚目として選択する。次に、画像を選択する撮影期間に画像が存在せず、画像選択できない例を4枚目の選択を例に挙げて説明する。本実施形態では、画像の枚数に関わらず、時間に応じて撮影期間を分割している。したがって、分割して得られた撮影期間に画像が存在しない場合がある。例えば、図11(G)のように、まだ画像が選ばれていない撮影期間(斜線の区間)から4枚目を選択したいが、この斜線区間には画像が存在しないとする。この場合は、図11(H)のように、画像を選択済みの各撮影期間をそれぞれ2分割する。次に、図11(I)のように、1〜3枚目が選ばれていない実線の撮影期間に撮影された画像のうちサブスロット用の最高点の画像を4枚目として選択する。
Step18では、画像レイアウト部912が処理対象の見開きの画像レイアウトを決定する。テンプレート入力部911は、指定のテンプレート情報に従ってある見開きに対して図12の(1−1)〜(4−4)を入力した場合を例に挙げて説明する。入力されたテンプレートのスロット数は3である。選択されている画像3枚の画像の向きが縦方向か横方向かを撮影日時の順に並べると図12(A)であったとする。ここでは、画像1605がメインスロット用として選択された画像であり、画像1606と画像1607がサブスロット用として選択された画像とする。本実施形態では、テンプレートの左上に撮影日時のより古い画像、右下に撮影日時のより新しい画像をレイアウトするものとする。画像1605は、撮影日時が一番新しく且つメインスロット用の画像であるため、図12(3−1)〜(3−4)のテンプレートが候補となる。そして、サブスロット用の古い方の画像1606、すなわち、左上に配置したい画像が縦画像で、新しい方の画像1607が横画像である。したがって、(3−2)が、選択された画像に最も適したテンプレートとしてレイアウトが決まる。このようにStep18では、レイアウトに用いるテンプレートと、テンプレートのいずれのスロットにいずれの画像をレイアウトするかを識別できる情報が決定する。図12では、スロット数が3の場合を例に挙げて説明を行ったが、Step17で、必要枚数が4枚となった場合には、スロット数4のテンプレートセットを用意して、それらに対して同様に、スロット状態と画像の状態の合致具合を判定する。これにより、どのテンプレートに画像をレイアウトするかを決めればよい。
Step19では、画像補正部914が画像補正をする。画像補正の条件入力部がONを入力した場合は、画像補正を実施する。本実施形態では、画像補正として、覆い焼き補正、赤目補正、コントラスト補正を自動で実施する。画像補正の条件入力部がOFFを入力した場合は、画像補正を実施しない。補正する画像の画素数は短辺1200画素で、sRGBの色空間に変換した画像に対して画像補正ON/OFFを実施する。
Step20では、レイアウト情報出力部915がレイアウト情報を作成する。Step18で決まった通りに各画像をレイアウトする。このとき、テンプレートが有する各スロットのサイズ情報に合わせてレイアウトする画像を変倍してレイアウトする。そして、テンプレートに画像をレイアウトしたビットマップデータを生成する。
Step21はStep17〜Step20が全ての見開きに対して終了したか否かを判定する。終了していない場合(Step21でNo)はStep17に戻る。終了している場合(Step21でYes)は自動レイアウト処理を終了する。
(フォトアルバムの編集)
次に、レイアウトされたフォトアルバムを編集する際の操作について説明する。ここではあるページのスロットに設定されている写真と、別のページのスロットに設定されている写真を入れ替えるという例を説明する。本実施形態においては、レイアウト後の写真(画像)を表示アイテムとみなし、ユーザ操作に基づきアイテムを移動させる場合の表示制御の例について説明する。
図13は、情報処理装置1である端末装置1301(スマートフォンやタブレット端末)の表示領域内に、フォトアルバムの編集画面401がフルスクリーン表示されている様子を示している。端末装置1301はホームボタン1302を備えている。
図13(1)ではサムネイルの表示領域402で見開きAが選択されているため、フォトアルバムの表示領域403では見開きAがプレビュー表示されている。なお、見開きAはアルバムの3ページ目及び4ページ目に対応するものとする。見開きAのテンプレートには、写真の配置領域としてスロットA1、A2が設定されており、それぞれ写真a1、a2が配置されている。図13(2)はユーザがスロットA1の写真a1をドラッグ操作して保持している様子を示す図である。写真a1をドラッグして保持している状態では写真a1から写真を抜き出した状態であるため、スロットA1の中はグレーで表示して何も写真が設定されていないことを示している。図13(3)はドラッグ操作により保持された写真a1を次ページ切り替え領域1304まで移動させ、次ページ切り替え領域1304に重ねた状態を示している。このように表示領域のページ端部にある次ページ切り替え領域1304に、ドラッグ操作により写真を重ねることにより、フォトアルバムの表示領域403の表示は見開きBに切り替わる。
次ページ切り替え領域1304は、次のページを表示するため領域である。画像のドラッグ操作により次ページ切り替え領域1034に画像を重ねた場合だけでなく、ユーザによるタップやクリックなどの操作により次ページ切り替え領域1304が選択された場合も表示領域403内の表示は次ページに切り替わる。一方、前ページ切り替え領域1303は前のページを表示するための領域である。ドラッグ操作で保持されている写真を移動させ、前ページ切り替え領域1303に重ねることにより、フォトアルバムの表示領域403の表示は前のページに切り替わる。また、前ページ切り替え領域1303をタップやクリックなどで選択した場合も、フォトアルバムの表示領域403内の表示は前のページに切り替わる。なお、図13では、見開き単位で表示領域403の表示を切り替えているが、本実施形態の表示切り替えは、1ページずつの切り替えでもよい。
図13(3)に示したように、見開きBにはスロットB1、B2、B3があり、それぞれ写真b1、b2、b3が配置されている。図13(4)はユーザが操作を誤ってドラッグしている指が表示領域であるタッチパネルから外に出してしまったときの図である。これによりタッチ操作がリリースされ、ドラッグ操作が解除されてしまい、キャンセル処理が開始される。実施形態1におけるキャンセル処理とは、ドラッグ操作のリリースにより、ドラッグ操作されていたアイテムを、典型的にはドラッグ開始前の元の配置領域へ戻す処理である。
図13(5)、(6)は、ユーザがドラッグ操作を解除してしまったことにより、写真a1が、元の配置領域である元のスロットA1に戻ろうとしている途中の図である。本実施形態ではドラッグが解除された場合にすぐに写真a1が元のスロットA1に戻ってキャンセル処理が完了するのではなく、ある一定時間かけてキャンセル処理が完了するように制御する。この例では、図13(5)、(6)に示したように、タッチ操作がリリースされたことにより写真a1のドラッグが解除された場合、一旦、写真a1は所定時間だけ所定の範囲内(典型的にはドラッグ解除された位置)に留まり、所定時間経過した後に所定の範囲から配置領域へ移動する。なお、図13(5)、(6)では、所定の範囲に留まっている間、写真a1は所定の変化をする。具体的には、写真a1が反時計回りにある一定角度だけ回転する動作(図13(5))と、時計周りにある一定角度だけ回転する動作(図13(6))と、を一定回数繰り返す揺動運動を行う。その後、写真a1は、ドラッグ操作が開始される前に配置されていた元のスロットA1に戻り、キャンセル処理が完了する。
このキャンセル処理が完了するまでの間に、ユーザはパネルをタッチすることにより、キャンセル処理が取り消され、ユーザはドラッグ操作を再開することができる(図13(7))。ドラッグ状態が再開された後、ユーザは、写真a1のドラッグ操作により、表示領域403の表示を見開きCのページ7及びページ8へ切り替え、入れ替えたいスロットC3に写真a1を重ねる(図13(8))。スロットC3に写真a1を重ねたままドラッグを解除して写真a1をドロップすることにより、スロットC3に写真a1が配置される(図13(9))。なお、図13(8)では、スロットC3に写真a1を重ねることで、スロットB3のスロット枠が太くなっている。これは写真入れ替えが可能な状態になっていることを示しており、スロットC3のスロット枠が太くなっている状態で写真a1のドラッグを解除するとスロットC3に写真a1がセットされる。
このように、本実施形態では、キャンセル処理が完了するまでの間に、ユーザによるタッチやクリック等の表示領域への入力を受け付けた場合、キャンセル処理が止まる。よって、ユーザは、写真a1が元のスロットに戻る前に、再度ドラッグ操作を再開することができる。
また、図13の例では、キャンセル処理中において、アイテムが元の配置領域へ移動する前に、一定期間だけ所定の範囲に留まる動作(待機動作)を行う。この待機動作により、ユーザはドラッグが解除された後、アイテムを再度タッチ等で捉え、ドラッグ操作しやすくなるため好ましい。なお、図13(7)の例では、アイテムである写真a1をタッチしてキャンセル処理を止め、写真a1のドラッグを再開しているが、本実施形態はこれに限られない。表示領域におけるアイテム以外の領域への入力(タッチ(タップでも長押しでもよい)やクリック等に基づく入力)を受け付けた場合であっても、キャンセル処理が止まるようにしてもよい。この場合、ユーザ入力に応じた位置にアイテムが吸い付くように移動すると、その後のドラッグ操作が容易になるため、好ましい。
ここで、図13(5)及び(6)における待機動作中の写真a1の変化について、図14を用いて詳細に説明する。図14は、アイテム1401のドラッグ操作が解除された場合のキャンセル処理中のアニメーションを示した図である。例えば、アイテム1401のドラッグが図14(1)の状態で解除された場合、まずアイテム1401は時計周りにある一定角度だけ回転させる(図14(2))。次にアイテム1401は半時計周りに一定角度だけ回転し(図14(3))、また最初の状態に戻る(図14(4))。アイテム1401は所定時間の間、このような揺動運動を繰り返す。
このようにキャンセル処理中における待機中に、アイテムが所定のアニメーションを実行することにより、アイテムが待機状態であることを分かりやすく視認性が向上するため好ましい。なお、図14の例では、アイテムを回転させるアニメーションを例にしたが、本実施形態はそれに限定されるものではない。例えばアイテムのドラッグが解除されたら、アイテムの表示を徐々に透過させて、完全に透明になるまでの間はドラッグを再開できるようにする制御や、アイテムを点滅させるような制御でもよく、アニメーションの種類は限定されない。なお、キャンセル処理中に必ずしもアニメーションをする必要はない。
図15は、キャンセル処理により、元のスロットに戻るまでの動作を示した図である。図13、図14で示したアイテムが回転するアニメーション後、元のスロットA1に写真a1が戻る様子を示す。この移動動作の間にも、ユーザによる画面へのタッチやクリック等の入力を受け付けることにより、キャンセル処理が停止し、ユーザはドラッグ操作を再開することができる。
図15(1)は元の配置領域がスロットA1であった場合に、写真a1がスロットA1に戻ろうとしている様子であり、図15(2)は元の配置領域がスロットA2であった場合に、スロットA2へ写真a2が戻ろうとしている様子である。図15(1)と(2)で写真が元のスロットまで戻るまでの距離を比べると、図15(2)の距離の方が短い。そのため、同じ移動速度で写真をスロットまで戻すと、図15(2)の方が移動時間としては短くなる。つまり、図15(2)は元のスロットまでの距離が短いのですぐに移動してキャンセル処理が完了してしまい、移動動作の間にユーザが画面へ入力してキャンセル処理を止め、ドラッグ状態を再開することが難しい。そこで、スロットに戻るまでの速度を一定にするのでなく、スロットまでの距離が短い場合、距離が長い場合よりも移動速度を遅くなるよう制御するとよい。典型的には、スロットに戻るまでの移動速度を可変にすることにより、どのような移動距離であっても移動時間を一定にする。このように制御することにより、元の配置領域までの距離が短い場合にも、ユーザがドラッグを再開しやすくなるため好ましい。
(アイテムの表示制御フロー)
図16は、図13で説明したアイテムの表示に関する表示制御フローを示すフローチャートである。図16に示すフローチャートは、例えば、CPU204がHDD202に格納されたプログラムをROMやRAM201に読み出して実行することにより実現される。
S101では、ユーザからの指示に基づき、CPU204はフォトアルバムの種類を選択設定する。フォトアルバムの種類とは、例えば、フォトアルバムのサイズ、ページ数、綴じ方、紙の種類などのことを指す。
S102では、ユーザからの指示に基づき、CPU204はフォトアルバムの自動レイアウトに使用される写真群を選択設定する。例えば、ピクチャーフォルダーに写真が保存さている場合は、ユーザによりピクチャーフォルダー内から所定のフォルダが選択されることにより、CPU204はそのフォルダの写真群をレイアウト対象として選択する。
S103でCPU204はフォトアルバムの作成を開始する。例えば、S101で選ばれたフォトアルバムの種類とS102で選ばれた写真群に応じて、CPU204は、自動で写真を配置するテンプレートを選別し、そのテンプレート内のスロットに自動で写真を配置する。このステップは図6で説明した自動レイアウト処理の一連のフローを示している。なお、ここでは、自動で画像レイアウトを行う形態を説明したが、本実施形態はそれに限定されるものではなく、ユーザが手動でテンプレートや写真を選択し、フォトアルバムを作成してもよい。
S104では、CPU204は、レイアウト後のページのサムネイル一覧を表示領域402に表示する。
S105で、ユーザにより表示領域402の所望のページ(仮に、見開きAとする)に対応するサムネイルが選択されることにより、CPU204は、表示領域403に見開きAの2ページ目と3ページ目を表示する。ユーザはこの画面で自動レイアウト結果のレイアウト画を手動で修正することができる。
S106では、ユーザの入力に基づき、CPU204は見開きAのスロットA1の写真a1をドラッグして保持し、写真a1を移動させる。
S107では、CPU204は、ドラッグにより保持されている写真a1が、前ページ切り替え領域1303または次ページ切り替え領域1304に重ねられたか否かを判定する。写真a1が、前ページ切り替え領域1303または次ページ切り替え領域1304に重ねられた場合(S107でYES)、S108に進み、重ねられていない場合(S107でNO)、S109に進む。なお、S107の判定基準として、図13では切り替え領域への写真a1の所定量(所定面積)が重ねられたらYESと判定しているが、本実施形態はこれに限られない。例えば、写真a1上の所定点が切り替え領域に接したら重ねられたと判定してもよく、写真a1をドラッグしているポインタが切り替え領域内に入ったら重ねられたと判定してもよい。さらには、重ねられた時間が所定時間以上の場合にはYESと判定するが、重ねられた時間が所定時間未満の場合はNOと判定する判定基準を設けてもよい。
S108では、CPU204は、次ページ切り替え領域1304に写真a1が重なったことに応じて、表示領域403の表示を見開きAから見開きB(5ページ目及び6ページ目)に切り替える。
S109では、CPU204は、ドラッグされている写真がいずれかのスロット上でリリース(ドロップ)されたか否かを判定する。スロット上でリリースされたと判定された場合(S109でYES)S110に進み、スロット上でリリースされていないと判定された場合(S109でNO)はS112に進む。なお、S109の判定基準として、図13では写真の所定量(所定面積(例えば面積の半分))がスロット上に重ねられた状態でリリースされたらYESと判定しているが、本実施形態はこれに限られない。例えば、写真上の所定点がスロット内の所定範囲上にある状態を、写真がスロットに重ねられた状態と判定し、この状態でリリースされたらYESと判定してもよい。また、写真a1をドラッグしているポインタがスロット内に入ったら重ねられたと判定し、この状態でリリースされたらYESと判定してもよい。さらには、重ねられた時間が所定時間以上の場合にはYESと判定するが、重ねられた時間が所定時間未満の場合はNOと判定する判定基準を設けてもよい。
S110では、CPU204は、リリースされたスロットに写真を配置する。例えば、ドラッグされていた写真a1が見開きBのスロットB3上でリリースされた場合、写真a1をスロットB3に配置する。
S111では、CPU204は、元々写真a1が配置されていたスロットA1に、スロットB3に配置されていた写真b3を配置する。つまり、写真a1と写真b3とは配置領域が入れ替わる。
S112では、CPU204は、ドラッグされ移動中の写真が、スロット以外の領域でリリースされたか否かを判定する。スロット以外の領域でリリースされたと判定された場合(S112でYES)はS113に進み、スロット以外の領域でリリースされていないと判定された場合(S112でNO)はS107へ戻る。なお、S112の判定基準として、写真が全くスロットに接していない状態でリリースされれば、スロット以外の領域でリリースされた(YES)と判定しているが、本実施形態はこれに限られない。例えば、写真の一部がスロットに接しているとしても、写真上の所定点がスロット内の所定範囲上に存在していない場合は、その状態でリリースされた写真は、スロット外でリリースされた(YES)と判定してもよい。
S113では、CPU204は、写真を元のスロットに戻すキャンセル処理を開始する。例えば、写真a1のドラッグがスロット外で解除された場合、スロットA1に写真a1を戻すキャンセル処理を開始する。
S114では、CPU204は、スロットに写真が戻るまでの間に、ユーザによる表示領域への入力があったかを判定する。例えば、スロットA1に写真a1が戻るまでの間にクリックやタッチがなされたか否かを判定する。入力があった場合(S114でYES)はS115に進み、入力がなかった場合(S114でNO)はS116へ進む。
S115では、CPU204は、キャンセル処理を止め、ユーザにより写真を再度ドラッグ操作できる状態にする。例えば、CPU204は、キャンセル処理を止めることにより写真a1をスロットA1には戻さずに、キャンセル処理が止まった写真a1の位置でドラッグ状態を再開する。
S116では、CPU204はキャンセル処理を完了させる。つまり、写真a1をスロットA1に戻す処理が終了する。これにより、S117でCPU204はスロットA1に写真a1を配置完了する。
以上、説明したように、本実施形態では、キャンセル処理が完了するまでの間に、ユーザによるタッチやクリック等の表示領域への入力を受け付けた場合、キャンセル処理が止まる。よって、ユーザは、写真が元のスロットに戻る前に、再度ドラッグ操作を再開することができる。
なお、上述の例では、キャンセル処理として、CPU204は、アイテムが所定時間だけ所定範囲に留まる待機処理と、所定範囲から元の配置領域まで移動する移動処理と、を実行したが、本実施形態はこれに限定されない。キャンセル処理としては、待機処理だけでもよく、移動処理だけでもよい。
また、キャンセル処理の移動処理において、例えばドラッグ操作によりアイテムを1ページ目から6ページ目に移動させ、6ページ目の端部でドラッグ解除された場合、6ページ目から1ページずつ順番に戻るようにアイテムを移動させてもよい。また、これ以外の制御でもよく、例えば、6ページ目から2ページ目に飛び(ページが切り替わり)、2ページ目の途中から元の配置領域までアイテムが移動するよう制御してもよい。
また、上述の例では、キャンセル処理としてCPU204は写真を元のスロットに戻していたが、本実施形態はこれに限定されない。例えば、ドラッグリリースされた位置に最も近いスロットに写真を配置させても良い。つまり、アイテムが配置領域外の領域でリリースされた場合は、いずれかの配置領域に配置するよう移動させると良い。仮にアイテムがページ端部でドラッグリリースされた場合は、ページ端部には配置領域が設定されていない、つまり配置領域外であるため、キャンセル処理により、アイテムはページ端部からページ中央側の位置へシフトする。
また、上述の例では、ページ間の移動時におけるキャンセル処理を前提に説明したが、本実施形態では、ページが1ページしかない場合であっても、配置領域以外の領域でドラッグがリリースされた場合には、同様のキャンセル処理を適用できる。この場合の制御フローは、図16の制御フローにおけるS107とS108のステップがないフローと同様である。
<実施形態2>
本実施形態では、アイテムとして、例えばスマートフォンやタブレット等の端末装置の表示部に表示されるアプリケーションアイコンの例を説明する。情報処理装置1の構成は実施形態1と同様であるため説明を省略する。また、表示制御のフローについても実施形態1と異なる部分を中心に説明する。
図17は、端末装置1701のタッチパネル1702に表示されるアプリケーションアイコン1703の表示を説明する模式図である。この例ではアプリケーションアイコン1703はページ1〜3ページに各々配置されている。本実施形態では、ユーザはページ1のアプリケーションアイコンをページ3に配置させる場合を想定する。図17(1)はページ1を表示した状態の図であり、アプリケーションアイコン1703が12個配置されている。まず、図17(1)において、ユーザが右下のアプリケーションアイコン1703を選択することによりCPU204はアイテムをドラッグ状態にする。
図17(2)では、CPU204は、アプリケーションアイコン1703をドラッグした状態のままパネルの右端に移動させた状態を示す。この位置で一定時間ドラッグ状態が保持されると、図17(3)のようにページ1からページ2にページが切り替わり、最終的に図17(4)のようにページ2が表示される。ページ2にはアプリケーションアイコン1703が6つ配置されている。なお、ページ2の表示後、ページ2内に設定された配置領域上でアイコンがドロップされた場合は、その配置領域にアイコンは配置される。実施形態2における配置領域とは、表示領域に予め設定された、アイテムが配置可能な領域である。なお、もしドロップされた位置にある配置領域に、既に別のアイコンが配置されていた場合は、CPU204は、その別のアイコンを別の配置領域へ移動させてもよい。また、その別のアイコンとドロップされたアイコンと含むようなフォルダを新たに作成してもよい。なお、アイコンが配置領域上にあるかという判断基準は、実施形態1と同様に、アイテムの所定面積(例えば面積の半分)が配置領域上にある場合や、アイテム上の所定点が配置領域内の所定範囲上にある場合等、アイテムの全面積が配置領域上になくてもよい。
図17(5)は、ユーザの手が、表示領域の端部においてパネル1702から誤って離れてしまった様子を示す図である。この場合、CPU204は、
表示領域の端部(配置領域が設定されていない領域)でアイテムがドラッグ解除されたと判定し、キャンセル処理を開始する。本実施形態では、図17(6)、(7)に示すように、キャンセル処理として、実施形態1と同様に、まず待機処理を行う。つまり、所定時間だけ所定の範囲において、アプリケーションアイコン1703を時計回り(図17(6))と反時計回り(図17(7))にある一定角度だけ回転させるようなアニメーションを行なわせる。このアニメーションを実行している際に、CPU204は、ユーザによるパネル1702への入力を受け付けることにより、キャンセル処理を停止し、ユーザにより再度ドラッグ操作可能な状態にすることができる(図17(8))。
なお、キャンセル処理が実行されている状態において、ユーザによるパネル1702の表示領域への入力がなかった場合は、CPU204は、アプリケーションアイコン1703が表示されているページ2内にアプリケーションアイコン1703を再配置する。
CPU204は、ドラッグ状態を再開してパネル1702の右端に一定時間保持しておくと、表示ページは、ページ2からページ3に切り替わり(図17(9))、ページ3が表示される(図17(10))。ページ3には、アプリケーションアイコン1703が3つ表示されている。ページ3はユーザがアプリケーションアイコン1703を移動させたいページである。CPU204は、ユーザ操作に基づき、アプリケーションアイコン1703をドラッグ状態のまま所望の位置に移動させる(図17(11))。
最後に、ユーザ操作に応じ、配置領域上でCPU204はドラッグを解除することにより、ユーザの所望する位置にアプリケーションアイコン1703を配置する(図17(12))。
以上、説明したように、本実施形態においても、キャンセル処理が完了するまでの間に、ユーザによるタッチやクリック等の表示領域への入力を受け付けた場合、キャンセル処理が止まる。よって、ユーザは、アイテムがいずれかの配置領域に配置される前に、再度ドラッグ操作を再開することができる。
なお、上述の例では、キャンセル処理として、CPU204は、アイテムが所定時間だけ所定範囲に留まる待機処理と、所定範囲から元の配置領域まで移動する移動処理と、を実行するものとしたが、本実施形態はこれに限定されない。キャンセル処理としては、待機処理だけでもよく、移動処理だけでもよい。
また、キャンセル処理の移動処理において、例えばドラッグ操作によりアイテムを1ページ目から6ページ目に移動させ、6ページ目の端部でドラッグ解除された場合、6ページ目から1ページずつ順番に戻るようにアイテムを移動させる例に限定されない。例えば、6ページ目から2ページ目に飛び(ページが切り替わり)、2ページ目の途中から元の配置領域までアイテムが移動するよう制御してもよい。
また、キャンセル処理では、CPU204は、アイテムを元の配置領域に戻してもよく、ドロップされた位置に最も近い配置領域や、配置の優先度が高い配置領域に配置しても良い。つまり、アイテムが配置領域外の領域でリリースされた場合は、いずれかの配置領域に配置するよう移動させると良い。仮にアイテムがページ端部でドラッグリリースされた場合は、ページ端部には配置領域が設定されていない、つまり配置領域外であるため、キャンセル処理により、アイテムはページ端部からページ中央側の位置へシフトする。
また、上述の例では、ページ間の移動時におけるキャンセル処理を前提に説明したが、本実施形態では、ページが1ページしかない場合であっても、配置領域以外の領域でドラッグがリリースされた場合には、同様のキャンセル処理を適用できる。
<他の実施形態>
上述した実施形態では、アイテムとして、レイアウト後の写真やアプリケーションアイコンの例について記載したが、その他のアイテムにおいても実現される。例えば、写真以外の画像、テキストボックス、操作ボタン、ショートカット、コンテンツ等の表示アイテムであってもよい。
また、上述した実施形態では、情報処理装置1として、スマートフォンやタブレット等の端末装置の例を記載したが、その他の装置においても実現される。例えば、PCや、プリンタ等の画像処理装置でもよい。
上述した各実施形態は、以下の処理を実行することによっても実現される。すなわち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(CPUやMPU等)がプログラムを読み出して実行する処理である。また、プログラムは、1つのコンピュータで実行させても、複数のコンピュータで連動させて実行させるようにしてもよい。また、上記した処理の全てをソフトウェアで実現する必要はなく、処理の一部または全部をASIC等のハードウェアで実現するようにしてもよい。また、CPUも1つのCPUで全ての処理を行うものに限らず、複数のCPUが適宜連携をしながら処理を行うものとしてもよい。
80 アプリケーション
204 CPU
201 RAM
202 HDD

Claims (23)

  1. 表示部の表示領域にアイテムを表示させる情報処理装置であって、
    前記表示領域内に設定された複数の配置領域のうち所定の配置領域に配置されていたアイテムを、ユーザのドラッグ操作に応じて移動させる第1制御手段と、
    前記複数の配置領域以外の領域で前記ドラッグ操作がリリースされた場合に、前記複数の配置領域のうちいずれかの配置領域へアイテムを配置するキャンセル処理を実行する第2制御手段と、
    前記第2制御手段による前記キャンセル処理が完了するまでの間に、ユーザによる前記表示領域への入力を受け付けた場合、前記キャンセル処理を止める第3制御手段と、
    を備えることを特徴とする情報処理装置。
  2. 表示部の表示領域にアイテムを表示させる情報処理装置であって、
    前記表示領域内の所定のページに配置されていたアイテムを、ユーザのドラッグ操作に応じて前記所定のページとは異なるページへ移動させる第1制御手段と、
    前記所定のページの端部で前記ドラッグ操作がリリースされた場合に、前記アイテムを前記所定のページ内の前記端部よりも中央側の領域へシフトさせるキャンセル処理を実行する第2制御手段と、
    前記第2制御手段による前記キャンセル処理が完了するまでの間に、ユーザによる前記表示領域への入力を受け付けた場合、前記キャンセル処理を止める第3制御手段と、
    を備えることを特徴とする情報処理装置。
  3. 前記第3制御手段は、前記キャンセル処理が止められた後、前記アイテムをユーザのドラッグ操作を受け入れ可能な状態とすることを特徴とする請求項1又は2に記載の情報処理装置。
  4. 前記第2制御手段は、前記キャンセル処理として、前記アイテムを所定の範囲内に所定時間だけ留める処理と、前記所定時間経過した後に前記アイテムを前記所定の範囲から前記いずれかの配置領域へ移動させる処理と、を実行することを特徴とする請求項1乃至3のいずれか1項に記載の情報処理装置。
  5. 前記第2制御手段は、前記アイテムを前記所定の範囲内に留めている間、前記アイテムに所定の変化をさせることを特徴とする請求項4に記載の情報処理装置。
  6. 前記キャンセル処理が完了するまでの間に、ユーザによる前記表示領域の前記アイテム以外の領域への入力を受け付けた場合でも、前記第3制御手段は前記キャンセル処理を止め、
    前記第3制御手段は、前記入力に応じた位置に前記アイテムを配置させることを特徴とする請求項1乃至5のいずれか1項に記載の情報処理装置。
  7. 画像をテンプレート内のスロットにレイアウトするレイアウト手段をさらに備え、
    前記第1制御手段は、前記レイアウト手段によるレイアウト後、ユーザのドラッグ操作に応じて、前記アイテムとして前記スロット内の画像を移動させることを特徴とする請求項1乃至6のいずれか1項に記載の情報処理装置。
  8. 前記第1制御手段は、ユーザのドラッグ操作に応じて、前記アイテムとしてアプリケーションアイコンを移動させることを特徴とする請求項1乃至6のいずれか1項に記載の情報処理装置。
  9. 前記第2制御手段は、前記キャンセル処理において、前記アイテムが前記ドラッグ操作される前に配置されていた配置領域に前記アイテムを戻すことを特徴とする請求項1乃至8のいずれか1項に記載の情報処理装置。
  10. 前記第2制御手段は、前記キャンセル処理において、前記アイテムが移動する距離が第1の距離の場合の前記アイコンの移動速度を、前記第1の距離よりも長い第2の距離の場合の前記アイコンの移動速度よりも、遅くすることを特徴とする請求項1乃至9のいずれか1項に記載の情報処理装置。
  11. 表示部の表示領域にアイテムを表示させる表示制御方法であって、
    前記表示領域内に設定された複数の配置領域のうち所定の配置領域に配置されていたアイテムを、ユーザのドラッグ操作に応じて移動させるステップと、
    前記複数の配置領域以外の領域で前記ドラッグ操作がリリースされた場合に、前記複数の配置領域のうちいずれかの配置領域へアイテムを配置するキャンセル処理を実行するステップと、
    前記キャンセル処理が完了するまでの間に、ユーザによる前記表示領域への入力を受け付けた場合、前記キャンセル処理を止めるステップと、
    を備えることを特徴とする表示制御方法。
  12. 表示部の表示領域にアイテムを表示させる表示制御方法であって、
    前記表示領域内の所定のページに配置されていたアイテムを、ユーザのドラッグ操作に応じて前記所定のページとは異なるページへ移動させるステップと、
    前記所定のページの端部で前記ドラッグ操作がリリースされた場合に、前記アイテムを前記所定のページ内の前記端部よりも中央側の領域へシフトさせるキャンセル処理を実行するステップと、
    前記キャンセル処理が完了するまでの間に、ユーザによる前記表示領域への入力を受け付けた場合、前記キャンセル処理を止めるステップと、
    を備えることを特徴とする表示制御方法。
  13. 前記キャンセル処理が止められた後、前記アイテムをユーザのドラッグ操作を受け入れ可能な状態とすることを特徴とする請求項11又は12に記載の表示制御方法。
  14. 前記キャンセル処理として、前記アイテムを所定の範囲内に所定時間だけ留める処理と、前記所定時間経過した後に前記アイテムを前記所定の範囲から前記いずれかの配置領域へ移動させる処理と、を実行することを特徴とする請求項11乃至13のいずれか1項に記載の表示制御方法。
  15. 前記アイテムを前記所定の範囲内に留めている間、前記アイテムに所定の変化をさせることを特徴とする請求項14に記載の表示制御方法。
  16. 前記キャンセル処理が完了するまでの間に、ユーザによる前記表示領域の前記アイテム以外の領域への入力を受け付けた場合でも、前記キャンセル処理を止め、
    前記入力に応じた位置へ前記アイテムを移動させることを特徴とする請求項11乃至15のいずれか1項に記載の表示制御方法。
  17. 画像をテンプレート内のスロットにレイアウトするレイアウト手段をさらに備え、
    前記レイアウト手段によるレイアウト後、ユーザのドラッグ操作に応じて、前記アイテムとして前記スロット内の画像を移動させることを特徴とする請求項11乃至16のいずれか1項に記載の表示制御方法。
  18. ユーザのドラッグ操作に応じて、前記アイテムとしてアプリケーションアイコンを移動させることを特徴とする請求項11乃至16のいずれか1項に記載の表示制御方法。
  19. 前記キャンセル処理において、前記アイテムが前記ドラッグ操作される前に配置されていた配置領域に戻るように前記アイテムを配置することを特徴とする請求項11乃至18のいずれか1項に記載の表示制御方法。
  20. 前記キャンセル処理において、前記アイテムが移動する距離が第1の距離の場合の前記アイコンの移動速度を、前記第1の距離よりも長い第2の距離の場合の前記アイコンの移動速度よりも、遅くすることを特徴とする請求項11乃至19のいずれか1項に記載の表示制御方法。
  21. 請求項11乃至20のいずれか1項に記載の表示制御方法の各ステップをコンピュータに実行させるプログラム。
  22. 表示部の表示領域にアイテムを表示させる情報処理装置であって、
    前記表示領域内に設定された複数の配置領域のうち所定の配置領域に配置されていたアイテムを、ユーザのドラッグ操作に応じて移動させる第1制御手段と、
    前記複数の配置領域以外の領域で前記ドラッグ操作がリリースされた場合に、前記所定の配置領域へアイテムを戻す処理を実行する第2制御手段と、
    前記アイテムが前記所定の配置領域へ戻るまでの間に、ユーザによる前記表示領域への入力を受け付けた場合、前記入力に応じた位置へ前記アイテムを移動させる第3制御手段と、
    を備えることを特徴とする情報処理装置。
  23. コンピュータに、
    表示部の表示領域内に設定された複数の配置領域のうち所定の配置領域に配置されていたアイテムを、ユーザのドラッグ操作に応じて移動させるステップと、
    前記複数の配置領域以外の領域で前記ドラッグ操作がリリースされた場合に、前記所定の配置領域へアイテムを戻す処理を実行するステップと、
    前記アイテムが前記所定の配置領域へ戻るまでの間に、ユーザによる前記表示領域への入力を受け付けた場合、前記入力に応じた位置へ前記アイテムを移動させるステップと、
    を実行させるプログラム。
JP2017016210A 2017-01-31 2017-01-31 情報処理装置、表示制御方法、及びプログラム Active JP6723938B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2017016210A JP6723938B2 (ja) 2017-01-31 2017-01-31 情報処理装置、表示制御方法、及びプログラム
US15/879,918 US11073962B2 (en) 2017-01-31 2018-01-25 Information processing apparatus, display control method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017016210A JP6723938B2 (ja) 2017-01-31 2017-01-31 情報処理装置、表示制御方法、及びプログラム

Publications (2)

Publication Number Publication Date
JP2018124781A true JP2018124781A (ja) 2018-08-09
JP6723938B2 JP6723938B2 (ja) 2020-07-15

Family

ID=62979843

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017016210A Active JP6723938B2 (ja) 2017-01-31 2017-01-31 情報処理装置、表示制御方法、及びプログラム

Country Status (2)

Country Link
US (1) US11073962B2 (ja)
JP (1) JP6723938B2 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020080040A (ja) * 2018-11-13 2020-05-28 富士通クライアントコンピューティング株式会社 情報処理装置および情報処理プログラム
JP2020135378A (ja) * 2019-02-19 2020-08-31 ブラザー工業株式会社 制御プログラム及び、情報処理装置
JP2022042672A (ja) * 2020-09-03 2022-03-15 エヌエイチエヌ コーポレーション ゲーム制御方法、プログラム、サーバ及び通信装置
WO2022118858A1 (ja) * 2020-12-02 2022-06-09 富士フイルム株式会社 情報処理装置及び情報処理プログラム

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023043631A (ja) * 2021-09-16 2023-03-29 カシオ計算機株式会社 情報処理装置、プログラム、測位方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07104915A (ja) * 1993-10-06 1995-04-21 Toshiba Corp グラフィックユーザインタフェース装置
JP2007086823A (ja) * 2005-09-16 2007-04-05 Seiko Epson Corp 情報処理装置、制御方法、およびプログラム
JP2010145523A (ja) * 2008-12-16 2010-07-01 Seiko Epson Corp 情報処理装置及びその制御方法、並びにコンピュータプログラム
JP2012155558A (ja) * 2011-01-26 2012-08-16 Sony Computer Entertainment Inc 携帯端末、表示方法及びコンピュータプログラム
JP2012533122A (ja) * 2009-07-10 2012-12-20 アップル インコーポレイテッド タッチ及びホバー感知
JP2013114640A (ja) * 2011-12-01 2013-06-10 Sony Corp 情報処理装置、情報処理方法およびプログラム
JP2013235359A (ja) * 2012-05-08 2013-11-21 Tokai Rika Co Ltd 情報処理装置及び入力装置
JP2016115337A (ja) * 2014-12-15 2016-06-23 キヤノン株式会社 ユーザインタフェース装置、画像形成装置、ユーザインタフェース装置の制御方法及び記憶媒体
JP2016219890A (ja) * 2015-05-14 2016-12-22 株式会社沖データ 画像形成装置
US20180196589A1 (en) * 2017-01-06 2018-07-12 Honda Motor Co., Ltd. System and methods for controlling a vehicular infotainment system

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5838563A (en) * 1996-04-12 1998-11-17 Fisher-Rosemont Systems, Inc. System for configuring a process control environment
JPH09320893A (ja) * 1996-05-31 1997-12-12 Rohm Co Ltd 厚膜コンデンサと厚膜抵抗器との複合素子の製造方法
US6392675B1 (en) * 1999-02-24 2002-05-21 International Business Machines Corporation Variable speed cursor movement
US8024658B1 (en) * 2005-01-09 2011-09-20 Apple Inc. Application for designing photo albums
KR100716287B1 (ko) * 2005-02-22 2007-05-09 삼성전자주식회사 디스플레이장치 및 디스플레이장치의 제어방법
US20110271182A1 (en) * 2010-04-29 2011-11-03 Acer Incorporated Eletronic apparatus and control method thereof
KR101760693B1 (ko) * 2010-09-24 2017-08-04 삼성전자 주식회사 터치 디바이스에서 홈스크린 편집 방법 및 장치
EP2474893B1 (en) * 2011-01-07 2014-10-22 LG Electronics Inc. Method of controlling image display device using display screen, and image display device thereof
EP3734407A1 (en) * 2011-02-10 2020-11-04 Samsung Electronics Co., Ltd. Portable device comprising a touch-screen display, and method for controlling same
US20120287065A1 (en) * 2011-05-10 2012-11-15 Kyocera Corporation Electronic device
KR20140039762A (ko) * 2012-09-25 2014-04-02 삼성전자주식회사 영상처리장치 및 그 제어방법
KR20140049254A (ko) * 2012-10-17 2014-04-25 삼성전자주식회사 단말기의 데이터표시 장치 및 방법
JP6271881B2 (ja) * 2013-06-26 2018-01-31 キヤノン株式会社 情報処理装置およびその制御方法、プログラム、記録媒体
KR20150025635A (ko) * 2013-08-29 2015-03-11 삼성전자주식회사 스크린을 제어하는 전자 장치 및 방법
EP3035184B1 (en) * 2014-12-15 2021-10-20 Canon Kabushiki Kaisha User interface apparatus, method for controlling a user interface, and computer-readable storage medium for controlling a user interface
US20170357915A1 (en) * 2016-06-11 2017-12-14 Apple Inc. Device, Method, and Graphical User Interface for Meeting Space Management and Interaction

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07104915A (ja) * 1993-10-06 1995-04-21 Toshiba Corp グラフィックユーザインタフェース装置
JP2007086823A (ja) * 2005-09-16 2007-04-05 Seiko Epson Corp 情報処理装置、制御方法、およびプログラム
JP2010145523A (ja) * 2008-12-16 2010-07-01 Seiko Epson Corp 情報処理装置及びその制御方法、並びにコンピュータプログラム
JP2012533122A (ja) * 2009-07-10 2012-12-20 アップル インコーポレイテッド タッチ及びホバー感知
JP2012155558A (ja) * 2011-01-26 2012-08-16 Sony Computer Entertainment Inc 携帯端末、表示方法及びコンピュータプログラム
JP2013114640A (ja) * 2011-12-01 2013-06-10 Sony Corp 情報処理装置、情報処理方法およびプログラム
JP2013235359A (ja) * 2012-05-08 2013-11-21 Tokai Rika Co Ltd 情報処理装置及び入力装置
JP2016115337A (ja) * 2014-12-15 2016-06-23 キヤノン株式会社 ユーザインタフェース装置、画像形成装置、ユーザインタフェース装置の制御方法及び記憶媒体
JP2016219890A (ja) * 2015-05-14 2016-12-22 株式会社沖データ 画像形成装置
US20180196589A1 (en) * 2017-01-06 2018-07-12 Honda Motor Co., Ltd. System and methods for controlling a vehicular infotainment system

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020080040A (ja) * 2018-11-13 2020-05-28 富士通クライアントコンピューティング株式会社 情報処理装置および情報処理プログラム
JP2020135378A (ja) * 2019-02-19 2020-08-31 ブラザー工業株式会社 制御プログラム及び、情報処理装置
JP7234682B2 (ja) 2019-02-19 2023-03-08 ブラザー工業株式会社 制御プログラム及び、情報処理装置
JP2022042672A (ja) * 2020-09-03 2022-03-15 エヌエイチエヌ コーポレーション ゲーム制御方法、プログラム、サーバ及び通信装置
JP7220188B2 (ja) 2020-09-03 2023-02-09 エヌエイチエヌ コーポレーション ゲーム制御方法、プログラム、サーバ及び通信装置
WO2022118858A1 (ja) * 2020-12-02 2022-06-09 富士フイルム株式会社 情報処理装置及び情報処理プログラム
JP7526650B2 (ja) 2020-12-02 2024-08-01 富士フイルム株式会社 情報処理装置及び情報処理プログラム

Also Published As

Publication number Publication date
JP6723938B2 (ja) 2020-07-15
US20180217735A1 (en) 2018-08-02
US11073962B2 (en) 2021-07-27

Similar Documents

Publication Publication Date Title
JP6702900B2 (ja) 情報処理装置、表示制御方法、及びプログラム
JP6723966B2 (ja) 情報処理装置、表示制御方法、及びプログラム
JP6902886B2 (ja) 画像処理装置、方法およびプログラム
JP6711937B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP6723938B2 (ja) 情報処理装置、表示制御方法、及びプログラム
JP6494504B2 (ja) 情報処理装置、制御方法およびプログラム
JP6422409B2 (ja) 表示制御装置、表示制御方法、及びプログラム
JP2018097491A (ja) 画像処理装置、画像処理方法、及びプログラム
JP7076974B2 (ja) 画像処理装置、制御方法およびプログラム
JP6890991B2 (ja) 画像処理装置、制御方法及びプログラム
JP2018124780A (ja) プログラム、画像処理装置、および画像処理方法
JP7336211B2 (ja) 画像処理装置、制御方法、及びプログラム
JP6887816B2 (ja) 画像処理装置、制御方法、及びプログラム
JP6681192B2 (ja) 画像処理装置、画像処理方法、及びコンピュータプログラム
JP7336209B2 (ja) 画像処理装置、制御方法、及びプログラム
JP6765978B2 (ja) 情報処理装置及びプログラム
US11320965B2 (en) Image processing apparatus, control method, and recording medium
JP2021144618A (ja) 画像処理装置、画像処理方法、及びプログラム
JP2019003326A (ja) 情報処理装置、制御方法、及びプログラム
JP6647039B2 (ja) 画像処理装置、画像処理方法、及びコンピュータプログラム
JP6742486B2 (ja) プログラム、画像処理方法
JP7336212B2 (ja) 画像処理装置、制御方法、及びプログラム
JP7336210B2 (ja) 画像処理装置、制御方法、及びプログラム
JP6572054B2 (ja) 画像処理装置、画像処理方法
JP6700686B2 (ja) 画像処理装置およびアルバム作成方法およびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190322

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20191113

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191224

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200221

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200526

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200624

R151 Written notification of patent or utility model registration

Ref document number: 6723938

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151