JP2021018722A - 表示方法および表示装置 - Google Patents

表示方法および表示装置 Download PDF

Info

Publication number
JP2021018722A
JP2021018722A JP2019135367A JP2019135367A JP2021018722A JP 2021018722 A JP2021018722 A JP 2021018722A JP 2019135367 A JP2019135367 A JP 2019135367A JP 2019135367 A JP2019135367 A JP 2019135367A JP 2021018722 A JP2021018722 A JP 2021018722A
Authority
JP
Japan
Prior art keywords
image
thumbnail image
images
thumbnail
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019135367A
Other languages
English (en)
Other versions
JP7331517B2 (ja
Inventor
圭吾 石倉
Keigo Ishikura
圭吾 石倉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Priority to JP2019135367A priority Critical patent/JP7331517B2/ja
Priority to US16/935,450 priority patent/US11733836B2/en
Publication of JP2021018722A publication Critical patent/JP2021018722A/ja
Application granted granted Critical
Publication of JP7331517B2 publication Critical patent/JP7331517B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0483Interaction with page-structured environments, e.g. book metaphor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485Scrolling or panning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00132Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture in a digital photofinishing system, i.e. a system where digital photographic images undergo typical photofinishing processing, e.g. printing ordering
    • H04N1/00161Viewing or previewing

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Processing Or Creating Images (AREA)
  • Editing Of Facsimile Originals (AREA)

Abstract

【課題】画像群に、画像の一部が重なることで密となっている密領域が存在していたとしても、この密領域に存在する移動先に、画像群から選択された選択画像を正確に移動させることができる表示方法、ならびにかかる表示方法が適用された表示装置を提供する。【解決手段】本発明の表示方法は、複数の画像を備え、複数の前記画像の配置が、前記画像の一部が重なることで密となっている密領域と、前記密領域と比較して疎となっている疎領域とを有する画像群を表示する表示工程と、前記疎領域に位置する前記画像を選択画像として選択する選択工程と、前記選択画像を、前記密領域における所定の移動先に移動させる移動工程と、前記移動先の密な状態を、前記移動先で隣接する前記画像同士の間隔を広げることで、前記移動先を疎な状態とする広間隔工程と、疎な状態とされた前記移動先に、前記選択画像を配置させる配置工程と、を有する。【選択図】図2G

Description

本発明は、表示方法および表示装置に関する。
近年、各種の表示装置において、複数の画像の縮小画像を所定数並べて一覧表示し、読取った画像の記載内容を確認することができるサムネイルを表示することが採用されている。
このサムネイルとして、各画像すなわち各ページを三次元的に回転させるとともに、各画像のうちの少なくとも一部について、隣接する画像同士の一部を重ね合せた状態で表示することにより、一画面内に多くの画像の情報を表示することで、サムネイルにおいて表示されている画像の記載内容を判別し易くしたユーザーインターフェース(UI)が適用された表示装置が提案されている(例えば、特許文献1参照)。
かかる構成の表示装置では、サムネイルは、上述の通り、隣り合う画像同士が重なって表示される。そして、サムネイルは、この重なりの状態が、密となっている密領域と、かかる密領域よりも疎となっている疎領域となっている個所を有し、疎領域において表示されている画像の情報が認識し易くなるように構成されている。
また、特許文献1で開示されている構成とは異なる表示装置(例えば、特許文献2参照)では、サムネイルにおいて、各画像を互いに重ね合わせることなく、画像表示部に並べて表示し、この画像表示部において複数の画像のうちから画像を選択し、この選択された画像すなわち選択画像が配置されている配置位置を移動させること、すなわち、サムネイルにおける画像を並べ替えることが提案されている。
特開2012−238223号公報 特開2014−53669号公報
ところが、特許文献2で提案されている、サムネイルにおける選択画像の配置位置の移動を、特許文献1で提案されている、サムネイルに適用して、疎領域に配置された画像を選択して、選択画像として密領域に移動させようとした場合、密領域では密に隣接する画像同士が重ね合わされており、そのために選択画像を移動させるべき移動先を正しく認識することができず、その結果、この移動先に選択画像を正確に移動させることができないと言う課題が生じると考えられる。
本発明は、上述の課題を解決するためになされたものであり、以下の適用例として実現することが可能である。
本発明の適用例に係る表示方法は、複数の画像を備え、複数の前記画像の配置が、前記画像の一部が重なることで密となっている密領域と、前記密領域と比較して疎となっている疎領域とを有する画像群を表示する表示工程と、
前記疎領域に位置する前記画像を選択画像として選択する選択工程と、
前記選択画像を、前記密領域における所定の移動先に移動させる移動工程と、
前記移動先の密な状態を、前記移動先で隣接する前記画像同士の間隔を広げることで、前記移動先を疎な状態とする広間隔工程と、
前記疎な状態とされた前記移動先に、前記選択画像を配置させる配置工程と、を有することを特徴とする。
ビューアーの実施形態の外観を示す平面図である。 図1のビューアーが備える画像表示部に表示されるサムネイル画像束と拡大表示されたサムネイル画像とを示す部分拡大平面図である。 図2Aにおけるサムネイル画像束のB部を部分的に拡大し、選択されたサムネイル画像を移動先に移動させる際の表示方法を説明するための部分拡大平面図である。 図2Aにおけるサムネイル画像束のB部を部分的に拡大し、選択されたサムネイル画像を移動先に移動させる際の表示方法を説明するための部分拡大平面図である。 図2Aにおけるサムネイル画像束のB部を部分的に拡大し、選択されたサムネイル画像を移動先に移動させる際の表示方法を説明するための部分拡大平面図である。 図2Aにおけるサムネイル画像束のB部を部分的に拡大し、選択されたサムネイル画像を移動先に移動させる際の表示方法を説明するための部分拡大平面図である。 図2Aにおけるサムネイル画像束のB部を部分的に拡大し、選択されたサムネイル画像を移動先に移動させる際の表示方法を説明するための部分拡大平面図である。 図2Aにおけるサムネイル画像束のB部を部分的に拡大し、選択されたサムネイル画像を移動先に移動させる際の表示方法を説明するための部分拡大平面図である。 図2Aにおけるサムネイル画像束のB部を部分的に拡大し、選択されたサムネイル画像を移動先に移動させる際の表示方法を説明するための部分拡大平面図である。 ビューアーのシステム構成を示すブロック図である。 ビューアーのシステム構成を示すブロック図である。 ビューアーの処理の一例を示すフローチャートである。 ビューアーの処理の一例を示すフローチャートである。 ビューアーの処理の一例を示すフローチャートである。 回転角を決める処理を説明する図である。 サムネイル画像の生成処理を説明する図である。 サムネイル画像の生成処理を説明する図である。 サムネイル画像の生成処理を説明する図である。 サムネイル画像の生成処理を説明する図である。 サムネイル画像の生成処理を説明する図である。 サムネイル画像の配置方法を説明する図である。 サムネイル画像の配置方法を説明する図である。 サムネイル画像の配置方法を説明する図である。 ビューアーの処理の一例を示すフローチャートである。 見開きを説明する図である。 ビューアーの処理の一例を示すフローチャートである。 動的部分に見開きが配置された配置方法を説明する図である。 ビューアーの処理の一例を示すフローチャートである。
以下、本発明の表示方法および表示装置を、添付図面に示す好適な実施形態に基づいて詳細に説明する。
なお、以下に示す実施形態では、本発明の表示方法を説明するのに先立って、本発明の表示装置が適用されたものとして、画像を含む文献の一例である電子マニュアルや電子書籍あるいはユーザーが作成する文献を閲覧し編集可能なビューアーを例に挙げて説明する。
また、以下の説明で参照する図面では、説明および図示の便宜上、部材ないし部分の縦横の縮尺を実際のものとは異なるように表す場合がある。また、説明に必要な構成要素以外は図示を省略する場合がある。また、以下では、説明の都合上、図1および図2A〜図2Hには、それぞれ、互いに直交する3つの軸としてX軸、Y軸、およびZ軸が図示されており、各軸を示す矢印の先端側を「+」、基端側を「−」とする。また、X軸に沿う方向を第1方向としての「横方向」、Y軸に沿う方向を第2方向としての「縦方向」、Z軸に沿う方向を「奥行き方向」という。また、横方向の−X方向を左または左側、+X方向を右または右側とし、縦方向の−Y方向を下または下側、+Y方向を上または上側として説明する。また、X軸に沿う方向に沿って、その一部を重ねて配置された画像のうち、手前側(+Z軸側)に位置する画像を「前方」に位置する画像とし、奥側(−Z軸側)に位置する画像を「後方」に位置する画像として説明する。また、本実施形態では第1方向を横方向、第2方向を縦方向としたが、第1方向が縦方向、第2方向が横方向であってもよい。つまり、第1方向と第2方向とは互いに交差していればよい。
<ビューアー>
まず、図1および図2Aを参照して、ビューアー10の概要について説明する。
図1は、ビューアーの実施形態の外観を示す平面図、図2Aは、図1のビューアーが備える画像表示部に表示されるサムネイル画像束と拡大表示されたサムネイル画像とを示す部分拡大平面図である。
ビューアー10は、本実施形態では、画像を表示する表示装置であり、この画像を表示する画像表示部2と、入力部7としてボタン7A〜7Fおよびタッチパネル7Gとを有している。
この例で、ビューアー10は、文書の一例としての電子書籍を閲覧するための装置、いわゆる電子ブックリーダーである。電子書籍は、複数ページの画像を含む文献データである。ビューアー10は、電子書籍をある単位で画像表示部2に表示する。ある単位とは例えば1ページずつである。電子書籍に含まれる複数ページのうち、表示の対象となるページを選択ページという。選択ページは、ユーザーによる図1に示すボタン7A〜7Fあるいはタッチパネル7Gの操作に応じて変更される。すなわち、ユーザーは、ボタン7A〜7Fあるいはタッチパネル7Gの操作により、電子書籍のページをめくることができる。また、ビューアー10は、電子書籍の閲覧に加え、アプリケーションプログラムを実行する機能を有する。
画像表示部2は、図2Aに示すように、電子マニュアルや電子書籍あるいはユーザーが作成する文献の各ページを縮小した画像としてのサムネイル画像Tと、選択したサムネイル画像Tの元画像Pを表示する。画像表示部2は、複数のサムネイル画像Tすなわち画像が横方向に並んで配置されている画像束としてのサムネイル画像束SGすなわち画像群を表示する。
サムネイル画像束SGは、画像表示部2の縦方向の下側である下部において、画像表示部2の下辺に沿って配置され、サムネイル画像束SGの下端は画像表示部2の表示領域外に及んでいることもある。
サムネイル画像Tは、画像表示部2の一部を占める大きさを有する画像であって、元画像Pを縮小または拡大した画像である。元画像Pは、電子マニュアルや電子書籍あるいはユーザーが作成する文献データのページの画像である。また、元画像Pは、アプリケーションプログラムのアイコン、またはアプリケーションプログラムの動作画面であってもよい。なお、複数のサムネイル画像Tの各々には、アプリケーションプログラムおよびその動作が割り当てられてもよい。
ビューアー10は、画像表示部2が配置される面に、入力部7としてボタン7A〜7Fおよびタッチパネル7Gを備える。入力部7は、外部からの入力を取り込む。入力部7は、ユーザーの操作を受け付け、入力信号として処理する。すなわち、ユーザーは、入力部7を操作して、ビューアー10に所定の入力を行う。
<ビューアーのシステム構成>
次に、図3および図4を参照して、上述した、ビューアー10のシステム構成を説明する。
図3および図4は、ビューアー10のシステム構成を示すブロック図である。
ビューアー10は、図3に示すように、バスBUSに接続される画像表示部2と、制御部3と、VRAM4(Video Random Access Memory)と、RAM5と、文献記憶部6(Random Access Memory)と、入力部7と、を備える。バスBUSに接続される各部間での信号あるいは情報の受け渡しは、バスBUSを介して行われる。
画像表示部2は、元画像Pに対応するサムネイル画像Tと、サムネイル画像Tの元画像Pとを表示する。この画像表示部2は、本実施形態では、複数のサムネイル画像Tが横方向に並んで配置されているサムネイル画像束SGを表示する。画像表示部2は、サムネイル画像束SGを俯瞰した状態である複数のサムネイル画像Tを表示する。画像表示部2は、後述する図9Eに示すように、第1の仮想軸としての第1仮想回転軸Qおよび第2の仮想軸としての第2仮想回転軸Mを含む仮想空間内における任意の視点から仮想空間内に配置されたサムネイル画像束SGを見た画像である俯瞰画像を表示する。
この画像表示部2は、液晶パネルなどに画像を表示させる信号を出力する図示しない表示駆動回路を含み、VRAM4に記憶される画像データを、上述したサムネイル画像Tと元画像Pとを含む画像として表示する。
制御部3は、ビューアー10の各部を制御する装置、例えば、CPU(Central Processing Unit)、ROM(Read Only Memory)等を有するマイクロコンピューターである。CPUは、RAM5をワークエリアとして、ROMまたはRAM5に記憶されたプログラムを実行する。ROMは、例えば、ビューアー10の基本的な動作を制御するためのOS(Operating System)プログラムを記憶している。
制御部3は、ROMに記憶されたプログラムに基づいてビューアー10の各部を制御する。例えば、制御部3は、各種画像データをVRAM4に記憶させる制御や、入力部7から送られる入力信号からユーザーにより操作されるボタン7A〜7Fおよびタッチパネル7Gや操作された内容を特定し、操作されたボタン7A〜7Fおよびタッチパネル7Gや内容に基づいてビューアー10を動作させる制御を行う。さらに、制御部3は、画像表示部2に表示する画像に対する画像処理を制御する。画像処理としては、例えば、選択ページの拡大表示やサムネイル画像Tに対する表示強調の処理が行われる。
VRAM4は、画像表示部2に表示させる画像を示す画像データを記憶するメモリーである。VRAM4は、展開された画像データが記憶されるメモリーである。VRAM4に記憶される画像データは、画像表示部2に表示される。
RAM5は、制御部3によって実行される画像処理の内容および画像データとの関連付けが記憶されるメモリーである。
文献記憶部6は、書換え可能なメモリーであり、電子マニュアルや電子書籍あるいはユーザーが作成する文献などの文献データを記憶する。文献記憶部6は、複数の異なる文献データを記憶することができ、適宜文献データの書換えが可能である。文献記憶部6は、文献データに加え、各種のデータおよびアプリケーションプログラムを記憶する不揮発性のメモリーである。文献記憶部6は、例えば、ビューアー10が内蔵する半導体メモリーであってもよいし、SDメモリーカードなどの着脱可能な外部メモリーであってもよいし、インターネット等のネットワークを介して通信可能なデータベースであってもよい。
入力部7は、図1に示すボタン7A〜7Fを備える。入力部7は、ボタン7A〜7Fが操作されると、操作されたボタンに対応する入力信号を制御部3へ送信する。また、入力部7は、タッチパネル7Gを備える。
かかる構成のビューアー10において、制御部3は、図4に示すように、画像生成部としてのGUI基盤部30と、画像データ処理部32と、を備える。
GUI基盤部30は、画像生成部として機能し、第1仮想回転軸Q上に配置される複数のサムネイル画像Tのそれぞれを、第1仮想回転軸Qと交差するそれぞれの第2仮想回転軸Mを中心にして回転し、さらに第1仮想回転軸Qを中心に回転してサムネイル画像Tを作成する。GUI基盤部30は、仮想空間内に配置されたサムネイル画像束SGを、仮想空間内における任意の視点から見た画像である俯瞰画像を作成する。
このGUI基盤部30は、有効矩形処理部34と、画像配置部36と、3D画像処理部38と、タッチ処理部40と、ファイル指示部42と、を備える。
有効矩形処理部34は、占有領域としてのサムネイル画像表示領域を設定する。
画像配置部36は、第2仮想回転軸Mを中心にして回転するサムネイル画像Tの回転角θを決定する。決定した回転角θに基づいて、GUI基盤部30でサムネイル画像Tを作成する。
画像配置部36は、複数のサムネイル画像Tで構成されたサムネイル画像束SGすなわち画像群を、隣り合うサムネイル画像Tと一部が重なって表示される状態で、サムネイル画像T同士が等間隔でかつ密となって並ぶ静的部分Lすなわち密領域と、隣り合うサムネイル画像T同士の間隔が、静的部分Lにおけるサムネイル画像T同士の間隔よりも広く配置されている動的部分Vすなわち密領域と比較して疎となっている疎領域と、に分け、静的部分Lすなわち密領域と、動的部分Vすなわち疎領域との共通の標準ページピッチを計算する。
画像配置部36は、見開きのページの幅と、画像幅全体から各ページの標準ページピッチと見開きページの幅が占める分を除いた動的部分Vのページで分け合う幅と、を計算する。
画像配置部36は、上述した計算を行い、サムネイル画像束SGを構成する複数のサムネイル画像Tの配置位置を決定する。
3D画像処理部38は、画像配置部36により決定された、サムネイル画像束SGを構成する複数のサムネイル画像Tの配置位置に基づいて、各サムネイル画像Tを画像表示部2に表示する。すなわち、サムネイル画像束SGを表示する。
3D画像処理部38は、例えば、FrameBuffer、GPUで構成される。
タッチ処理部40は、ユーザーのタッチパネル7Gへのタッチを検出する。タッチ処理部40は、タッチパネル7Gからのタッチ信号を取得し、タッチ信号に基づくユーザーによる指示により、画像配置部36により決定されたサムネイル画像束SGを、必要に応じて変形されたものとし、その後、このサムネイル画像束SGを、3D画像処理部38に伝達する。
ファイル指示部42は、タッチ処理部40から供給されるデータに基づいて、画像データ処理部32に文献データのページの元画像Pの読み込みを指示する。ファイル指示部42は、例えば、モバイル機器向けのオペレーションシステムのアンドロイド(登録商標)の機能である。
画像データ処理部32は、例えば、PDFライブラリーである。
画像データ処理部32は、画像サイズ取得部44と、画像取得部46と、ページ数取得部48と、を備える。
画像サイズ取得部44は、文献記憶部6から文献データのページの元画像Pの横方向の長さを取得する。また、画像サイズ取得部44は、文献記憶部6から文献データのページの元画像Pの縦方向の長さを取得する。
画像取得部46は、文献記憶部6から文献データのページの元画像P、および、その属性の他、元画像Pに関する情報等を取得する。
この元画像Pに関する情報には、サムネイル画像束SGを構成する複数のサムネイル画像Tの情報を含み、さらに、サムネイル画像束SGすなわち画像群とする際に、各サムネイル画像Tの配置位置に関する情報についても含まれている。すなわち、画像取得部46は、元画像Pとともに、複数のサムネイル画像Tを有し予め各サムネイル画像Tの配置位置が決定されているサムネイル画像束SGを取得する。
ページ数取得部48は、文献記憶部6から文献データのページ数を取得する。
アプリケーション部28は、例えば、写真や文書などの印刷ソフト、年賀状印刷ソフト、写真や文書などをプロジェクターで投影する投影ソフトなどのアプリケーションソフトである。
<ビューアーの動作>
次に、図2A〜図2Hおよび図5〜図15を参照し、上述した、ビューアーの動作を説明する。
具体的には、動的部分Vと静的部分Lとを有するサムネイル画像束SGにおいて、動的部分Vにあるサムネイル画像Tから選択された1つの選択画像を、静的部分Lにおける所定の移動先へ配置させるビューアーの動作を説明する。
図2B〜図2Hは、図2Aにおけるサムネイル画像束のB部を部分的に拡大し、選択されたサムネイル画像を移動先に移動させる際の表示方法を説明するための部分拡大平面図、図5、図6、図7、図11、図13、および図15は、ビューアー10の処理の一例を示すフローチャート、図8は、回転角θを決める処理を説明する図、図9A〜図9Eは、サムネイル画像の生成処理を説明する図、図10A〜図10Cは、サムネイル画像の配置方法を説明する図、図12は、見開きを説明する図、図14は、動的部分に見開きが配置された配置方法を説明する図である。
以降、初めに、図5のフローチャートに沿って、図2A〜図2Hを参照しつつ制御部3の動作を説明する。
制御部3は、生成されたサムネイル画像Tが所定の順序で配置されたサムネイル画像束SGを作成する。
画像配置部36は、サムネイル画像束SGを静的部分Lと動的部分Vに分け、静的部分Lにおけるサムネイル画像Tの配置位置と、動的部分Vにおけるサムネイル画像Tの配置位置と、をそれぞれ計算し、サムネイル画像束SGを構成する複数のサムネイル画像Tの配置位置を決定する。
図5のフローは、所定のイベント、例えば、ビューアー10の電源が投入されたこと、または、ビューアー10において例えば、メニュー画面の表示が指示されたことを契機として開始される。
まず、ステップS101において、ファイル指示部42は、入力部7のボタン7A〜7Fあるいはタッチパネル7Gを使用してユーザーに指定された元画像Pを文献記憶部6から読み出すことを画像取得部46に指示する。そして、制御部3すなわち画像取得部46は、処理対象となるサムネイル画像束SG、この例ではサムネイル画像束SGに含まれる複数のサムネイル画像Tの元画像Pを取得する。
次に、ステップS102において、制御部3すなわち画像取得部46は、複数のサムネイル画像Tの並び順を示すデータを取得する。
このデータは、サムネイル画像Tの並び順を示す番号と、サムネイル画像Tの識別子としてのファイル名とを含んでいる。このデータは、文献記憶部6に記憶されている。ステップS101において、制御部3は、文献記憶部6からこのデータを読み出し、このデータに含まれるファイル名を有する元画像Pを文献記憶部6から取得する。そして、ステップS102において、制御部3は、このデータからサムネイル画像Tのサムネイル画像束SGにおいて決定されている並び位置すなわち配置位置を取得する。すなわち、制御部3は、文献記憶部6に記憶された、サムネイル画像Tの配置位置が予め決定されている、初期のサムネイル画像束SGを取得する。
次に、ステップS103において、制御部3は、初期のサムネイル画像束SGの表示に用いられるパラメーターを取得する。これらのパラメーターは、初期のサムネイル画像束SGの識別子とともに、文献記憶部6に記憶されている。ここで取得されるパラメーターには、画像数や画像の幅寸法が含まれる。画像数は、サムネイル画像束SGに含まれるサムネイル画像Tの数を示すパラメーターである。画像の幅寸法は、サムネイル画像束SGの横方向の長さを示すパラメーターである。
次に、ステップS104において、制御部3は、GUI基盤部30で生成されたサムネイル画像Tを用いて初期のサムネイル画像束SGを作成する。詳細には、制御部3は、GUI基盤部30がステップS101において取得した元画像Pを縮小または拡大し、生成したサムネイル画像Tを用いて初期のサムネイル画像束SGを作成する。
以下、図6のフローチャートに沿って、制御部3を用いて、サムネイル画像Tを生成し、サムネイル画像Tを配置して初期のサムネイル画像束SGを作成する動作を説明する。なお、以下では、文献記憶部6に記憶された、「初期のサムネイル画像束SG」を、単に「サムネイル画像束SG」と言うこともある。
まず、ステップS201において、画像配置部36は、サムネイル画像束SGで、四角形状をなす各サムネイル画像Tの4辺のうちの対向する一対の辺が傾斜して表示される傾斜角度を決める。具体的には、ステップS201において、画像配置部36は、後述する図9Aに示す、長方形状をなす各ページの第2仮想回転軸Mを中心にして回転する回転角θを決める。すなわち、長方形状をなす各サムネイル画像Tにおいて、Y軸方向に対向する上辺と下辺とがX軸に対し傾斜して表示される傾斜角度すなわち回転角θを決定する。なお、この動作を図7のフローチャートに沿って、説明する。
まず、ステップS301において、画像配置部36は、元画像PのNページ目の読み込みを開始する。Nは1以上の整数である。
次に、ステップS302において、画像配置部36は、Nページ目が動的部分Vでない場合は、「No」としてステップS306に進み、Nページ目の回転角θを最大回転角θmaxと設定し、ステップS304に進む。また、Nページ目が動的部分Vである場合は、「Yes」としてステップS303に進み、Nページ目の回転角θを「最大回転角−最大削減回転角*該当する正規分布の値/正規分布の中央値」と設定する。なお、動的部分Vに配置されるページの回転角θは、図8に示すように、削減回転角の正規分布に従って計算され、動的部分Vの横方向の中心となる所定の位置Kに近いほどページの回転角θが小さくなる。つまり、所定の位置Kに1番目に近いページの回転角θ1<2番目に近いページの回転角θ2<3番目に近いページの回転角θ3となる。
次に、ステップS304において、画像配置部36は、見開きより右側なら角度の正負を逆転する。つまり、所定の位置Kより右側のページは、回転角θを−θ1、−θ2、−θ3、−θmaxと設定する。
次に、ステップS305において、画像配置部36は、(N−1)ページ目の読み込みまで、ステップS301に戻り、ステップS301からステップS305の動作を繰り返し、Nページ目の読み込みを完了し、各ページの回転角θの設定を終了する。
図6に戻り、ステップS202において、制御部3は、各ページのサムネイル画像Tを作成する。具体的には、GUI基盤部30において、第1仮想回転軸Q上に配置される複数のサムネイル画像Tのそれぞれを、第1仮想回転軸Qと交差するそれぞれの第2仮想回転軸Mを中心にして回転し、さらに第1仮想回転軸Qを中心に回転してサムネイル画像Tを作成する。
すなわち、GUI基盤部30は、図9Aに示すように、ページTaを仮想空間内の仮想水平面Nに設定された第1仮想回転軸Q上に立てて配置し、第1仮想回転軸Qと交差するそれぞれの第2仮想回転軸Mを中心にして、ページTaの横方向が表示領域の横方向に平行な基準位置Rから回転角θで回転させる。さらに、GUI基盤部30は、仮想空間内においてそれぞれの第2仮想回転軸Mを中心にして回転されたページTaを、第1仮想回転軸Qを中心にして図示しない俯角φで回転させた画像を作成する。即ち、GUI基盤部30は、仮想空間内において、第2仮想回転軸Mを中心にして回転されたページTaの上辺より上の視点から、ページTaを図示しない俯角φで斜めに見下ろしている画像を作成する。換言すれば、各サムネイル画像は、仮想空間内においてページTaの上辺より上の視点からページTaを図示しない俯角φで斜視し、俯瞰している画像として生成される。なお、ページを回転させていない場合、ページの横方向が表示領域の横方向に平行な状態であり、回転角θは0°である。また、俯角φは予め定められた角度となっている。また、第2仮想回転軸Mは、ページの縦方向である第2方向の辺に沿って平行である構成に限定されるものではなく、ページの横方向の辺と交差する構成であってもよい。
具体的には、まず、GUI基盤部30は、各ページを正面から見た図9Bに示す画像Tbに対して、図9Cに示すように、横幅を変化させないようにしつつ、縦方向の変形を加え、図9Bの画像Tbの右辺を左辺に対してS・sinθ・tanφだけずらした画像Tcを作成する。次に、GUI基盤部30は、図9Dに示すように、図9Cの画像Tcを、cosθの倍率で横方向に縮小した画像Tdを作成する。この結果、画像Tdの横幅は、S・cosθとなる。そして、GUI基盤部30は、最後に図9Eに示すように、図9Dの画像Tdをcosφの倍率で縦方向に縮小した画像Teを作成する。この結果、画像Teの縦方向の寸法は、L・cosφとなる。これにより、ページを、第2仮想回転軸Mを中心にして回転角θで回転させ、さらに、第1仮想回転軸Qを中心に回転させたサムネイル画像Tが生成される。換言すれば、ページを、第2仮想回転軸Mを中心にして回転角θで回転させ、且つ、ページの上辺より上の視点からページを俯角φで見下ろした時のサムネイル画像Tが生成される。
再び図6に戻り、ステップS203において、画像配置部36は、動的部分Vと静的部分Lとの共通の標準ページピッチLaを計算する。
標準ページピッチLaは、「全体占有幅*標準ページピッチ占有幅比率/(ページ数−1)」で計算される。ここで、ページピッチが図10Aで示す正規分布の場合、図10Bに示すように、静的部分Lのページピッチは、標準ページピッチLaとなり、動的部分Vのページピッチは、標準ページピッチLaの間にページピッチL1,L2,L3が入ったピッチとなる。なお、全体占有幅とは、静的部分Lのページピッチの合計と動的部分Vのページピッチの合計とを加算し、さらに「標準ページ幅*cos(最大回転角θmax)」の1/2に相当する両端の2つのページピッチLbを加算した長さWmaxである。また、標準ページピッチ占有幅比率とは、図10Cに示すように、動的部分VのページピッチL1,L2,L3を除いた標準ページピッチ占有幅の長さWaの全体占有幅の長さWmaxに対する比率である。
次に、ステップS204において、画像配置部36は、見開きの幅を計算する。なお、見開きとは、図8に示す動的部分Vの所定の位置Kを挟む2枚のサムネイル画像Tのことである。
以下、図11のフローチャートに沿って、画像配置部36の見開きの幅を計算する動作を説明する。
まず、ステップS401において、画像配置部36は、見開きの実表示幅を、予め決められた見開きギャップGAとする。なお、見開きギャップGAとは、図12に示すように、見開き左のページと見開き右のページとの間隔である。なお、見開き右とは、見開きの右側、見開き左とは、見開きの左側のことである。
次に、ステップS402において、見開きが動的部分Vである場合、「Yes」としてステップS403に進み、ステップS403において、見開きの状態が、「見開き左≧ページ総数−1または全ページ右向き」や「見開き右≦0ページまたは全ページ左向き」でない「他」の場合には、ステップS404に進み、画像配置部36は、見開き左の実表示幅WLを、「見開き左のページ幅*cos(回転角θ)」とする。なお、全ページ右向きとは、全ページが図12における「見開き左」の場合であり、全ページ左向きとは、全ページが図12における「見開き右」の場合である。
次に、ステップS405において、画像配置部36は、見開き右の実表示幅WRを、「見開き右のページ幅*cos(回転角θ)」とする。
次に、ステップS406において、画像配置部36は、見開きの実表示幅に、「(見開き左の実表示幅WL/2)+(見開き右の実表示幅WR/2)」を加算し、見開きの実表示幅の計算を終了する。
次に、ステップS403に戻り、見開きの状態が、「見開き右≦0ページまたは全ページ左向き」の場合には、ステップS407に進み、見開き右の実表示幅WRを、「見開き右のページ幅*cos(回転角θ)」とする。
次に、ステップS408において、画像配置部36は、見開きの実表示幅に、「見開き右の実表示幅WR/2」を加算し、見開きの実表示幅の計算を終了する。
再び、ステップS403に戻り、見開きの状態が、「見開き左≧ページ総数−1または全ページ右向き」の場合には、ステップS409に進み、見開き左の実表示幅WLを、「見開き左のページ幅*cos(回転角θ)」とする。
次に、ステップS410において、画像配置部36は、見開きの実表示幅に、「見開き左の実表示幅WL/2」を加算し、見開きの実表示幅の計算を終了する。
次に、ステップS402に戻り、見開きが動的部分Vでない場合、「No」としてステップS411に進み、ステップS411において、「見開き右≦0ページまたは見開き左≧ページ総数−1」である場合には、「Yes」としてステップS412に進む。
ステップS412において、画像配置部36は、見開きの実表示幅に、「標準ページ幅*cos(最大回転角θmax)/2」を加算し、見開きの実表示幅の計算を終了する。
次に、ステップS411に戻り、「見開き右≦0ページまたは見開き左≧ページ総数−1」でない場合には、「No」としてステップS413に進み、ステップS413において、画像配置部36は、見開きの実表示幅に、「標準ページ幅*cos(最大回転角θmax)」を加算し、見開きの実表示幅の計算を終了する。
再び、図6に戻り、ステップS205において、画像配置部36は、動的部分Vのページで分け合う幅を計算する。
動的部分Vのページで分け合う幅は、「全体占有幅*(1−標準ページピッチ占有幅比率)−見開きの実表示幅」で計算される。なお、全体占有幅は、上述した静的部分Lのページピッチの合計と動的部分Vのページピッチの合計とを加算し、さらに静的部分Lのページピッチ1個を加算した長さWmaxである。また、標準ページピッチ占有幅比率とは、標準ページピッチ占有幅の長さWaの全体占有幅の長さWmaxに対する比率である。
次に、ステップS206において、画像配置部36は、動的部分Vの累積正規分布を計算する。
以下、図13のフローチャートに沿って、画像配置部36の動的部分Vの累積正規分布を計算する動作を説明する。
まず、ステップS501において、画像配置部36は、累積正規分布を「0」とする。
次に、ステップS502において、画像配置部36は、動的部分VのMページ目の読み込みを開始する。Mは1以上の整数である。
次に、ステップS503において、画像配置部36は、見開きより右側なら回転角θの角度の正負を逆転する。
次に、ステップS504において、Mページ目が見開きの左右どちらかである場合には、「Yes」としてステップS505に進み、ステップS505において、画像配置部36は、累積正規分布に、「Mページ目の正規分布/2」を加算する。
次に、ステップS506において、画像配置部36は、Mページ目の読み込みを完了し、累積正規分布の計算を終了する。
ステップS504に戻り、Mページ目が見開きの左右どちらかでない場合には、「No」としてステップS507に進み、ステップS507において、画像配置部36は、累積正規分布に、「Mページ目の正規分布」を加算する。
次に、ステップS506において、画像配置部36は、ステップS502に戻り、ステップS502からステップS506の動作をページ数分繰り返し、Mページ目の読み込みを完了し、累積正規分布の計算を終了する。
以上の累積正規分布の計算を行うことで、図14に示すように、動的部分Vに見開きがある配置を計算することができる。
再び、図6に戻り、ステップS207において、画像配置部36は、各ページのサムネイル画像Tを配置することで、初期のサムネイル画像束SGを作成する。
以下、図15のフローチャートに沿って、画像配置部36の各ページを配置する動作を説明する。
まず、ステップS601において、画像配置部36は、0ページ目のX座標を「標準ページ幅La*cos(最大回転角θmax)/2」とする。なお、X座標とは、最初のページの横方向に対向する両端部の左側の端部を0とし、左側の端部からの横方向となるX軸方向の長さである。
次に、ステップS602において、画像配置部36は、元画像PのNページ目の読み込みを開始する。Nは1以上の整数である。
次に、ステップS603において、Nページ目が見開きの右である場合には、「Yes」としてステップS604に進み、ステップS604において、Nページ目が動的部分Vである場合には、「Yes」としてステップS605に進む。
次に、ステップS605において、画像配置部36は、X座標に「動的部分で分け合う幅*Nページ目の正規分布/累積正規分布/2」を加算する。
次に、ステップS606において、画像配置部36は、Nページ目のX座標をX座標とする。
次に、ステップS607において、Nページ目が見開き右である場合には、「Yes」としてステップS608に進む。Nページ目が見開き右でない場合には、「No」としてステップS614に進み、ステップS614において、画像配置部36は、X座標に「動的部分で分け合う幅*Nページ目の正規分布/2」を加算し、ステップS608に進む。
次に、ステップS604に戻り、Nページ目が動的部分Vでない場合には、「No」としてステップS613において、Nページ目のX座標をX座標とし、ステップS608に進む。
次に、ステップS603に戻り、Nページ目が見開き右でない場合には、「No」としてステップS611に進み、ステップS611において、X座標に見開きの実表示幅を加算する。
次に、ステップS612において、Nページ目のX座標をX座標とし、ステップS608に進む。
次に、ステップS608において、X座標に標準ページピッチLaを加算し、ステップS609において、画像配置部36は、ステップS602に戻り、ステップS602からステップS609の動作をページ数分繰り返し、Nページ目の読み込みを完了し、各ページのX座標の計算を終了する。
その後、画像配置部36で計算した各ページのX座標に基づいて、GUI基盤部30で生成した、各ページに対応した各サムネイル画像Tを第1仮想回転軸Q上に配置することでサムネイル画像束SGの生成が終了される。
図5に戻り、ステップS105において、制御部3は、ステップS104で生成したサムネイル画像Tで構成されたサムネイル画像束SGを、画像表示部2に表示する。
以上のようなS101〜S105のフローにより、図2A、図2Bに示すように、画像表示部2の横方向に沿って、左側から右側へページ番号が大きくなる順序で配置された複数のサムネイル画像Tで構成された、初期のサムネイル画像束SGが画像表示部2に表示される。すなわち、S101〜S105のフローにより、複数のサムネイル画像Tを備え、複数のサムネイル画像Tの配置が、サムネイル画像Tの一部が重なることで密となっている静的部分Lと、この静的部分Lと比較して疎となっている動的部分Vとを有するサムネイル画像束SGを表示する表示工程が構成される。
なお、各ステップで算出された各種計算値は、ページごとにRAM5に記憶され、計算に必要な際に、その都度、RAM5から読み出され各種計算に用いられる。
上述のようなフローによれば、サムネイル画像束SGにおいて、静的部分Lに配置されたサムネイル画像Tは、隣り合うサムネイル画像Tと一部が重なって表示されるので、サムネイル画像Tの記載内容の一部を確認することができる。また、動的部分Vに配置されたサムネイル画像Tは、所定の位置Kに近いサムネイル画像Tであるほど、第2仮想回転軸Mを中心とする回転角θが小さくなるように表示されているので、所定の位置Kに近いサムネイル画像Tほど、画像幅が広くなり、サムネイル画像Tの記載内容をより確認し易くなる。従って、全てのサムネイル画像Tの記載内容を一括して確認することができる。
また、所定の位置Kが、複数のサムネイル画像Tが並ぶ横方向において、動的部分Vの中心であるので、所定の位置Kの両側に画像幅の広いサムネイル画像Tが配置され、動的部分Vに配置されたサムネイル画像Tの記載内容をより確認し易くなる。
再び、図5に戻り、ステップS106において、制御部3は、GUI基盤部30で生成された、図2Cのように、サムネイル画像T2が選択された状態を示すように変形された複数のサムネイル画像T1〜T11を用いて、それまでのサムネイル画像束SGに対し、サムネイル画像T2が選択されたサムネイル画像束SG2を作成する。なお、サムネイル画像T2の選択時、移動時およびその後の状態のサムネイル画像束SG2を、以下、単に「サムネイル画像束SG2」と言う。
具体的には、本実施形態では、図2Cに示すように、入力部7は、タッチパネル7Gにおいて、ユーザーの指によるドラッグにより、動的部分Vに位置する複数のサムネイル画像Tのうち、サムネイル画像T2が選択画像として、上方である+Y方向に移動された操作信号、すなわち、サムネイル画像T2が上方に移動された状態を示すように変形されたサムネイル画像束SG2を示すパラメーターを、タッチ処理部40に送信する。その後、タッチ処理部40は、操作信号を、このものを介して有効矩形処理部34に伝達した後に、有効矩形処理部34は、サムネイル画像T2が上方に移動された状態すなわちサムネイル画像T2が選択された状態のサムネイル画像表示領域を設定する。
そして、GUI基盤部30は、サムネイル画像T2が上方に移動された状態のサムネイル画像表示領域を用いること以外は、前述したステップS201〜S207の処理を同様に行うことで、サムネイル画像T2が上方に移動された状態を示すサムネイル画像束SG2を作成する。
次いで、ステップS107において、制御部3は、ステップS106で生成した、サムネイル画像T2が上方に移動された状態すなわちサムネイル画像T2が選択画像として選択された状態を示すサムネイル画像束SG2を、画像表示部2に表示する。
サムネイル画像T2が上方に移動された状態を示すサムネイル画像束SG2において、図2Cに示すように、サムネイル画像T2が他のサムネイル画像T1、T3〜T11と比較して、上方に移動されることで、選択画像としてのサムネイル画像T2の表示形態が変更される。その結果、画像表示部2に表示されたサムネイル画像束SG2において、サムネイル画像T2が選択画像として選択されていることを、ユーザーは、容易に視認することができる。
また、サムネイル画像T2を、他のサムネイル画像T1、T3〜T11と比較して、上方に移動させる高さは、特に限定されないが、例えば、サムネイル画像T2の長辺すなわち+Y方向の長さに対して、1/4以上3/4以下程度の高さであることが好ましい。これにより、サムネイル画像T2が選択されていることを、ユーザーは、確実に認識することができる。
さらに、本実施形態では、図2Cに示すように、選択されていないサムネイル画像T1、T3〜T11をグレーアウトして表示している。このように、選択されていない非選択画像としてのサムネイル画像T1、T3〜T11の表示形態を変更させることによっても、サムネイル画像T2が選択画像として選択されていることを強調表示することができる。
なお、図2Cでは、選択画像としてのサムネイル画像T2と、非選択画像としてのサムネイル画像T1、T3〜T11との双方の表示形態を変更することで、サムネイル画像T2が選択されていることを強調表示しているが、これらのうちの一方の表示形態の変更が省略されていてもよいし、双方の表示形態の変更が省略されていてもよい。ただし、本実施形態のように、双方の表示形態を変更する構成とすることで、ユーザーは、サムネイル画像T2が選択されていることを確実に認識することができるようになる。
また、選択画像としてのサムネイル画像T2を色変更してサムネイル画像T2の表示形態を変更させるようにすることもできる。さらに、サムネイル画像T2の表示形態の変更は、上述した手法の他に、サムネイル画像T2の形状を変更させること、サムネイル画像T2の大きさを変更させること、サムネイル画像T2を上下移動させること等によっても行うことができる。また、図2Cでは、ユーザーの指によるドラッグにより、サムネイル画像T2を+Y方向に移動された操作信号を受けて、サムネイル画像T2が選択画像として選択されることとしたが、これに限らず、ユーザーの指によりサムネイル画像T2が長押しされている操作信号を受けて、サムネイル画像T2が選択画像として選択されるようにすることもできる。
制御部3は、以上のようなS106、S107のフローにより、図2Cに示すように、画像表示部2において、複数のサムネイル画像T1〜T11のうち、動的部分Vに位置するサムネイル画像T2が選択画像として選択された、選択時のサムネイル画像束SG2を、画像表示部2に表示する。すなわち、S106、S107のフローにより、動的部分Vに位置するサムネイル画像T2を選択画像として選択する選択工程が構成される。
再び、図5に戻り、ステップS108において、制御部3は、GUI基盤部30で生成された、図2Eのように、サムネイル画像T2が移動された状態を示すように変形された複数のサムネイル画像T1〜T11を用いて、選択画像としてのサムネイル画像T2が移動されたサムネイル画像束SG2を作成する。
具体的には、まず、図2Dに示すように、ユーザーは、指によるドラッグにより、動的部分V中の選択画像としてのサムネイル画像T2を、+X方向に位置する静的部分L側に移動させる動作を行う。そして、入力部7は、ユーザーの指によるドラッグを受けて、タッチパネル7Gにおいて、動的部分Vに位置するサムネイル画像T2を、右側である+X方向に移動させる操作信号、すなわち、サムネイル画像T2が右側に移動された状態を示すように変形されたサムネイル画像束SG2を示すパラメーターを、タッチ処理部40に送信する。その後、タッチ処理部40は、操作信号を、このものを介して有効矩形処理部34に伝達した後に、有効矩形処理部34は、サムネイル画像T2が右側に移動された状態のサムネイル画像表示領域を設定する。
そして、GUI基盤部30は、サムネイル画像T2が右側に移動された状態のサムネイル画像表示領域を用いること以外は、前述したステップS201〜S207の処理を同様に行うことで、図2Eに示すように、サムネイル画像T2が右側に移動された状態を示すサムネイル画像束SG2を作成する。
次いで、ステップS109において、制御部3は、ステップS108で生成した、サムネイル画像T2すなわち選択画像が右側に移動された状態を示すサムネイル画像束SG2を、画像表示部2に表示する。
サムネイル画像T2が右側に移動された状態を示すサムネイル画像束SG2では、図2Eに示すように、サムネイル画像T2が、これよりも右側すなわち+X方向に位置するサムネイル画像T3〜T11に向かって移動され、これにより、サムネイル画像T3〜T11は圧縮された状態、すなわち、サムネイル画像T2〜T11は、サムネイル画像T2が右側に移動する前よりも、狭いエリアに表示される。
サムネイル画像T2の移動先は、密領域である静的部分Lであるが、この移動先の前後では、サムネイル画像Tの配置密度が緩和され、その配置密度がより疎となる。以下、配置密度が緩和されるサムネイル画像Tの動作について説明する。
再び、図5に戻り、ステップS110において、制御部3は、GUI基盤部30で生成された、図2F、図2Gのように、サムネイル画像T2を移動させる移動先の間隔が広げられた状態を示すように変形された複数のサムネイル画像T1〜T11を用いて、サムネイル画像T2の移動に応じて、サムネイル画像T2を移動させる移動先の間隔が広げられたサムネイル画像束SG2を作成する。
具体的には、まず、図2Fに示すように、入力部7は、ユーザーの指による右側すなわち+X方向へのドラッグの動作を継続することを受けて、タッチパネル7Gにおいて、サムネイル画像T2より、右側に位置するサムネイル画像Tの一部を、左側すなわち−X方向に移動させるとともに、左側に移動されたサムネイル画像Tのうち、最も右側に位置する画像と、当該画像と隣り合う画像との配置密度が、静的部分Lにおける密度と比較して、疎となるように表示された状態、すなわちサムネイル画像T2を移動させる移動先の間隔が広げられた状態を示すように変形されたサムネイル画像束SG2を示すパラメーターを、タッチ処理部40に送信する。その後、タッチ処理部40は、操作信号を、このものを介して有効矩形処理部34に伝達した後に、有効矩形処理部34は、サムネイル画像T2を移動させる移動先の間隔が広げられた状態のサムネイル画像表示領域を設定する。
そして、GUI基盤部30は、サムネイル画像T2を移動させる移動先の間隔が広げられた状態のサムネイル画像表示領域を用いること以外は、前述したステップS201〜S207の処理を同様に行うことで、図2Fに示すように、サムネイル画像T2を移動させる移動先の間隔が広げられた状態を示すサムネイル画像束SG2を作成する。
次いで、ステップS111において、制御部3は、ステップS110で生成した、サムネイル画像T2すなわち選択画像が右側に移動された状態を示す図2Fのサムネイル画像束SG2を、画像表示部2に表示する。
次いで、図2Gに示すように、入力部7は、さらなる、ユーザーの指による右側へのドラッグの動作を継続することを受けて、タッチパネル7Gにおいて、サムネイル画像T2より、右側に位置するサムネイル画像Tのさらなる一部を、左側に移動させるとともに、左側に移動されたサムネイル画像Tのうち、最も右側に位置する画像と、当該画像と隣り合う画像との配置密度が、静的部分Lおける密度と比較して、疎となるように表示された状態、すなわちサムネイル画像T2を移動させる移動先の間隔が広げられた状態を示すように変形されたサムネイル画像束SG2を示すパラメーターを、タッチ処理部40に送信する。その後、タッチ処理部40は、操作信号を、このものを介して有効矩形処理部34に伝達した後に、有効矩形処理部34は、サムネイル画像T2を移動させる移動先の間隔が広げられた状態のサムネイル画像表示領域を設定する。
そして、GUI基盤部30は、サムネイル画像T2を移動させる移動先の間隔が広げられた状態のサムネイル画像表示領域を用いること以外は、前述したステップS201〜S207の処理を同様に行うことで、図2Gに示すように、サムネイル画像T2を移動させる移動先の間隔が広げられた状態を示すサムネイル画像束SG2を作成する。
次いで、ステップS111において、制御部3は、ステップS110で生成した、サムネイル画像T2すなわち選択画像が右側に移動された状態を示す図2Gのサムネイル画像束SG2を、画像表示部2に表示する。
以上のような、ステップS110およびステップS111では、サムネイル画像T2を移動させる移動先が正確に画像表示部2に表示されるまで、これらステップS110およびステップS111で説明した動作を繰り返して実施する。
この動作を図2F、図2Gを用いてより具体的に説明すると、サムネイル画像T2を移動させる移動先の間隔が広げられた状態を示すサムネイル画像束SG2では、まず、図2Fでは、サムネイル画像T2より右側に位置していたサムネイル画像T3〜T11のうち、その一部であるサムネイル画像T3〜T7が、サムネイル画像T2より左側に移動されるとともに、サムネイル画像T3〜T7のうち最も右側に位置するサムネイル画像T7と、サムネイル画像T7と隣り合う画像T6との配置密度が、サムネイル画像T8〜T11の密度と比較して、疎となるように表示される。また、図2Gでは、図2Fに続けて、サムネイル画像T2より右側に位置していたサムネイル画像T8、T9が、サムネイル画像T2より左側に移動されるとともに、サムネイル画像T8、T9のうち最も右側に位置するサムネイル画像T9と、サムネイル画像T9と隣り合う画像T8との配置密度が、サムネイル画像T10及びT11の密度と比較して、疎となるように表示される。ステップS110では、ユーザーの指による右側への移動の動作が継続される限りにおいて、上述のような、サムネイル画像T2を移動させる移動先の間隔が広げられたことを示す、画像表示部2における表示が繰り返して実施される。このとき、ユーザーは、配置密度が緩和されて表示されたサムネイル画像T、すなわち、図2Fではサムネイル画像T7および図2Gではサムネイル画像T9が、画像同士が重なる領域が小さくなるため、そのサムネイル画像Tに記載された画像の情報を認識することが可能となる。したがって、ユーザーは、サムネイル画像T2を移動させるべき移動先を正しく認識することができる。
また、ステップS110およびステップS111では、第2仮想回転軸Mを中心にして回転するサムネイル画像Tの回転角θ、すなわち、サムネイル画像Tの上辺および下辺が傾斜する傾斜角度は、サムネイル画像T2では、図2Fの回転角θa2に示す通り、図2Cの回転角θa1に比較して大きく設定され、図2Cにおいて、静的部分Lに位置するサムネイル画像T4の回転角θbに近似された大きさに設定されている。これにより、動的部分Vから移動されて静的部分Lで表示されたサムネイル画像T2を、静的部分Lに元々位置しているサムネイル画像T2、すなわち図2Fではサムネイル画像T8〜T11に対して、違和感を生じさせることなく、サムネイル画像T2を表示することができる。
制御部3は、以上のようなS108〜S111のフローにより、図2Gに示すように、画像表示部2において、複数のサムネイル画像T1〜T11のうち、静的部分Lに位置する、移動先としてのサムネイル画像T9とサムネイル画像T10との間にサムネイル画像T2が移動され、さらに、サムネイル画像T9が見開きとして表示されることでサムネイル画像T9の画像の情報を認識することができる状態とされたサムネイル画像束SG2を画像表示部2に表示する。すなわち、S108〜S111のフローにより、選択画像としてのサムネイル画像T2を、静的部分Lにおける所定の移動先に移動させる移動工程と、サムネイル画像T2を移動させた移動先の密な状態を、移動先で隣接する画像同士の間隔を広げることで、移動先を疎な状態とする広間隔工程とが構成される。
再び、図5に戻り、ステップS112において、制御部3は、GUI基盤部30で生成された、図2Hのように、サムネイル画像T2が移動先に配置された状態を示すように変形された複数のサムネイル画像T1〜T11を用いて、サムネイル画像T2が移動先に配置されたサムネイル画像束SG2を作成する。
具体的には、まず、ユーザーは、図2Gに示す、見開きとして表示されたサムネイル画像T9における画像の情報を認識することで、サムネイル画像T9とサムネイル画像T10との間を、サムネイル画像T2を移動させるべき移動先であると判断して、この間にサムネイル画像T2をドロップする指の動作を行う。そして、入力部7は、ユーザーの指によるドロップする動作を受けて、タッチパネル7Gにおいて、サムネイル画像T2が移動先に配置された操作信号、すなわちサムネイル画像T2がサムネイル画像T9とサムネイル画像T10との間に配置された状態を示すように変形されたサムネイル画像束SG2を示すパラメーターを、タッチ処理部40に送信する。その後、タッチ処理部40は、操作信号を、このものを介して有効矩形処理部34に伝達した後に、有効矩形処理部34は、サムネイル画像T2が移動先に配置された状態のサムネイル画像表示領域を設定する。
そして、GUI基盤部30は、サムネイル画像T2が移動先に配置された状態のサムネイル画像表示領域を用いること以外は、前述したステップS201〜S207の処理を同様に行うことで、図2Hに示すように、サムネイル画像T2が移動先に配置された状態、すなわちサムネイル画像T2がサムネイル画像T9とサムネイル画像T10との間に配置された状態を示すサムネイル画像束SG2を作成する。
次いで、ステップS113において、制御部3は、ステップS112で生成した、サムネイル画像T2すなわちサムネイル画像T2が移動先に配置された状態を示すサムネイル画像束SG2を、画像表示部2に表示する。
ユーザーがサムネイル画像T2をドロップするとき、図2Gに示す通り、ユーザーは、サムネイル画像T9における画像の情報を視認することができるため、サムネイル画像T2を移動させるべき移動先としてのサムネイル画像T9とサムネイル画像T10との間を正しく認識することができることから、サムネイル画像T9とサムネイル画像T10との間にサムネイル画像T2を正確に移動させることができる。
また、本実施形態では、サムネイル画像T2が移動先に配置された状態を示すサムネイル画像束SG2では、図2Gに示すように、サムネイル画像T2が他のサムネイル画像T1、T3〜T11と比較して、上方で表示することが省略され、各サムネイル画像T1〜T11がY軸方向において同列に配置され、さらに、サムネイル画像T2以外のサムネイル画像T1、T3〜T11をグレーアウトとする表示を終了する。すなわち、サムネイル画像T2が選択画像として選択されていることの強調表示を終了する。
制御部3は、以上のようなS112、S113のフローにより、図2Hに示すように、複数のサムネイル画像T1〜T11のうちから選択画像として選択されたサムネイル画像T2が、移動先であるサムネイル画像T9とサムネイル画像T10との間に配置された状態としたサムネイル画像束SG2を画像表示部2に表示する。すなわち、S112、S113のフローにより、疎な状態とされたサムネイル画像T9とサムネイル画像T10との間である移動先に、選択画像としてのサムネイル画像T2を配置させる配置工程が構成される。
以上のようなステップS101〜S113を経ることで、選択画像としてのサムネイル画像T2を、静的部分Lにおける移動先であるサムネイル画像T9とサムネイル画像T10との間へ配置させることができる。
なお、ステップS101〜S113におけるサムネイル画像T2の選択、移動および配置は、タッチパネル7Gにおける、ユーザーの指によるサムネイル画像T2のドラッグ&ドロップで実施する場合に限らず、ボタン7A〜7Fを用いて実施するようにしてもよい。さらに、ビューアー10を、操作部として、マウス、キーボード等を備える構成とした場合には、これらを用いて実施するようにしてもよい。
さらに、ステップS101〜S113を経ることによる、サムネイル画像束SGにおけるサムネイル画像T2の移動の際に、本実施形態では、図2A等に示すように、各サムネイル画像Tは、サムネイル画像束SGにおいて、X軸方向に並んで配置される場合について説明したが、この場合に限定されず、X軸方向とY軸方向とを入れ替えて、各サムネイル画像Tは、サムネイル画像束SGにおいて、Y軸方向に並んで配置されていてもよい。
また、本発明の表示方法が適用される表示装置、すなわち本発明の表示装置は、図1のビューアーの他にも、例えば、パーソナルコンピューター、携帯電話機、ディジタルスチルカメラ、テレビ、ビデオカメラ、ビデオテープレコーダ、カーナビゲーション装置、電子辞書、電卓、電子ゲーム機器、ワードプロセッサ、ワークステーション、テレビ電話、防犯用テレビモニタ、電子双眼鏡、POS端末、タッチパネルを備えた電子機器、医療機器、魚群探知機、各種測定機器、計器類、フライトシミュレータ、その他各種モニタ類、プロジェクター等の投射型表示装置等の画像表示部を備えるものに適用することができる。
以上、本発明の表示方法および表示装置を、図示の実施形態に基づいて説明したが、本発明はこれらに限定されるものでない。
例えば、本発明の表示方法では、必要に応じて、1以上の任意の目的の工程を追加してもよい。
また、本発明の表示装置において、各構成は、同様の機能を発揮し得る任意のものと置換することができ、あるいは、任意の構成のものを付加することができる。
2…画像表示部、3…制御部、4…VRAM、5…RAM、6…文献記憶部、7…入力部、7A〜7F…ボタン、7G…タッチパネル、10…ビューアー、28…アプリケーション部、30…GUI基盤部、32…画像データ処理部、34…有効矩形処理部、36…画像配置部、38…3D画像処理部、40…タッチ処理部、42…ファイル指示部、44…画像サイズ取得部、46…画像取得部、48…ページ数取得部、BUS…バス、K…位置、L…静的部分、SG,SG2…サムネイル画像束、T,T1〜T11…サムネイル画像、Ta…ページ、Tb,Tc,Td,Te…画像、P…元画像、Q…第1仮想回転軸、M…第2仮想回転軸、N…仮想水平面、R…基準位置、V…動的部分、θ…回転角

Claims (6)

  1. 複数の画像を備え、複数の前記画像の配置が、前記画像の一部が重なることで密となっている密領域と、前記密領域と比較して疎となっている疎領域とを有する画像群を表示する表示工程と、
    前記疎領域に位置する前記画像を選択画像として選択する選択工程と、
    前記選択画像を、前記密領域における所定の移動先に移動させる移動工程と、
    前記移動先の密な状態を、前記移動先で隣接する前記画像同士の間隔を広げることで、前記移動先を疎な状態とする広間隔工程と、
    前記疎な状態とされた前記移動先に、前記選択画像を配置させる配置工程と、を有することを特徴とする表示方法。
  2. 前記広間隔工程において、前記移動先で隣接する前記画像同士の間隔が広がることで、前記画像同士が重なる領域が小さくなり、前記画像に記載された情報を認識することが可能となる請求項1に記載の表示方法。
  3. 前記画像群において、各前記画像は、それぞれ四角形状をなし、4辺のうちの対向する一対の辺が傾斜して表示されている請求項1または2に記載の表示方法。
  4. 前記一対の辺が傾斜する前記選択画像の傾斜角度は、前記移動先における前記傾斜角度の方が、前記疎領域における前記傾斜角度よりも大きく設定される請求項3に記載の表示方法。
  5. 前記選択工程において、前記選択画像を選択するとともに、前記選択画像と、選択がなされなかった非選択画像との少なくとも一方の表示形態を変更させる請求項1ないし4のいずれか1項に記載の表示方法。
  6. 複数の画像を備え、複数の前記画像の配置が、前記画像の一部が重なることで密となっている密領域と、前記密領域と比較して疎となっている疎領域とを有する画像群を表示する画像表示部と、
    前記疎領域にある前記画像から選択された選択画像を、前記密領域における所定の移動先へ配置させるよう前記画像表示部を制御する制御部と、を有し、
    前記制御部は、前記疎領域に位置する前記選択画像を選択し、その後、
    前記選択画像を、前記密領域における前記移動先に移動させ、
    前記移動先の密な状態を、前記移動先で隣接する前記画像同士の間隔を広げることで、前記移動先を疎な状態とした後に、
    前記疎な状態とされた前記移動先に、前記選択画像を配置させるよう構成されていることを特徴とする表示装置。
JP2019135367A 2019-07-23 2019-07-23 表示方法および表示装置 Active JP7331517B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2019135367A JP7331517B2 (ja) 2019-07-23 2019-07-23 表示方法および表示装置
US16/935,450 US11733836B2 (en) 2019-07-23 2020-07-22 Display method including widening gap between images and display apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019135367A JP7331517B2 (ja) 2019-07-23 2019-07-23 表示方法および表示装置

Publications (2)

Publication Number Publication Date
JP2021018722A true JP2021018722A (ja) 2021-02-15
JP7331517B2 JP7331517B2 (ja) 2023-08-23

Family

ID=74187956

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019135367A Active JP7331517B2 (ja) 2019-07-23 2019-07-23 表示方法および表示装置

Country Status (2)

Country Link
US (1) US11733836B2 (ja)
JP (1) JP7331517B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7331517B2 (ja) * 2019-07-23 2023-08-23 セイコーエプソン株式会社 表示方法および表示装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000298679A (ja) * 1999-04-15 2000-10-24 Minolta Co Ltd マップ上に複数のオブジェクトを配置する情報処理装置及びそのオブジェクト配置方法
US20100318928A1 (en) * 2009-06-11 2010-12-16 Apple Inc. User interface for media playback
JP2012164292A (ja) * 2011-02-09 2012-08-30 Seiko Epson Corp 表示制御方法、表示装置および電子機器
JP2012163925A (ja) * 2011-02-09 2012-08-30 Seiko Epson Corp 表示制御方法、表示装置および電子機器
JP2018081683A (ja) * 2016-11-16 2018-05-24 ゼロックス コーポレイションXerox Corporation 画像プレビュー内のページの並べ替え

Family Cites Families (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6262732B1 (en) * 1993-10-25 2001-07-17 Scansoft, Inc. Method and apparatus for managing and navigating within stacks of document pages
US5880733A (en) * 1996-04-30 1999-03-09 Microsoft Corporation Display system and method for displaying windows of an operating system to provide a three-dimensional workspace for a computer system
JP4325075B2 (ja) * 2000-04-21 2009-09-02 ソニー株式会社 データオブジェクト管理装置
WO2003062976A1 (fr) * 2002-01-22 2003-07-31 Fujitsu Limited Dispositif et procede pour la selection d'element de menu
JP4603778B2 (ja) * 2003-06-20 2010-12-22 キヤノン株式会社 画像表示方法及び画像表示装置
US6990637B2 (en) * 2003-10-23 2006-01-24 Microsoft Corporation Graphical user interface for 3-dimensional view of a data collection based on an attribute of the data
US7437005B2 (en) * 2004-02-17 2008-10-14 Microsoft Corporation Rapid visual sorting of digital files and data
US8656299B2 (en) * 2004-07-28 2014-02-18 Panasonic Corporation Electronic display device, electronic display method, electronic display program, and recording medium
US7797641B2 (en) * 2005-05-27 2010-09-14 Nokia Corporation Mobile communications terminal and method therefore
KR100877829B1 (ko) * 2006-03-21 2009-01-12 엘지전자 주식회사 스크롤링 기능을 갖는 단말기 및 그 스크롤링 방법
US8564543B2 (en) * 2006-09-11 2013-10-22 Apple Inc. Media player with imaged based browsing
US8736557B2 (en) * 2006-09-11 2014-05-27 Apple Inc. Electronic device with image based browsers
TW200823739A (en) * 2006-11-22 2008-06-01 Ulead Systems Inc Method for displaying digital items
US7685163B2 (en) * 2007-01-07 2010-03-23 Apple Inc. Automated creation of media asset illustrations
US8201096B2 (en) * 2007-06-09 2012-06-12 Apple Inc. Browsing or searching user interfaces and other aspects
US9058337B2 (en) * 2007-10-22 2015-06-16 Apple Inc. Previewing user interfaces and other aspects
JP5009847B2 (ja) * 2008-03-28 2012-08-22 富士フイルム株式会社 立体画像生成装置および方法並びにプログラム
JP4984174B2 (ja) * 2008-08-29 2012-07-25 ソニー株式会社 情報処理装置および方法、並びにプログラム
JP4720878B2 (ja) * 2008-08-29 2011-07-13 ソニー株式会社 情報処理装置および方法、並びにプログラム
US8429530B2 (en) * 2009-06-11 2013-04-23 Apple Inc. User interface for media playback
US9009622B2 (en) * 2009-06-30 2015-04-14 Verizon Patent And Licensing Inc. Media content instance search methods and systems
JP4716205B1 (ja) * 2009-12-25 2011-07-06 日本ビクター株式会社 オブジェクト画像表示装置、オブジェクト画像表示方法、オブジェクト画像表示プログラム
JP5249297B2 (ja) * 2010-09-28 2013-07-31 シャープ株式会社 画像編集装置
US9053103B2 (en) * 2010-11-23 2015-06-09 Nokia Technologies Oy Method and apparatus for interacting with a plurality of media files
KR102033599B1 (ko) * 2010-12-28 2019-10-17 삼성전자주식회사 페이지간 오브젝트 이동 방법 및 인터페이스 장치
JP5772202B2 (ja) * 2011-05-12 2015-09-02 セイコーエプソン株式会社 表示装置、電子機器および表示制御方法
KR101863925B1 (ko) * 2011-07-01 2018-07-05 엘지전자 주식회사 이동 단말기 및 그 제어방법
KR20130035396A (ko) * 2011-09-30 2013-04-09 삼성전자주식회사 전자 파일 이미지를 위한 인터랙티브한 표시 방법 및 장치
KR101710547B1 (ko) * 2012-01-10 2017-02-27 엘지전자 주식회사 이동 단말기 및 이동 단말기의 제어 방법
US9015582B2 (en) * 2012-05-01 2015-04-21 Kabushiki Kaisha Toshiba User interface for reordering thumbnails
JP2014053669A (ja) 2012-09-05 2014-03-20 Sharp Corp 画像送信装置、画像受信装置、画像送受信システム、画像送受信方法及びプログラム
US9189884B2 (en) * 2012-11-13 2015-11-17 Google Inc. Using video to encode assets for swivel/360-degree spinners
JP6338318B2 (ja) * 2012-11-30 2018-06-06 キヤノン株式会社 操作装置、画像形成装置及びコンピュータプログラム
JP6143446B2 (ja) * 2012-12-05 2017-06-07 キヤノン株式会社 印刷設定装置及びその制御方法、並びにプログラム
US20150277677A1 (en) * 2014-03-26 2015-10-01 Kobo Incorporated Information presentation techniques for digital content
US10198144B2 (en) * 2015-08-28 2019-02-05 Google Llc Multidimensional navigation
JP7255202B2 (ja) * 2019-01-29 2023-04-11 セイコーエプソン株式会社 表示方法及び表示装置
JP7259589B2 (ja) * 2019-06-25 2023-04-18 セイコーエプソン株式会社 表示方法、表示装置、及び印刷装置
JP7331517B2 (ja) * 2019-07-23 2023-08-23 セイコーエプソン株式会社 表示方法および表示装置
JP7334520B2 (ja) * 2019-07-23 2023-08-29 セイコーエプソン株式会社 描画順序決定方法、描画方法および描画装置
KR20210025767A (ko) * 2019-08-27 2021-03-10 현대자동차주식회사 군집 주행 제어 장치, 그를 포함한 시스템 및 그 방법
JP2021036287A (ja) * 2019-08-30 2021-03-04 セイコーエプソン株式会社 表示方法および表示装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000298679A (ja) * 1999-04-15 2000-10-24 Minolta Co Ltd マップ上に複数のオブジェクトを配置する情報処理装置及びそのオブジェクト配置方法
US20100318928A1 (en) * 2009-06-11 2010-12-16 Apple Inc. User interface for media playback
JP2012164292A (ja) * 2011-02-09 2012-08-30 Seiko Epson Corp 表示制御方法、表示装置および電子機器
JP2012163925A (ja) * 2011-02-09 2012-08-30 Seiko Epson Corp 表示制御方法、表示装置および電子機器
JP2018081683A (ja) * 2016-11-16 2018-05-24 ゼロックス コーポレイションXerox Corporation 画像プレビュー内のページの並べ替え

Also Published As

Publication number Publication date
US11733836B2 (en) 2023-08-22
JP7331517B2 (ja) 2023-08-23
US20210026507A1 (en) 2021-01-28

Similar Documents

Publication Publication Date Title
US8907948B2 (en) Occlusion reduction and magnification for multidimensional data presentations
US8711183B2 (en) Graphical user interfaces and occlusion prevention for fisheye lenses with line segment foci
US6289361B1 (en) Document display apparatus for displaying a plurality of multimedia documents
JP7452727B2 (ja) 表示方法及び表示装置
JP2003288144A (ja) 表示制御方法、これを用いたプログラム及び情報処理装置
US6040836A (en) Modelling method, modelling system, and computer memory product of the same
US20210064198A1 (en) Display method and display device
CN111381740B (zh) 显示方法以及显示装置
JP7331517B2 (ja) 表示方法および表示装置
JP7334520B2 (ja) 描画順序決定方法、描画方法および描画装置
JP2020135699A (ja) 表示方法及び表示装置
JP7115219B2 (ja) 表示方法、および表示装置
JP7298133B2 (ja) 表示方法、および表示装置
US20200285375A1 (en) Display Method And Display Apparatus
JP2021015470A (ja) 表示方法及び表示装置
JPH07225859A (ja) オブジェクト表示装置
JP2007272509A (ja) 部品欄作成装置及び部品欄作成方法
JP2006134251A (ja) 立体図形配置入力装置
JPS6334671A (ja) 固定画の作成方法
JPH0690663B2 (ja) 座標入力装置
JPS6385978A (ja) 図形編集装置
JP2008209814A (ja) 表示制御装置、及び、表示制御プログラム
JP2000148339A (ja) 画像表示装置
JP2000172400A (ja) 表示画面制御装置
JPH0935079A (ja) 画像入力装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220613

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230131

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230207

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230406

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230711

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230724

R150 Certificate of patent or registration of utility model

Ref document number: 7331517

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150