JP2022511602A - マルチデプスイメージ表示装置及び方法 - Google Patents

マルチデプスイメージ表示装置及び方法 Download PDF

Info

Publication number
JP2022511602A
JP2022511602A JP2021518524A JP2021518524A JP2022511602A JP 2022511602 A JP2022511602 A JP 2022511602A JP 2021518524 A JP2021518524 A JP 2021518524A JP 2021518524 A JP2021518524 A JP 2021518524A JP 2022511602 A JP2022511602 A JP 2022511602A
Authority
JP
Japan
Prior art keywords
depth image
image
tree
content
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2021518524A
Other languages
English (en)
Other versions
JP7278645B2 (ja
Inventor
ジョンファン パク、
ジョンヒョン イ、
Original Assignee
ピージェー ファクトリー カンパニー リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ピージェー ファクトリー カンパニー リミテッド filed Critical ピージェー ファクトリー カンパニー リミテッド
Publication of JP2022511602A publication Critical patent/JP2022511602A/ja
Application granted granted Critical
Publication of JP7278645B2 publication Critical patent/JP7278645B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/349—Multi-view displays for displaying three or more geometrical viewpoints without viewer tracking
    • H04N13/351—Multi-view displays for displaying three or more geometrical viewpoints without viewer tracking for displaying simultaneously
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/183—On-screen display [OSD] information, e.g. subtitles or menus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47202—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting content on demand, e.g. video on demand
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4722—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting additional data associated with the content

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Digital Computer Display Output (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

【課題】マルチデプスイメージの表示方法を開示する。【解決手段】 本発明の一実施例によると、メインイメージに１つ以上のイメージがツリー構造で挿入され、前記1つ以上のイメージのうちの少なくとも一部に１つ以上の個体がマッピングされたマルチデプスイメージを表示する方法において、前記マルチデプスイメージのツリー構造から少なくとも１つのコンテンツツリーを生成するステップ、及び、前記コンテンツツリーのそれぞれに対応するディスプレイ領域を構成するステップを含み、 前記ディスプレイ領域は、前記コンテンツツリーのノードに対応するイメージを表示するための第１の領域及び前記コンテンツツリーのノードに対応する個体又は前記個体の再生ＵＩを表示するための第２の領域を含み、前記第１の領域と前記第２の領域は、互いにマッピングされたイメージと個体又はその個体の再生ＵＩが同期化して表示されることを特徴とするマルチデプスイメージの表示方法を提供する。【選択図】図１

Description

本発明は、マルチデプスイメージ表示装置及び方法に関し、より具体的には、マルチデプスイメージをマイクロブログ形式及びフィード形式のうちのいずれか１つの形式で選択的に表示できるマルチデプスイメージ表示装置及び方法に関する。
マルチデプスイメージ（multi-depth image）とは、基本となる１つのイメージ（以下、「メインイメージ」と称する）に、追加の情報を提供する１つ以上の他のイメージ（以下、「サブイメージ」と称する）が挿入された新しいフォーマットのイメージをいう。マルチデプスイメージは、スマートフォンなどの小画面の携帯用電子機器にて、ユーザーが細部の詳細イメージを簡単に取得できるように手伝ってくれる。
一方、マルチデプスイメージを構成する各イメージの具体的な内容は、当該イメージだけでは正確に伝わり難いため、当該イメージを、様々な個体（object）、例えば、テキスト、ビデオなどと一緒にディスプレイ画面に表示することで、ユーザーに効果的に情報を伝達する必要がある。
また、特定のトピックに関するユーザーの関心度や興味度は、ユーザーごとに異なる場合があるので、マルチデプスイメージの表示順序をユーザーの好みに合わせて変更する必要がある。
このような必要性に基づいて、本実施例は、マルチデプスイメージをユーザーの選択に応じて、マイクロブログ形式又はフィード形式でディスプレイ画面に表示することでユーザーの便宜を図ることができるマルチデプスイメージ表示装置及び方法を提供しようとする。
本発明の一実施例によると、メインイメージに１つ以上のイメージがツリー構造で挿入され、前記1つ以上のイメージのうちの少なくとも一部に１つ以上の個体がマッピングされたマルチデプスイメージを表示する方法において、前記マルチデプスイメージのツリー構造から少なくとも１つのコンテンツツリーを生成するステップ、及び、前記コンテンツツリーのそれぞれに対応するディスプレイ領域を構成するステップを含み、 前記ディスプレイ領域は、前記コンテンツツリーのノードに対応するイメージを表示するための第１の領域及び前記コンテンツツリーのノードに対応する個体又は前記個体の再生ＵＩを表示するための第２の領域を含み、前記第１の領域と前記第２の領域は、互いにマッピングされたイメージと個体又はその個体の再生ＵＩが同期化して表示されることを特徴とするマルチデプスイメージの表示方法を提供する。
本発明の他の実施例によれば、マルチデプスイメージのメインイメージに１つ以上のイメージがツリー構造に挿入され、前記１つ以上のイメージのうちの少なくとも一部に１つ以上の個体をマッピングするツリー構造構成部と、前記マルチデプスイメージのツリー構造から少なくとも１つのコンテンツツリーを生成し、前記コンテンツツリーのそれぞれに対応するディスプレイ領域を構成するディスプレイ領域設定部、及び、前記ディスプレイ領域に、前記マルチデプスイメージを表示するディスプレイ部と、を含み、前記ディスプレイ領域は、前記コンテンツツリーのノードに対応するイメージを表示するための第１の領域及び前記コンテンツツリーのノードに対応する個体又は前記個体の再生ＵＩを前記第１の領域に表示されるイメージと同期化させて表示するための第２の領域を含み、前記ディスプレイ部に互いにマッピングされたイメージと個体又はその個体の再生ＵＩをそれぞれ前記第１の領域及び前記第２の領域に表示することを特徴とするマルチデプスイメージ表示装置を提供する。
本実施例に係るマルチデプスイメージ表示装置及び方法は、ユーザーの選択に応じて、マイクロブログ形式又はフィード形式でマルチデプスイメージを表示することで、ユーザーの便宜及び情報伝達力を向上させる効果がある。
また、本実施例に係るマルチデプスイメージ表示装置及び方法は、予め設定されたマルチデプスイメージの階層順序をユーザーが任意に変更できるようにすることで、ユーザーカスタマイズ型情報伝達を可能にする効果がある。
本発明の効果は、前述した効果に限定されず、言及されていない他の効果が下の記載から通常の技術者に自明に導き出されるだろう。
マルチデプスイメージのツリー構造を示した例示図である。 マルチデプスイメージを構成する実際のイメージを示した例示図である。 本実施例に係るマルチデプスイメージ表示装置の構成を示すブロック図である。 マルチデプスイメージのディスプレイ領域を示した図である。 マルチデプスイメージのツリー構造を分割しない場合のディスプレイ領域を示す図である。 マルチデプスイメージのツリー構造を分割した場合のディスプレイ領域を示す図である。 マルチデプスイメージに関するツリー構造の分割形態を示す例示図である。 マルチデプスイメージのノードにテキストをマッピングした場合の表示形態を示す例示図である。 マルチデプスイメージのノードにビデオをマッピングした場合の表示形態を示す例示図である。 本実施例に係るマルチデプスイメージを表示する方法を示したフローチャートである。
以下、本発明の一実施例を例示的な図面を介して詳しく説明する。各図面の構成要素に参照符号を付加するにおいて同一の構成要素に対しては、たとえ他の図面上に表示されていても、可能な限り同一の符号を使用していることに留意しなければならない。また、本発明の一実施例を説明するにあたり、関連する公知の構成または機能についての具体的な説明が本発明の要旨を曖昧にすると判断した場合には、それについての詳しい説明を省く。
本発明の一実施例の構成要素を説明するにあたり、第１、第２、A、B、(ａ）、(ｂ）などの符合を用いる場合がある。このような符合は、その構成要素を他の構成要素と区別するだけで、その符合によってその構成要素の本質、順番、順序などが限定されるものではない。本明細書でどの部分がどのような構成要素を「含む」または「備える」とするとき、これは明示的に逆になる記載がない限り、該当部分が他の構成要素を付加することを排除するものではなく、他の構成要素をさらに含み得ることを意味する。「～部」、「モジュール」などの用語は、少なくとも一つの機能や動作を処理する単位を意味し、これは「ハードウェア」、「ソフトウェア」または「ハードウェアとソフトウェアの組み合わせ」で具現してよい。
以下、添付された図面を参照して、本発明の一実施形態について、より詳細に説明することにする。
図１は、マルチデプスイメージのツリー構造を示す例示図である。
図１を参照すると、マルチデプスイメージは、単一のメインイメージと、複数のサブイメージで構成される。マルチデプスイメージの複数のイメージは、細部トピック（specific subject）や文脈（context）などを考慮して階層化された後にノードを構成することで、単一のツリー構造を形成することができる。このとき、メインイメージは、ツリー構造のルートノードに挿入され、サブイメージは下位ノードにそれぞれ挿入されてもよい。
図１は、自動車をテーマにしたマルチデプスイメージのツリー構造を例示的に示す。具体的には、自動車の全体の外観を示すイメージは、メインイメージとしてルートノードに挿入される。自動車の構成部品であるヘッドライト及びホイールに関するイメージは、サブイメージとして、ルートノードの子ノードであるレベル１のノードにそれぞれ挿入される。この場合、ヘッドライトの構成部品である電球及び反射鏡に関するイメージは、サブイメージとしてヘッドライトノードの子ノードであるレベル２のノードにそれぞれ挿入される。また、車輪の構成部品であるタイヤ及びタイヤホイールに関するイメージはサブイメージとして車輪ノードの子ノードであるレベル２のノードにそれぞれ挿入される。結果的に、車のノードの下にヘッドライトのノード及び車輪ノードが位置し、ヘッドライトノードの下に電球ノード及び反射鏡ノードが位置し、車輪ノードの下にタイヤノード及びタイヤホイールノードが位置する。そして、このような方式で、複数のサブイメージは、ツリー構造の各サブノードに引き続き挿入される。
マルチデプスイメージは、図１に例示したツリー構造で親ノードの個体に子ノードの個体が挿入された形態のイメージフォーマットである。親ノードの個体に子ノードの個体が挿入されるときに挿入される個体は、一般的にイメージである。しかし、イメージの他にも動画、テキスト、音声、その他のファイルに対するリンク、インターネットアドレスのリンク、ブックマーク、３６０映像、３Ｄオブジェクトなど、さまざまな個体が子ノードの個体として親ノードの個体に挿入され得る。以下、マルチデプスイメージの各ノードに挿入される個体は、すべてイメージであることを前提に、本実施例を説明することにする。ただし、これは説明の便宜のためのものであり、本実施例を限定するものではないことに注意しなければならない。
図１に例示したツリー構造で親ノードのイメージ（以下、「親イメージ」と称する）の適切な位置に子ノードのイメージ（以下、「子イメージ」と称する）を挿入することにより、マルチデプスイメージを生成することができる。親イメージの適切な位置に子イメージを挿入する方法として、親イメージと子イメージを比較した後、親イメージにて、子イメージの特徴が発見された位置に子イメージを挿入する方法を使用する。
マルチデプスイメージのツリー構造にて、各ノードには、マルチメディアコンテンツが追加でマッピングされ得る。ここで、マルチメディアコンテンツは、各ノードに挿入されたイメージに関連するデジタルコンテンツとして、テキスト、ビデオ、オーディオなど、さまざまな種類の個体を含む。例えば、図１のツリー構造にて、ヘッドライトのノードには、メーカー、輝度、寿命などのスペック情報を示すテキストがマッピングされる。タイヤホイールノードには、材質、製造方法等のスペック情報を示すテキストがマッピングされる。また、タイヤホイールノードには、自動車の走行中のタイヤホイールの姿を示す動画が追加でマッピングされる。それぞれの場合において、各ノードに挿入されたイメージとそれにマッピングされたマルチメディアコンテンツは、相互に同期され、互いに異なる領域に表示されてもよく、これについては詳しく後述することにする。
マルチデプスイメージのツリー構造にて、各構成イメージ及び関連のマルチメディアコンテンツは、ドラッグ・アンド・ドロップ方式やファイルエクスプローラを利用した入力方式など、様々な方法を用いてそれぞれのノードに挿入又はマッピングされてもよい。
図２は、マルチデプスイメージを構成する実際のイメージを示した例示図である。
図２を参照すると、自動車に対するマルチデプスイメージ２００は、自動車全体イメージ２１０、ヘッドライトイメージ２２０、電球イメージ２２１、反射鏡イメージ２２２、車輪イメージ２３０、タイヤホイールイメージ２３１及びタイヤイメージ２３２を含む。
それぞれのイメージにて他のイメージが挿入されていることを示すアイコン（図２で
Figure 2022511602000002
状のアイコン）をクリック又はタッチすると、挿入されたイメージが表示される。
図２に示すように、マルチデプスイメージは、自動車全体イメージ２１０にてヘッドライトイメージ２２０と類似の特徴が発見された位置にヘッドライトイメージ２２０が挿入され、自動車全体イメージ２１０にて車輪イメージ２３０と類似の特徴が発見された位置に車輪イメージ２３０が挿入される。マルチデプスイメージは、ヘッドライトイメージ２２０にて電球イメージ２２１と類似の特徴が発見された位置に電球イメージ２２１が挿入され、ヘッドライトイメージ２２０にて反射鏡イメージ２２２と類似の特徴が発見された位置に反射鏡イメージ２２２が挿入される。また、マルチデプスイメージは、車輪イメージ２３０にてタイヤホイールイメージ２３１と類似の特徴が発見された位置にタイヤホイールイメージ２３１が挿入され、車輪イメージ２３０にてタイヤイメージ２３２と類似の特徴が発見された位置にタイヤイメージ２３２が挿入される。ただし、必ずしも親イメージにて子イメージの特徴が発見された位置に子イメージが挿入されなければならないのではなく、親イメージの任意の位置に子イメージが挿入された構造であればマルチデプスイメージになる。
以下、添付された図面を参照し、本実施例に係るマルチデプスイメージ表示装置及び表示方法について詳しく説明することにする。
図３は、本実施例に係るマルチデプスイメージ表示装置の構成を示すブロック図である。
図３を参照すると、マルチデプスイメージ表示装置３００は、ツリー構造構成部３１０、ディスプレイ領域設定部３３０及びディスプレイ部３５０を含む。また、マルチデプスイメージ表示装置３００は、保存部３７０をさらに含んでよい。ここで、ツリー構造構成部３１０、ディスプレイ領域設定部３３０及びディスプレイ部３５０は、それぞれ別個のモジュールを構成したり、それぞれの機能が併合した複数のモジュールを構成することができ、ハードウェア又はソフトウェアで具現したり、両者の組み合わせで具現してもよい。
ツリー構造構成部３１０は、マルチデプスイメージを構成する複数のイメージ及び各イメージに対応するマルチメディアコンテンツを利用してツリー構造を構成することができる。具体的には、ツリー構造構成部３１０は、マルチデプスイメージのメインイメージをルートノードに挿入し、マルチデプスイメージのサブイメージをルートノードの下位ノードのそれぞれに階層的に挿入することができる。また、ツリー構造構成部３１０は、マルチデプスイメージの構成イメージが挿入された各ノードにユーザーから入力されたマルチメディアコンテンツをマッピングさせることができる。ここで、マルチメディアコンテンツは、各ノードに挿入されたイメージと関連付けられたデジタルコンテンツとして、テキスト、オーディオ／ビデオなど、さまざまな類型の個体を含むことができる。ツリー構造構成部３１０によって構成されたマルチデプスイメージに関するツリー構造の一例は、図１及び図２を参照して前述した通りである。
ディスプレイ領域設定部３３０は、マルチデプスイメージのツリー構造から複数のコンテンツツリーを生成した後に生成されたコンテンツツリーに基づき、１つ以上のディスプレイ領域を設定することができる。
ディスプレイ領域設定部３３０は、マルチデプスイメージのツリー構造から１つ以上のコンテンツツリーを構成することができる。例えば、ディスプレイ領域設定部３３０は、マルチデプスイメージに関するツリー構造のすべてのノード及び接続関係をそのまま含む１つのコンテンツツリーを構成することができる。又は、ディスプレイ領域設定部３３０は、マルチデプスイメージに関する基本ツリー構造を複数のサブツリーに分割した後に分割で生成された各サブツリーから複数個のコンテンツツリーを構成することもできる。
ディスプレイ領域設定部３３０は、構成されたコンテンツツリーを利用して、マルチデプスイメージ及び関連のマルチメディアコンテンツを表示するためのディスプレイ領域を設定することができる。マルチデプスイメージ及び関連のマルチメディアコンテンツを表示するためのディスプレイ領域は、図４に示した通りである。
図４は、マルチデプスイメージのディスプレイ領域を示す図である。
図４を参照すると、マルチデプスイメージのディスプレイ領域４００は、イメージを表示するための第１の領域４１０及び当該イメージにマッピングされたマルチメディアコンテンツを表示するための第２の領域４３０を含む。
第１の領域４１０には、マルチデプスイメージを構成する複数のイメージが表示される。例えば、ユーザーの特別なアクション（例えば、マルチデプスイメージ内のイメージの挿入、アイコンをクリックなど）がない初期状態で、第１の領域４１０には、マルチデプスイメージのルートノードに挿入されたメインイメージが表示される。そして、マルチデプスイメージの下位ノードに挿入されたサブイメージのうちのいずれかがユーザーのアイコンクリック又はタッチなどを通じて選択された場合に、第１の領域４１０には、選択されたサブイメージが表示される。第１の領域４１０に表示されるマルチデプスイメージの構成イメージは、ユーザーのディテールアイコンをクリック又はマウスホイールの動作を介して拡大又は縮小する。図４で、第１の領域４１０に表示されたイメージの「○T」アイコンは、イメージを拡大又は縮小するためのディテールアイコンを示す。
第２の領域４３０には、第１の領域４１０に表示されるイメージに対応するマルチメディアコンテンツが当該イメージと同期化して表示される。このとき、マルチメディアコンテンツは、図１を参照して前述したように、イメージノードにマッピングされたテキスト、ビデオなど、さまざまな個体（object）を含んでよい。
マルチメディアコンテンツがテキストである場合に、第２の領域４３０には、当該テキストが第１の領域４１０のイメージと同期化してスクロール方式などを利用して表示される。
マルチメディアコンテンツがビデオ／オーディオの場合、第２の領域４３０には、当該ビデオ／オーディオを再生するためのプレーヤー、コントローラなどの再生（UI User Interface）が第１の領域４１０のイメージと同期化して表示される。この場合に、当該ビデオは、マルチデプスイメージの全体ディスプレイ画面のうちの任意の位置にてディスプレイ領域４００にオーバーレイして再生され、当該オーディオは、バックグラウンドで再生される。そして、それぞれの場合に、ユーザーは、第２の領域４３０に表示した再生ＵＩを利用し、当該ビデオ又はオーディオの再生を制御（例えば、pause、stopなど）することができる。
ディスプレイ領域設定部３３０は、コンテンツツリーの構成個数だけマルチデプスイメージ及び関連のマルチメディアコンテンツを表示するためのディスプレイ領域を設定することができる。つまり、マルチデプスイメージに関するツリー構造からｎ個のコンテンツツリーが構成された場合、ディスプレイ領域設定部３３０は、ｎ個のディスプレイ領域を設定することができる。ｎ個のディスプレイ領域のそれぞれは、第１の領域と第２の領域を含む。ここで、ｎは１以上の整数である。マルチデプスイメージに関するツリー構造の分割如何に係るディスプレイ領域の設定例は、図５に示した通りである。
図５ａは、マルチデプスイメージのツリー構造が分割されていない場合にディスプレイ領域を示す図であり、図５ｂは、マルチデプスイメージのツリー構造が分割された場合、ディスプレイ領域を示す図である。
図５ａを参照すると、マルチデプスイメージのツリー構造が分割されていない場合は、当該マルチデプスイメージのディスプレイ領域５１０は、第１の領域５１１及び第２の領域５１３を含む１つの領域で構成される。第１の領域５１１には、マルチデプスイメージを構成する全体イメージがメインイメージから始まり、ユーザーの選択に応じた特定のサブイメージ順に表示される。また、第２の領域５１３には、第１の領域５１１のイメージと同期化したマルチメディアコンテンツ（例えば、テキスト、ビデオなど）が表示される。第１の領域５１１にマルチデプスイメージのサブイメージが表示される場合に、第１の領域５１１及び第２の領域５１３のうちの少なくとも１つの領域には、マルチデプスイメージ内の上位トピック（つまり、ツリー構造のルートノード又は分岐ノード）に戻るためのバックワードメニュー（backward menu、図示せず）、例えば、バックワードアイコンが表示される。
図５ｂを参照すると、マルチデプスイメージのツリー構造が複数のコンテンツツリーに分割される場合に、マルチデプスイメージのディスプレイ領域５３０、５５０は、それぞれ、第１の領域５３１、５５１及び第２の領域５３３ 、５５３を含む。図５ａの場合と同様に、第１の領域５３１、５５１には、ツリーの分割で生成された各サブツリーのノードに挿入された構成イメージが表示され、第２の領域５３３、５５３には、各第１の領域５３１、５５１に表示されるイメージに対応するマルチメディアコンテンツが第１の領域５３１、５５１のイメージと同期化して表示される。また、第１の領域５３１、５５１に、各サブツリーの下位ノードに挿入された構成イメージが表示される場合に、第１の領域５３１、５５１及び第２の領域５３３、５５３のうちの少なくとも１つの領域には、当該サブツリー内の上位トピック（つまり、当該サブツリーのルートノード又は分岐ノード）に戻るためのバックワードアイコン（backward menu、図示せず）が表示される。それぞれのディスプレイ領域５３０、５５０は、順次表示される。ディスプレイ領域５３０、５５０が1つの画面にすべて表示されないとき、ユーザーは画面スクロールを介して各ディスプレイ領域を順次確認することができる。マルチデプスイメージのツリー構造が複数のコンテンツツリーに分割されることによって、複数のディスプレイ領域が生成されるとき、そのディスプレイ領域間の表示順序を定める方法は後述する。
マルチデプスイメージのツリー構造を分割する方法は、図６に示した通りである。
図６は、マルチデプスイメージに関するツリー構造の分割形態を示す例示図である。
図６を参照すると、マルチデプスイメージのツリー構造は、分岐ノードを基準に、複数のサブツリーに分割される。このとき、ツリー構造は、図６の（ａ）に示すように分岐ノードを共有する重なったサブツリーに分割されてもよく、図６の（ｂ）に示すように、互いに重ならないように分岐ノードを基準に分割されてもよい。
又は、マルチデプスイメージのツリー構造は、ユーザーによって分割されてもよい。例えば、分岐ノードではなく、ユーザーが望む方式でマルチデプスイメージのツリー構造を分割することができる。または、分岐ノードを基準に分割された複数のサブツリーをユーザーの選択に応じて互いに統合したり、又は追加でさらに分割したりすることができる。その分割情報は、当該マルチデプスイメージ情報とマッピングされ、保存部３７０、例えば、不揮発性メモリに保存することで、今後同じイメージを再度表示する際に用いることができる。
再び図３に戻り、ディスプレイ部３５０は、ディスプレイ領域設定部３３０によって設定されたディスプレイ領域に複数のデプスイメージの構成イメージ及び関連のマルチメディアコンテンツを表示することができる。具体的には、ディスプレイ部３５０は、ディスプレイ領域の第１の領域に、コンテンツツリーの各ノードに該当する構成イメージを、メインイメージからサブイメージまで順次表示することができる。
本実施例の一側面によると、ディスプレイ部３５０は、コンテンツツリーの構成イメージをディスプレイ領域の第１の領域に深さ優先探索（depth first search）方式で表示することができる。通常、マルチデプスイメージはストーリーを有してツリー構造で生成される。上位ノードと下位ノードとの間には因果関係のストーリーが存在する。一方、ツリー構造で同じデプス（depth）に存在するノードは、因果関係のストーリーよりは、対等な関係のストーリーを有する。したがって、幅優先探索（breadth first search）で、コンテンツツリーの構成イメージを第１の領域に表示する場合に、第１の領域と同期化して表示される第２の領域のテキストは、因果関係が成立せず、ストーリー展開が不自然になる。したがって、本実施例では、深さ優先探索方式を使用する。
また、ディスプレイ部３５０は、コンテンツツリーの各ブランチ（branch）のデプス（depth）数、各ブランチに含まれるイメージ又はテキストの生成時間、及び各ブランチに含まれるテキストから検索された関連キーワードの個数のうちの少なくとも１つに基づいて当該コンテンツツリーの構成ブランチの表示順序を決定することができる。例えば、特定のコンテンツツリーが２つのブランチで構成される場合に、ディスプレイ部３５０は、当該ブランチのうちの、デプス数が大きいブランチのノードに挿入されたイメージを他のブランチよりも先に、第１の領域に表示することができる。また、特定のコンテンツツリーが２つのブランチで構成される場合に、ディスプレイ部３５０は、当該ブランチに含まれるテキストの関連キーワード個数が多いブランチのノードに挿入されたイメージを他のブランチよりも先に、第１の領域に表示することもできる。ただし、これは例示的なものであり、本実施例がこれに限定されないことに注意しなければならない。つまり、ディスプレイ部３５０は、特定のコンテンツツリーの構成ブランチの中で関連キーワードの個数が少ないブランチのノードに挿入されたイメージを他のブランチよりも先に、第１の領域に表示することもできる。
ディスプレイ領域設定部３３０によって設定された第１の領域へのイメージ表示順序は、ユーザーの選択に応じて任意に変更することができる。例えば、ユーザーは、コンテンツツリーを構成する複数のブランチの表示順、又は各ブランチに含まれるノードの順序を変更することにより、第１の領域へのイメージ表示順序を任意に変更することができる。
ディスプレイ部３５０は、ディスプレイ領域の第２の領域に、第１の領域に表示した構成のイメージに関連するマルチメディアコンテンツ（例えば、テキスト、ビデオなど）を、当該構成イメージと同期化させて表示することができる。
表示するマルチメディアコンテンツがテキストである場合に、ディスプレイ領域の第２領域には、当該テキストがスクロール方式で表示され、その具体的な一例は、図７ａに図示した通りである。図７ａを参照すると、ディスプレイ領域７１０の第１の領域７１１には、マルチデプスイメージの構成イメージが表示される。また、第２の領域７１３には、第１の領域７１１に表示したイメージにマッピングされたテキストが、第１の領域７１１のイメージと同期化してスクロール方式を利用して表示される。
表示されるマルチメディアコンテンツがビデオ／オーディオの場合、ディスプレイ領域の第２の領域には、ビデオ／オーディオを再生するためのプレーヤー、コントローラなどの再生ＵＩ（User Interface）が表示され、その具体的な一例は、図７ｂに示した通りである。図７ｂを参照すると、ディスプレイ領域７３０の第１の領域７３１には、マルチデプスイメージの構成イメージが表示される。また、第２の領域７３３には、第１の領域７３１に表示したイメージにマッピングされたビデオを再生するのに用いるプレーヤーが表示される。この場合には、当該ビデオは、マルチデプスイメージの全体ディスプレイ画面のうちの任意の位置にてディスプレイ領域７３３にオーバーレイして再生される。
保存部３７０は、マルチデプスイメージの分割情報を、当該イメージ情報とマッピングさせて保存するために必要な構成要素として、不揮発性メモリ（例えば、ＮＡＮＤフラッシュメモリ）又は揮発性メモリ（例えば、ＤＲＡＭ）などを含む。
マルチデプスイメージに関するツリー構造の分割如何及び分割回数などの分割情報は、当該マルチデプスイメージ情報にマッピングされて保存部３７０に保存された後に、次回のイメージを表示するために利用する。
一方、マルチデプスイメージのツリー構造が複数のコンテンツツリーに分割される場合に、コンテンツツリーがマルチデプスイメージのツリー構造で占めるデプス（レベル）を基準にして表示順序が決まる。マルチデプスイメージのツリー構造にて上位デプスを占めるコンテンツツリーのディスプレイ領域が先に表示される。ただし、同一のデプスを有するコンテンツツリーが存在してよい。例えば、同一の分岐ノードから下位に分岐されるコンテンツツリーは、親ノードのデプスが同じなので、同一のデプスに分類する。同一の分岐ノードから下位に分岐されるコンテンツツリーのディスプレイ領域は、次のうちの1つ以上を基準にして表示順序が決まっても良い。
（１）下位に分岐されるコンテンツツリーのそれぞれのデプス（レベル）数、
（２）下位に分岐されるコンテンツツリーに含まれるイメージ又はテキストが生成された時間
（３）下位に分岐されるコンテンツツリーのそれぞれに含まれるテキストから検索された関連キーワードの個数
もちろん、前述したように、ユーザーの選択に応じて各コンテンツツリーのディスプレイ領域の表示順序は変更されてもよい。
図８は、本実施例に係るマルチデプスイメージを表示する方法を示したフローチャートである。
図３及び図８を参照すると、ステップＳ８１０で、ツリー構造構成部３１０は、マルチデプスイメージを構成する複数のイメージ及びそれぞれのイメージに対応するマルチメディアコンテンツを利用してツリー構造を構成することができる。当該ツリー構造の各ノードには、マルチデプスイメージのメインイメージ及びサブイメージが階層的に挿入され、イメージが挿入された各ノードには、当該イメージに関連するマルチメディアコンテンツ、例えばテキスト、オーディオ／ビデオなど、さまざまな類型の個体（object）がマッピングされる。
ステップＳ８２０にて、ディスプレイ領域設定部３３０は、マルチデプスイメージのツリー構造から１つ以上のコンテンツツリーを生成する。
マルチデプスイメージのツリー構造がｎ個（ここで、ｎは１以上の整数）のサブツリーに分割され、複数のコンテンツツリーが生成される場合に、２以上のコンテンツツリーが１つの分岐ノードを共有する。つまり、ツリー構造は、分岐ノードを共有する重なったサブツリーの（nested subtrees）に分割され、分岐ノードを共有しない非入れ子サブツリー（non-nested subtrees）に分割されてもよい。マルチデプスイメージのツリー構造は、ディスプレイ領域にイメージが図示される前に、ユーザーによって予め分割され、その分割情報は、当該マルチデプスイメージ情報とマッピングされて保存部３７０、例えば、不揮発性メモリに保存されることで今後同様のイメージを表示するときに再び使用する。
ステップＳ８３０にて、ディスプレイ領域設定部３３０は、ステップＳ８２０で生成したコンテンツツリーを利用して１つ以上のディスプレイ領域を構成することができる。ここで、それぞれのディスプレイ領域は、イメージを表示するための第１の領域及び当該イメージに関連するマルチメディアコンテンツを表示するための第２の領域を含む。
具体的には、ディスプレイ領域設定部３３０は、マルチデプスイメージに関するツリー構造のすべてのノード及び接続関係をそのまま含む１つのコンテンツツリーを構成することができる。この場合に、ディスプレイ領域設定部３３０は、マルチデプスイメージを表示するための１つのディスプレイ領域を設定することができる。
また、ディスプレイ領域設定部３３０は、マルチデプスイメージに関する基本ツリー構造をｎ個（ここで、ｎは１以上の整数）のサブツリーに分割した後、分割で生成した各サブツリーを別個のコンテンツツリーに構成することができる。この場合には、ディスプレイ領域設定部３３０は、マルチデプスイメージを表示するためのｎ個のディスプレイ領域を設定することができる。
ステップＳ８４０にて、ディスプレイ部３５０は、ステップＳ８３０で設定したディスプレイ領域に複数のデプスイメージを表示することができる。具体的に、ディスプレイ部３５０は、各ディスプレイ領域の第１の領域にマルチデプスイメージの構成イメージを表示し、各ディスプレイ領域の第２の領域には、第１の領域に表示したイメージにマッピングされたマルチメディアコンテンツを第１の領域と同期化させて表示することができる。
マルチメディアコンテンツがテキストである場合に、第２の領域４３０には、当該テキストが第１の領域４１０のイメージと同期化してスクロール方式などを利用して表示される。
マルチメディアコンテンツがビデオ／オーディオの場合に、第２の領域４３０には、当該ビデオ／オーディオを再生するためのプレーヤー、コントローラなどの再生ＵＩ（User Interface）が第１の領域４１０のイメージと同期化して表示される。この場合に、当該ビデオは、マルチデプスイメージの全体ディスプレイ画面のうちの任意の位置にてディスプレイ領域４００にオーバーレイして再生され、当該オーディオは、バックグラウンドで再生される。そして、それぞれの場合に、ユーザーは、第２の領域４３０に表示した再生ＵＩを利用して当該ビデオ又はオーディオの再生を制御（例えば、pause、stopなど）することができる。
以上、図８では、複数のプロセスを順次実行することで記載しているが、これは本実施例の技術思想を例示的に説明したものに過ぎない。つまり、本実施例の属する技術分野における通常の知識を有する者であれば、本実施例の本質的な特性から逸脱しない範囲で、図８に記載した順序を変更して実行したり、前記複数の過程のうちの一部を並列的に実行したりすることで、さまざまな修正及び変更して適用可能であることから、図８は、時系列的な順序に限定されるものではない。
一方、図８に図示された過程は、コンピュータで読み取り可能な記録媒体にコンピュータが読み取り可能なコードとして具現することが可能である。コンピュータが読み取り可能な記録媒体は、コンピュータシステムによって読み取ることができるデータが格納されるすべての種類の記録装置を含む。つまり、コンピュータが読み取り可能な記録媒体は、磁気記録媒体（例えば、ロム、フロッピーディスク、ハードディスクなど）、光学的読み取り媒体（例えば、ＣＤ－ＲＯＭ、ディブイディなど）のような記憶媒体を含む。また、コンピュータが読み取り可能な記録媒体は、ネットワークにつながったコンピュータシステムに分散されて分散方式でコンピュータが読み取り可能なコードが保存されて実行されてもよい。
一方、以上では、第１の領域に表示するイメージが変更されると、第２の領域に、そのイメージに対応するテキストなどが同期化して表示されるものとして説明したが、その逆も可能である。例えば、スクロールを介して第２の領域に表示したテキストが変更されると、変更されたテキストに対応するイメージが第１の領域に同期化して表示されてもよい。
以上の説明は、本実施例の技術思想を例示的に説明したに過ぎず、本実施例の属する技術分野における通常の知識を有する者であれば、本実施例の本質的な特性から逸脱しない範囲で様々な修正及び変形が可能である。したがって、本実施例は、本実施例の技術思想を限定するためのものではなく説明するためのものであり、このような実施例により、本実施例の技術思想の範囲を限定するものではない。本実施例の保護範囲は請求の範囲によって解釈するべきであり、その同等の範囲内にあるすべての技術思想は、本実施例の権利範囲に含まれるものと解釈するべきである。
CROSS-REFERENCE TO RELATED APPLICATION
本特許出願は、本明細書にその全体が参考として含まれる、２０１８年１０月５日付にて韓国に出願した特許出願番号第１０-２０１８-０１１８７２８号に対して優先権を主張する。

Claims (19)

  1. メインイメージに１つ以上のイメージがツリー構造で挿入され、前記1つ以上のイメージのうちの少なくとも一部に１つ以上の個体がマッピングされたマルチデプスイメージを表示する方法において、
    前記マルチデプスイメージのツリー構造から少なくとも１つのコンテンツツリーを生成するステップ、及び、
    前記コンテンツツリーのそれぞれに対応するディスプレイ領域を構成するステップを含み、
    前記ディスプレイ領域は、
    前記コンテンツツリーのノードに対応するイメージを表示するための第１の領域及び前記コンテンツツリーのノードに対応する個体又は前記個体の再生ＵＩを表示するための第２の領域を含み、
    前記第１の領域と前記第２の領域は、互いにマッピングされたイメージと個体又はその個体の再生ＵＩが同期化して表示されることを特徴とするマルチデプスイメージの表示方法。
  2. 前記コンテンツツリーは前記マルチデプスイメージのツリー構造と同一の構造の１つのツリーで構成され、
    前記第２の領域には、前記コンテンツツリーのノードに対応する個体又は前記個体の再生ＵＩが深さ優先探索（depth first search）順序に従って表示されることを特徴とする請求項１に記載のマルチデプスイメージの表示方法。
  3. 前記コンテンツツリーの同一の分岐ノードから分岐する複数のブランチは、
    前記複数のブランチそれぞれのレベル数、
    前記複数のブランチに含まれるイメージ又は個体が生成された時間、及び、
    前記複数のブランチそれぞれに含まれる個体から検索された関連キーワードの個数のうちの少なくとも１つに基づいて表示順序が決まることを特徴とする請求項２に記載のマルチデプスイメージの表示方法。
  4. 前記コンテンツツリーの同一の分岐ノードから分岐する複数のブランチは、
    ユーザーの選択に応じ、前記複数のブランチの位置を変更することで、又は前記複数のブランチそれぞれに含まれるノードの順序を変更することで、表示順序が変更されることを特徴とする請求項３に記載のマルチデプスイメージの表示方法。
  5. 前記コンテンツツリーは
    前記マルチデプスイメージのツリー構造を複数のツリーに分割して生成されることを特徴とする請求項１に記載のマルチデプスイメージの表示方法。
  6. 前記複数のツリーは、
    前記マルチデプスイメージのツリー構造を分岐ノードを基準に分割して生成した非入れ子サブツリーであることを特徴とする請求項５に記載のマルチデプスイメージの表示方法。
  7. 前記複数のツリーのうち、前記マルチデプスイメージのツリー構造にて上位レベルを占めるツリーのディスプレイ領域を最初に表示することを特徴とする請求項５に記載のマルチデプスイメージの表示方法。
  8. 前記複数のツリーのうち、同一の分岐ノードから下位に分岐されるコンテンツツリーのディスプレイ領域は、
    前記下位に分岐されるコンテンツツリーのそれぞれのレベル数、
    前記下位に分岐されるコンテンツツリーに含まれるイメージ又はテキストが生成された時間、及び、
    前記下位に分岐されるコンテンツツリーのそれぞれに含まれるテキストから検索された関連キーワードの個数のうちの少なくとも１つに基づいて表示順序が決まることを特徴とする請求項７に記載のマルチデプスイメージの表示方法。
  9. 前記複数のツリーのうち、同一の分岐ノードから下位に分岐されるコンテンツツリーは、
    ユーザーの選択に応じ、前記コンテンツツリーの位置を変更することで、又は前記コンテンツツリーのそれぞれに含まれるノードの順序を変更することで、表示順序が変更されることを特徴とする請求項８に記載のマルチデプスイメージの表示方法。
  10. 請求項１ないし請求項９のうちのいずれか１項の方法を実行させるプログラムが記録されたコンピュータ読み取り可能な記録媒体。
  11. マルチデプスイメージのメインイメージに１つ以上のイメージがツリー構造に挿入され、前記１つ以上のイメージのうちの少なくとも一部に１つ以上の個体をマッピングするツリー構造構成部と、
    前記マルチデプスイメージのツリー構造から少なくとも１つのコンテンツツリーを生成し、前記コンテンツツリーのそれぞれに対応するディスプレイ領域を構成するディスプレイ領域設定部、及び、
    前記ディスプレイ領域に、前記マルチデプスイメージを表示するディスプレイ部と、を含み、
    前記ディスプレイ領域は、
    前記コンテンツツリーのノードに対応するイメージを表示するための第１の領域及び前記コンテンツツリーのノードに対応する個体又は前記個体の再生ＵＩを前記第１の領域に表示されるイメージと同期化させて表示するための第２の領域を含み、
    前記ディスプレイ部に互いにマッピングされたイメージと個体又はその個体の再生ＵＩをそれぞれ前記第１の領域及び前記第２の領域に表示することを特徴とするマルチデプスイメージ表示装置。
  12. 前記コンテンツツリーは前記マルチデプスイメージのツリー構造と同一の構造の１つのツリーで構成され、
    前記第２の領域には、前記コンテンツツリーのノードに対応する個体又は前記個体の再生ＵＩが深さ優先探索（depth first search）順序に従って表示されることを特徴とする請求項１１に記載のマルチデプスイメージ表示装置。
  13. 前記コンテンツツリーの同一の分岐ノードから分岐する複数のブランチは、
    前記複数のブランチのそれぞれのレベル数、
    前記複数のブランチに含まれるイメージ又は個体が生成された時間、及び、
    前記複数のブランチそれぞれに含まれる個体から検索された関連キーワードの個数のうちの少なくとも１つに基づいて表示順序が決まることを特徴とする請求項１２に記載のマルチデプスイメージ表示装置。
  14. 前記コンテンツツリーの同一の分岐ノードから分岐する複数のブランチは、
    ユーザーの選択に応じ、前記複数のブランチの位置を変更することで、又は前記複数のブランチそれぞれに含まれるノードの順序を変更することで、表示順序が変更されることを特徴とする請求項１３に記載のマルチデプスイメージ表示装置。
  15. 前記コンテンツツリーは、
    前記マルチデプスイメージのツリー構造を複数のツリーに分割して生成することを特徴とする請求項１１に記載のマルチデプスイメージ表示装置。
  16. 前記複数のツリーは、
    前記マルチデプスイメージのツリー構造を分岐ノードを基準に分割して生成された非入れ子サブツリーであることを特徴とする請求項１５に記載のマルチデプスイメージ表示装置。
  17. 前記複数のツリーのうち、前記マルチデプスイメージのツリー構造にて上位レベルを占めるツリーのディスプレイ領域を最初に表示することを特徴とする請求項１５に記載のマルチデプスイメージ表示装置。
  18. 前記複数のツリーのうち、同一の分岐ノードから下位に分岐されるコンテンツツリーのディスプレイ領域は、
    前記下位に分岐されるコンテンツツリーのそれぞれのレベル数、
    前記下位に分岐されるコンテンツツリーに含まれるイメージ又はテキストが生成された時間、及び、
    前記下位に分岐されるコンテンツツリーのそれぞれに含まれるテキストから検索された関連キーワードの個数のうちの少なくとも１つに基づいて表示順序が決まることを特徴とする請求項１７に記載のマルチデプスイメージ表示装置。
  19. 前記複数のツリーのうち、同一の分岐ノードから下位に分岐されるコンテンツツリーは、
    ユーザーの選択に応じ、前記コンテンツツリーの位置を変更することで、又は前記コンテンツツリーのそれぞれに含まれるノードの順序を変更することで、表示順序が変更されることを特徴とする請求項１８に記載のマルチデプスイメージ表示装置。
JP2021518524A 2018-10-05 2019-09-26 マルチデプスイメージ表示装置及び方法 Active JP7278645B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1020180118728A KR20200039169A (ko) 2018-10-05 2018-10-05 멀티 뎁스 이미지 표시 장치 및 방법
KR10-2018-0118728 2018-10-05
PCT/KR2019/012492 WO2020071684A1 (ko) 2018-10-05 2019-09-26 멀티 뎁스 이미지 표시 장치 및 방법

Publications (2)

Publication Number Publication Date
JP2022511602A true JP2022511602A (ja) 2022-02-01
JP7278645B2 JP7278645B2 (ja) 2023-05-22

Family

ID=70055598

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021518524A Active JP7278645B2 (ja) 2018-10-05 2019-09-26 マルチデプスイメージ表示装置及び方法

Country Status (5)

Country Link
US (1) US11677929B2 (ja)
EP (1) EP3863291A4 (ja)
JP (1) JP7278645B2 (ja)
KR (1) KR20200039169A (ja)
WO (1) WO2020071684A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200079849A (ko) * 2018-12-26 2020-07-06 주식회사 피제이팩토리 멀티 뎁스(multi-depth) 이미지 생성 및 뷰잉

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001060202A (ja) * 1999-08-23 2001-03-06 Fujitsu Ltd 文書閲覧システム及びそのシステムでの処理をコンピュータに行わせるためのプログラムを格納した記憶媒体
JP2003112866A (ja) * 2001-07-31 2003-04-18 Toshiba Elevator Co Ltd エレベータのメインテナンス仕様設定支援システム
JP2003141166A (ja) * 2001-11-06 2003-05-16 Techno Tsurii:Kk 商品カタログ表示装置と商品カタログ表示プログラム
JP2012247880A (ja) * 2011-05-26 2012-12-13 Fujifilm Corp 医用情報表示装置およびその動作方法、並びに医用情報表示プログラム
US20160048293A1 (en) * 2014-08-15 2016-02-18 Dassault Systemes Navigation through the hierarchical structure of a three-dimensional modeled assembly of parts

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8387037B2 (en) * 2005-01-28 2013-02-26 Ca, Inc. Updating software images associated with a distributed computing system
US20060242126A1 (en) * 2005-03-25 2006-10-26 Andrew Fitzhugh System and method for a context-sensitive extensible plug-in architecture
US7734622B1 (en) 2005-03-25 2010-06-08 Hewlett-Packard Development Company, L.P. Media-driven browsing
JP5035596B2 (ja) 2006-09-19 2012-09-26 ソニー株式会社 情報処理装置および方法、並びにプログラム
US20080270444A1 (en) * 2007-04-24 2008-10-30 International Business Machines Corporation System, method and tool for web-based interactive graphical visualization and authoring of relationships
US20110179390A1 (en) * 2010-01-18 2011-07-21 Robert Paul Morris Methods, systems, and computer program products for traversing nodes in path on a display device
JP2011254240A (ja) * 2010-06-01 2011-12-15 Sony Corp 画像処理装置、画像処理方法およびプログラム
JP5477176B2 (ja) * 2010-06-07 2014-04-23 株式会社リコー 部品情報閲覧プログラム、部品情報閲覧装置及び部品情報閲覧システム
JP6680085B2 (ja) * 2016-05-31 2020-04-15 富士通株式会社 表示制御方法、表示制御装置および表示制御プログラム
KR102644105B1 (ko) * 2017-12-29 2024-03-06 주식회사 피제이팩토리 멀티 심도 이미지의 자동 생성 방법
KR20200079849A (ko) * 2018-12-26 2020-07-06 주식회사 피제이팩토리 멀티 뎁스(multi-depth) 이미지 생성 및 뷰잉

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001060202A (ja) * 1999-08-23 2001-03-06 Fujitsu Ltd 文書閲覧システム及びそのシステムでの処理をコンピュータに行わせるためのプログラムを格納した記憶媒体
JP2003112866A (ja) * 2001-07-31 2003-04-18 Toshiba Elevator Co Ltd エレベータのメインテナンス仕様設定支援システム
JP2003141166A (ja) * 2001-11-06 2003-05-16 Techno Tsurii:Kk 商品カタログ表示装置と商品カタログ表示プログラム
JP2012247880A (ja) * 2011-05-26 2012-12-13 Fujifilm Corp 医用情報表示装置およびその動作方法、並びに医用情報表示プログラム
US20160048293A1 (en) * 2014-08-15 2016-02-18 Dassault Systemes Navigation through the hierarchical structure of a three-dimensional modeled assembly of parts

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
矢野 りん, ウェブデザインのつくり方、インターフェイスデザインの考え方。, vol. 第1版, JPN6022022407, 21 February 2012 (2012-02-21), JP, pages 114 - 119, ISSN: 0004794016 *

Also Published As

Publication number Publication date
EP3863291A4 (en) 2022-08-10
EP3863291A1 (en) 2021-08-11
JP7278645B2 (ja) 2023-05-22
WO2020071684A1 (ko) 2020-04-09
US20210352268A1 (en) 2021-11-11
US11677929B2 (en) 2023-06-13
KR20200039169A (ko) 2020-04-16

Similar Documents

Publication Publication Date Title
US11132118B2 (en) User interface editor
US20190018580A1 (en) Modular responsive screen grid, authoring and displaying system
KR101606949B1 (ko) 다중 계층화된 슬라이드 전환
US20130097552A1 (en) Constructing an animation timeline via direct manipulation
TW200915114A (en) Breadcrumb list supplementing for hierarchical data sets
JP2005267390A (ja) 表示制御装置，表示制御方法，記録媒体
CN103597432A (zh) 信息处理装置、信息处理方法以及计算机程序产品
JP7481044B2 (ja) マルチデプスイメージの作成及びビューイング
KR101720635B1 (ko) 웹 기반의 3d 영상 컨텐츠 제작 방법 및 이를 운영하는 서버
US20070198928A1 (en) Design method and apparatus for user interface
JP2022511602A (ja) マルチデプスイメージ表示装置及び方法
JP5803302B2 (ja) 情報処理装置、情報処理方法およびプログラム
JP2012256172A (ja) 情報処理装置、情報処理方法およびプログラム
US8615163B2 (en) Framework, system and method for rapid deployment of interactive applications
US20230252701A1 (en) Method for generating multi-depth image
JP4674726B2 (ja) ファイルの管理方法および情報処理装置
KR20210150260A (ko) 멀티 뎁스 이미지를 생성하는 방법
JP6752111B2 (ja) コンテンツ再生装置およびコンテンツ再生方法
CN102981694B (zh) 与平台无关的用户接口/用户体验和人类交互范例
KR20230167494A (ko) 홍보 영상 켄텐츠 제작 방법 및 3d 영상 컨텐츠 제작 시스템

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210402

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210402

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220525

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220607

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20220905

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20221104

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221205

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230404

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230428

R150 Certificate of patent or registration of utility model

Ref document number: 7278645

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150