JP2021005208A - 画像表示システム及びプログラム - Google Patents

画像表示システム及びプログラム Download PDF

Info

Publication number
JP2021005208A
JP2021005208A JP2019118398A JP2019118398A JP2021005208A JP 2021005208 A JP2021005208 A JP 2021005208A JP 2019118398 A JP2019118398 A JP 2019118398A JP 2019118398 A JP2019118398 A JP 2019118398A JP 2021005208 A JP2021005208 A JP 2021005208A
Authority
JP
Japan
Prior art keywords
image
display
reference image
display system
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019118398A
Other languages
English (en)
Other versions
JP6590329B1 (ja
Inventor
健太 菅原
Kenta Sugawara
健太 菅原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Radius5 Inc
Original Assignee
Radius5 Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Radius5 Inc filed Critical Radius5 Inc
Priority to JP2019118398A priority Critical patent/JP6590329B1/ja
Application granted granted Critical
Publication of JP6590329B1 publication Critical patent/JP6590329B1/ja
Priority to US17/622,110 priority patent/US11698715B2/en
Priority to PCT/JP2020/017414 priority patent/WO2020261739A1/ja
Publication of JP2021005208A publication Critical patent/JP2021005208A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G06F16/535—Filtering based on additional data, e.g. user or group profiles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/54—Browsing; Visualisation therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0486—Drag-and-drop
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/14—Display of multiple viewports
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/38—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory with means for controlling the display position

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Processing Or Creating Images (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

【課題】ユーザの所望するような画像を直感的な操作によって得ることができる画像表示システムを提供する。【解決手段】画像表示システムにおいて制御部１１は、基準画像を表示面に表示させる第一表示制御部１０２と、基準画像とは異なる画像情報をそれぞれ有する複数の候補画像を、表示面の基準画像の表示領域の周辺において、選択可能に表示させる第二表示制御部１０４と、を備える。複数の候補画像の各々の画像データは、基準画像の画像データに基づいて決定される、所定空間上の探索領域に含まれる。【選択図】図４

Description

本発明は、画像表示システム及びプログラムに関する。
近年、ＡＩ（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ；人工知能）による画像の自動生成の技術が開発されている。例えば、下記非特許文献１には、ＧＡＮ（Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋｓ；敵対的生成ネットワーク）と呼ばれるアルゴリズムを用いて人物のイラストを自動生成する技術が開示されている。
非特許文献２には、アニメキャラクタに特化した画像の自動生成技術、およびアニメキャラクタをユーザの好みに応じて生成するためのインタフェースについて開示されている。
Ian J. Goodfellow, Jean Pouget-Abadie, Mehdi Mirza, Bing Xu, David Warde-Farley, Sherjil Ozair, Aaron Courville, Yoshua Bengio, "Generative Adversarial Nets" In NIPS 2014. Yanghua Jin, Jiakai Zhang, Minjun Li, Yingtao Tian, Huachun Zhu, Zhihao Fang, "Towards the Automatic Anime Characters Creation with Generative Adversarial Networks" eprint arXiv, https://arxiv.org/abs/1708.05509
しかしながら上記非特許文献２に開示された技術では、抽象的なパラメータが画像自動生成の入力値として用いられるため、ユーザが所望する画像を自動生成するにはユーザに対して多数の試行が必要となり、ユーザにとって負担が大きい。
本発明は、このような問題を鑑みてなされたものであり、ユーザの所望するような画像を直感的な操作によって得ることができる画像表示システム及びプログラムを提供することを目的とする。
本発明によれば、基準画像を表示面に表示させる第一表示制御部と、前記基準画像とは異なる画像情報をそれぞれ有する複数の候補画像を、前記表示面の前記基準画像の表示領域の周辺において、選択可能に表示させる第二表示制御部と、を備え、前記複数の候補画像の各々の画像データは、前記基準画像の画像データに基づいて決定される、所定空間上の探索領域に含まれる、画像表示システムが提供される。
また、本発明によれば、コンピュータを、基準画像を表示面に表示させる第一表示制御手段と、前記基準画像とは異なる画像情報をそれぞれ有する複数の候補画像を、前記表示面の前記基準画像の表示領域の周辺において、選択可能に表示させる第二表示制御手段と、として機能させ、前記複数の候補画像の各々の画像データは、前記基準画像の画像データに基づいて決定される、所定空間上の探索領域に含まれる、プログラムが提供される。
その他本願が開示する課題やその解決方法については、発明の実施形態の欄及び図面により明らかにされる。
本発明によれば、ユーザの所望するような画像を直感的な操作によって得ることができる。
本発明の一実施形態に係る画像表示システムの全体構成例を示す図である。 同実施形態に係る画像処理サーバのハードウェア構成例を示す図である。 同実施形態に係るユーザ端末のハードウェア構成例を示す図である。 同実施形態に係る制御部の機能構成例を示す図である。 同実施形態に係る第一表示制御部による表示制御の一例を示す図である。 同実施形態に係る所定空間および探索領域の一例を示す図である。 同実施形態に係る領域設定部による領域設定処理の一例を示す図である。 同実施形態に係る第二表示制御部による表示制御の一例を示す図である。 同実施形態に係る操作取得部による取得処理の一例を示す図である。 同実施形態に係る所定空間および探索領域の一例を示す図である。 同実施形態に係る第一表示制御部による表示制御処理の一例を示す図である。 同実施形態に係る所定空間および探索領域の一例を示す図である。 同実施形態に係る調整部による調整処理の一例を示す図である。 同実施形態に係る調整部による選択対象集団の調整に係る処理の一例を示す図である。 同実施形態に係る調整部による選択対象集団の調整に係る処理の一例を示す図である。 同実施形態の変形例に係る領域設定部による探索領域の設定処理の一例を示す図である。 同実施形態の変形例に係る領域設定部による探索領域の設定処理の一例を示す図である。 同実施形態の変形例に係る領域設定部による探索領域の設定処理の一例を示す図である。 同実施形態の画像表示システムにより実行される処理の流れを示すフローチャートである。
本発明の実施形態の内容を列記して説明する。本発明の一実施形態による画像処理装置及びプログラムは、以下のような構成を備える。
［項目１］
基準画像を表示面に表示させる第一表示制御部と、
前記基準画像とは異なる画像情報をそれぞれ有する複数の候補画像を、前記表示面の前記基準画像の表示領域の周辺において、選択可能に表示させる第二表示制御部と、
を備え、
前記複数の候補画像の各々の画像データは、前記基準画像の画像データに基づいて決定される、所定空間上の探索領域に含まれる、画像表示システム。
［項目２］
前記第一表示制御部は、前記表示面に表示された前記複数の候補画像のうち一の画像に対する選択が入力された場合に、選択された前記一の画像を前記基準画像として表示させる、項目１に記載の画像表示システム。
［項目３］
前記第一表示制御部は、選択された前記一の画像を、前記基準画像が表示されていた領域に前記基準画像として表示させる、項目２に記載の画像表示システム。
［項目４］
前記複数の候補画像のうち一の画像に対する選択の入力は、前記一の画像の前記基準画像が表示されている領域に向かう前記表示面上での操作体の移動に基づく入力である、項目３に記載の画像表示システム。
［項目５］
前記探索領域は、前記基準画像の画像データと、先に前記基準画像として選択された画像の画像データとの距離に基づいて設定される、項目１〜４のいずれか一項に記載の画像表示システム。
［項目６］
前記探索領域は、前記基準画像の画像データと、先に前記基準画像として選択された複数の画像の画像データとの距離に基づいて設定される、項目５に記載の画像表示システム。
［項目７］
前記探索領域は、先に前記基準画像として選択された複数の画像の画像データの、前記所定空間上における分布に基づいて設定される、項目１〜６のいずれか一項に記載の画像表示システム。
［項目８］
前記探索領域は、先に前記基準画像として選択された複数の画像の画像データの、前記所定の空間上における推移に基づいて設定される、項目７に記載の画像表示システム。
［項目９］
前記探索領域は、前記表示面に表示される前記所定空間上における画像群の画像データのマッピング画面に対する操作に基づいて設定される、項目１〜８のいずれか一項に記載の画像表示システム。
［項目１０］
前記所定空間は、前記画像の画像データの座標空間を次元削減処理または次元数の調整処理をして得られる空間である、項目１〜９のいずれか一項に記載の画像表示システム。
［項目１１］
前記画像データは、前記画像をベクトル化処理して得られる、項目１〜１０のいずれか一項に記載の画像表示システム。
［項目１２］
前記第二表示制御部は、前記基準画像と前記複数の候補画像の各々との前記所定空間上の距離に基づいて、前記複数の候補画像の各々の前記表示面上における表示態様を制御する、項目１〜１１のいずれか一項に記載の画像表示システム。
［項目１３］
前記第二表示制御部は、前記基準画像と前記複数の候補画像の各々との前記所定の空間上の距離に基づいて、前記複数の候補画像の各々の前記表示面上の表示位置を決定する、項目１２に記載の画像表示システム。
［項目１４］
前記第二表示制御部は、前記基準画像と前記複数の候補画像の各々との前記所定の空間上の距離に基づいて、前記複数の候補画像の各々と前記基準画像との前記表示面における距離を決定する、項目１３に記載の画像表示システム。
［項目１５］
前記第二表示制御部は、前記基準画像と前記複数の候補画像の各々との前記所定の空間上の距離に基づいて、前記複数の候補画像の各々の前記表示面上の表示サイズを制御する、項目１２〜１４のいずれか一項に記載の画像表示システム。
［項目１６］
前記第二表示制御部は、前記探索領域のうち、前記画像表示システムの処理状況に応じて設定されるサイズを有する選択対象集団から選択された前記候補画像を表示する、項目１〜１５のいずれか一項に記載の画像表示システム。
［項目１７］
前記画像表示システムの処理が進行するにつれて、前記探索領域に対する前記選択対象集団のサイズを大きく、または小さくする、項目１６に記載の画像表示システム。
［項目１８］
前記第二表示制御部は、前記表示面に表示される、前記探索領域のサイズを変更する領域変更オブジェクトに対する入力に基づく新たな探索領域に含まれる画像データを有する前記複数の候補画像を表示する、項目１〜１７のいずれか一項に記載の画像表示システム。
［項目１９］
コンピュータを、
基準画像を表示面に表示させる第一表示制御手段と、
前記基準画像とは異なる画像情報をそれぞれ有する複数の候補画像を、前記表示面の前記基準画像の表示領域の周辺において、選択可能に表示させる第二表示制御手段と、
として機能させ、
前記複数の候補画像の各々の画像データは、前記基準画像の画像データに基づいて決定される、所定空間上の探索領域に含まれる、プログラム。
以下、添付図面を参照しながら本発明の一実施形態について説明する。
図１は、本発明の一実施形態に係る画像表示システムの全体構成例を示す図である。本実施形態の画像表示システム１は、画像処理サーバ１０を含んで構成される。画像処理サーバ１０は、一又は複数のユーザ端末２０と通信ネットワークＮＷを介して通信可能に接続される。通信ネットワークＮＷは、たとえばインターネットであり、公衆電話回線網や携帯電話回線網、無線通信路、イーサネット（登録商標）などにより構築される。
本実施形態の画像表示システム１は、一又は複数のユーザに対して、ユーザの操作に応じて選択される画像に基づいてユーザの所望する画像を自動的に生成するサービスを提供しようとするものである。本実施形態の画像表示システム１は、たとえば、画像処理サーバ１０が複数の画像をユーザ端末２０に送信し、ユーザがユーザ端末２０を操作して複数の画像から少なくとも一の画像を選択し、画像処理サーバ１０がかかる選択に基づき少なくとも一の画像を自動生成する。画像処理サーバ１０は自動生成した画像をユーザ端末２０に送信して、ユーザが再度ユーザ端末２０に対して操作を行い一の画像を選択する。このような処理を繰り返すことにより、ユーザは自己の所望するような画像を直感的に選択し続けるだけで、ユーザが最も自己の指向と合う画像を得ることが可能となる。なお、画像表示システム１は、予め準備または生成された画像を所定のストレージ等に格納しておき、ユーザの操作に応じてユーザのリクエストに近い画像をユーザに提示するサービスを提供するものであってもよい。このような場合であれば、例えば、画像処理サーバ１０にかかる計算コストを削減したり、レイテンシを削減することができる。
画像処理サーバ１０は、ユーザ端末２０に対するユーザの操作に応じて選択される画像に基づいてユーザの所望する画像を自動的に生成する処理を行うためのコンピュータである。画像処理サーバ１０は、たとえば、パーソナルコンピュータ、ワークステーション、またはクラウドコンピューティングによる仮想的なコンピュータであってもよい。画像処理サーバ１０は、いわゆるＷｅｂアプリケーションとしてこれらの機能を実行することを想定する。なお、図１において、画像処理サーバ１０は単一のサーバとして図示しているが、これに限らず、画像表示システム１は、画像処理サーバ１０を含む複数の画像処理サーバを有し、分散処理によって本システムにおける処理を実行することができる。また、ここで、分散処理を行う画像処理サーバの台数の増減を、各処理の負荷及び／または各処理を行う対象となる画像のサイズや数に応じて動的に変更することもできる。また、画像処理サーバ１０は、オンラインで画像データを処理しても良い。
ユーザ端末２０は、携帯電話、スマートフォン、ゲーム機、タブレットコンピュータ、パーソナルコンピュータなどの端末機器である。
ユーザ端末２０は、表示部２６に表示された画像のうちユーザが選択した画像に関する情報を画像処理サーバ１０に送信し、送信した情報を基に生成された画像を画像処理サーバ１０から受信する。ユーザ端末２０には、例えば、本実施形態に係る画像表示システム１に対応するアプリケーションソフトやＷｅｂブラウザ等がインストールされていてもよい。
図２は、本実施形態に係る画像処理サーバ１０のハードウェア構成例を示す図である。画像処理サーバ１０は、少なくとも、制御部１１、メモリ１２、ストレージ１３、送受信部１４、入出力部１５、画像制御部１６、画像用メモリ１７等を備え、これらはバス１８を通じて相互に電気的に接続される。
制御部１１は、画像処理サーバ１全体の動作を制御し、各要素間におけるデータの送受信の制御、及びアプリケーションの実行及び認証処理に必要な情報処理等を行う演算装置である。制御部１１は、例えばＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）であり、ストレージ１３に格納されメモリ１１に展開されたプログラム等を実行して各情報処理を実施する。また、制御部１１は、後述する候補画像の探索範囲を制御する機能を有する。
メモリ１２は、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等の揮発性記憶装置で構成される主記憶と、フラッシュメモリやＨＤＤ（Ｈａｒｄ Ｄｉｓｃ Ｄｒｉｖｅ）等の不揮発性記憶装置で構成される補助記憶と、を含む。メモリ１２は、制御部１１のワークエリア等として使用され、また、画像処理サーバ１０の起動時に実行されるＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ／Ｏｕｔｐｕｔ Ｓｙｓｔｅｍ）、及び各種設定情報等を格納する。
ストレージ１３は、アプリケーション・プログラム等の各種プログラムを格納する。各処理に用いられるデータを格納したデータベース（図示せず）がストレージ１３に構築されていてもよい。
送受信部１４は、画像処理サーバ１０を通信ネットワークＮＷに接続する。なお、送受信部１４は、Ｂｌｕｅｔｏｏｔｈ（登録商標）やＷｉ−Ｆｉ（登録商標）などの近距離通信インタフェースを備えていてもよい。送受信部１４は、例えば、ユーザ端末２０から選択された画像に関する情報を受信したり、画像処理サーバ１０で自動生成した画像データをユーザ端末２０に送信したりする。入出力部１５は、キーボードやマウス類、コントローラ等の情報入力機器、及びディスプレイ等の出力機器である。
画像制御部１６は、画像を自動生成する処理を行う機能を有する。画像制御部１６は、例えば、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）であり、ホストであるＣＰＵからの命令を多数のコアにより同時に並列処理を行うことができる。また、画像制御部１６は、アクセラレーターや、アクセラレータークラスタにより同時に並列処理を行ってもよい。アクセラレーターとしては、例えば、ＣＰＵ、ＧＰＵ、ＦＰＧＡ、ＡＳＩＣ、独自定義のニューラルネットワーク専用演算コア、推論専用の光を用いた演算装置などが挙げられ、これらに限定されない。画像の自動生成処理は、例えば、ボルツマンマシン、Ｅｎｃｏｄｅｒ−Ｄｅｃｏｄｅｒ、ＧＡＮ、ＶＡＥ（Ｖａｒｉａｔｉｏｎａｌ Ａｕｔｏｅｎｃｏｄｅｒ）、ＳｔｙｌｅＴｒａｎｓｆｅｒ等の公知の機械学習のアルゴリズムが用いられる。
画像用メモリ１７は、自動生成された画像データを格納するために用いられる。画像用メモリ１７は、例えば、ＶＲＡＭ（Ｖｉｄｅｏ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）である。バス１８は、上記各要素に共通に接続され、例えば、アドレス信号、データ信号及び各種制御信号を伝達する。
図３は、本実施形態に係るユーザ端末２０のハードウェア構成例を示す図である。ユーザ端末２０は、少なくとも、制御部２１、メモリ２２、ストレージ２３、送受信部２４、入出力部２５、および表示部２６等を備え、これらはバス２７を通じて相互に電気的に接続される。制御部２１、メモリ２２、ストレージ２３、送受信部２４および入出力部２５の各構成要素は上述した画像処理サーバ１０の有する各構成要素のハードウェアとしての機能は同一であるため説明を省略する。
表示部２６は、各種情報を表示する機能を有する。表示部２６は、例えば、ディスプレイ等により実現されてもよい。また、表示部２６は、タッチパネルなど、入出力部２５と機能が一体となって実現されるものであってもよい。本実施形態では、表示部２６はタッチパネル（すなわちユーザの操作を受け付ける機能を有するもの）により実現されているものとして説明する。
図４は、本実施形態に係る制御部１１の機能構成例を示す図である。制御部１１は、画像取得部１０１、第一表示制御部１０２、領域設定部１０３、第二表示制御部１０４、操作取得部１０５、調整部１０６を備える。
なお、画像取得部１０１、第一表示制御部１０２、領域設定部１０３、第二表示制御部１０４、操作取得部１０５、調整部１０６は、画像処理サーバ１０が備える制御部１１又は画像制御部１６がストレージ１３に記憶されているプログラムをメモリ１２または画像メモリ１７に読み出して実行することにより実現される。また、各部で実行される処理について、その処理負荷やハードウェアリソースに応じて、画像処理サーバ１０内の複数の装置、及び／または、他のサーバで並列処理を行うこともできる。
画像取得部１０１は、画像データを取得する機能を有する。例えば、画像取得部１０１は、予めストレージ１３に格納されている画像データや、画像制御部１６により自動生成された画像データ（画像メモリ１７に記憶されていてもよい）を取得する。また、画像取得部１０１は、ユーザ端末２０等、外部ハードウェアから入出力部１５等を通して画像データを取得してもよい。なお、ここでいう画像データは、画像そのものを規定するデータに限らず、例えば、事前に画像データを圧縮したり特徴量を抽出したりして得られる、画像を規定するデータであってもよい。
第一表示制御部１０２は、基準画像を表示面に表示させる機能を有する。本実施形態に係る基準画像とは、画像制御部１６による画像の自動生成処理の入力パラメータとなる画像データを有する画像を意味する。かかる基準画像は、ユーザ端末２０の表示部２６の表示面に表示される。
図５は、本実施形態に係る第一表示制御部１０２による表示制御の一例を示す図である。図示するように、ユーザ端末２０の表示面２６ａには、Ｗｅｂアプリケーションの画面２００が表示されている。画面２００の中央部分には基準画像２０１が表示されている。基準画像２０１の周囲においては、一群の候補画像２０２ａ〜２０２ｎが表示されている。ここで候補画像とは、基準画像２０１を基に自動生成された画像のうち、後述する所定空間上の探索領域内に存在する一部または全部の画像である。所定空間とは、例えば、画像データを規定する多次元のベクトル空間を意味する。
また、画面２００には、過去に基準画像として選択された画像のサムネイル２０３ａ〜２０３ｃが時系列順となるように並べて表示されている。また、サムネイル２０３ｃに隣接して、現在の基準画像２０１のサムネイル２０４が表示されている。また、画面２００の上部には、後述する探索領域のサイズを調整するためのスライダーバー２０５が表示されている。なお、スライダーバー２０５は画面２００には必ずしも表示されなくてもよい。
領域設定部１０３は、探索領域を設定する機能を有する。探索領域とは、所定空間上における候補画像の取得対象領域を意味する。画像取得部１０１は、領域設定部１０３により設定された探索領域に含まれる候補画像の画像データを取得する。
図６は、本実施形態に係る所定空間および探索領域の一例を示す図である。図６に示すように、所定空間５００において、予め生成されているか、または画像制御部１６により生成された画像群の画像データが模式的にマッピングされている。この画面をマッピング画面と称する。かかる所定空間５００の次元数は特に限定されないが、説明のため、図６〜図８においては二次元的に所定空間５００を表現する。以下の説明においても、所定空間５００を二次元的に表現する。
図７は、本実施形態に係る領域設定部１０３による領域設定処理の一例を示す図である。図７に示すように、領域設定部１０３は、基準画像の画像データ５０１の座標を中心として、距離がＲ１以内となる領域を探索領域５０２として設定する。ここで設定される探索領域５０２に含まれる画像は、互いの画像データの類似度が高く、基準画像と比較的類似している可能性の高い画像である。また、ここでいう距離とは、例えば、ユークリッド距離、マンハッタン距離、マハラノビス汎距離、Earth Mover Distance、カルバック・ライブラー情報量等、多次元空間において規定される距離であり、その種類は特に限定されない。
第二表示制御部１０４は、探索領域５０２に含まれる候補画像を表示する機能を有する。例えば、画像取得部１０１は、図７に示す探索領域５０２に含まれる画像のうち一以上の画像を候補画像として取得し、第二表示制御部１０４が、取得された候補画像をユーザ端末２０の表示面２６ａに表示する。このとき第二表示制御部１０４は、表示面において、基準画像の表示領域の周辺において、選択可能に表示させる。
図８は、本実施形態に係る第二表示制御部１０４による表示制御の一例を示す図である。図示するように、画面２００において、基準画像２０１の周囲に、候補画像２０２ａ〜２０２ｎが表示されている。かかる候補画像２０２ａ〜２０２ｎは、ユーザの操作に対して選択可能に表示され得る。
これらの候補画像２０２ａ〜２０２ｎの表示態様は特に限定されない。例えば、第二表示制御部１０４は、基準画像２０１と候補画像２０２の各々との所定空間上での距離に基づいて、候補画像２０２の表示態様を制御してもよい。
ここでいう表示態様は、例えば表示位置であってもよい。具体的には、第二表示制御部１０４は、基準画像２０１と候補画像２０２の各々との所定空間上における距離の長短にあわせて、候補画像２０２と基準画像２０１との画面２００上での位置を決定してもよい。つまり、第二表示制御部１０４は、基準画像２０１と候補画像２０２との距離が遠ければ、画面２００上において候補画像２０２を基準画像２０１から離れた位置に表示させ、基準画像２０１と候補画像２０２との距離が近ければ、画面２００上において候補画像２０２を基準画像２０１に近い位置に表示させてもよい。これにより、基準画像２０１と候補画像２０２との類似度を画面２００を見るだけでユーザが直感的に把握することができる。
また表示態様は、例えば、画面２００上の大きさであってもよい。図８に示すように、例えば、第二表示制御部１０４は、基準画像２０１と候補画像２０２の各々との所定空間上における距離の長短にあわせて、候補画像２０２の表示サイズの大小を制御してもよい。具体的には、第二表示制御部１０４は、基準画像２０１と候補画像２０２の各々との所定空間上における距離が短ければ候補画像２０２の表示サイズを大きくし、該距離が長ければ候補画像２０２の表示サイズを小さくしてもよい。これにより、基準画像２０１と候補画像２０２との類似度を画面２００を見るだけでユーザが直感的に把握することができる。
また、図８に示すように、候補画像２０２の表示態様は、表示位置および表示サイズの組み合わせにより調整されてもよい。また、図８に示す例では、候補画像２０２が基準画像２０１を中心としてグリッド状に整列されているが、例えば基準画像２０１を中心とする円弧上に候補画像２０２が整列されてもよいし、基準画像２０１と候補画像２０２の群の表示位置が分別された態様で候補画像２０２が表示されてもよい。
操作取得部１０５は、ユーザ端末２０に対する操作に基づいて選択された候補画像２０２に係る情報を取得する機能を有する。例えば、ユーザ端末２０の表示面２６ａに対するユーザの操作により候補画像２０２が選択されると、ユーザ端末２０は選択された候補画像２０２に関する情報を画像処理サーバ１０に送信する。このとき、操作取得部１０５は、送受信部１４を介して該情報を取得する。
図９は、本実施形態に係る操作取得部１０５による取得処理の一例を示す図である。図示するように、ユーザの手等の操作体２０６により画面２００に対して候補画像２０２ｍが選択されたとする。この場合、ユーザ端末２０は、操作体２０６により選択された候補画像２０２ｍに係る情報を画像処理サーバ１０に送信し、操作取得部１０５が該情報を取得する。
なお、操作取得部１０５は、画面２００の候補画像２０２ｍが表示されている部分をタップまたはクリック等の操作によって特定された候補画像２０２ｍに係る情報を取得してもよいし、候補画像２０２ｍを基準画像２０１が表示されている領域に向かって操作体２０６を移動させる操作（例えば、スライドまたはフリック操作）によって、該情報を取得してもよい。これにより、候補画像２０２ｍを次の基準画像として選択する操作としてユーザにとって直感的となる。
図１０は、本実施形態に係る所定空間および探索領域の一例を示す図である。図示するように、所定空間５００において、操作取得部１０５が取得した情報に係る候補画像２０２ｍの画像データ５０３が特定される。このとき、かかる候補画像２０２ｍが次の基準画像２０１となる。画像取得部１０１は、候補画像２０２ｍを基準画像２０１として取得する。
図１１は、本実施形態に係る第一表示制御部１０２による表示制御処理の一例を示す図である。図示するように、第一表示制御部１０２は、図９において選択された候補画像２０２ｍを基準画像２０１として表示する。このとき、図１１に示すように、先に基準画像２０１として表示されていた位置に、候補画像２０２ｍが新たな基準画像として表示される。これにより、新たな基準画像をベースとする次の処理を行うことができる。なお、第一表示制御部１０２は、新たに基準画像２０１として選択された候補画像のサムネイル２０６を、先の基準画像のサムネイル２０４に隣接して表示してもよい。
図１２は、本実施形態に係る所定空間および探索領域の一例を示す図である。図示するように、先の候補画像２０２ｍが新たな基準画像２０１として選択されると、領域設定部１０３は、新たな基準画像２０１の画像データ５０３の座標を中心として、距離がＲ２以内となる領域を探索領域５０４として設定する。次の処理においては、この探索領域５０４に含まれる画像データを有する画像が候補画像の対象となる。
なお、探索範囲５０４の中心からの距離Ｒ２は、先の探索範囲５０２の中心からの距離Ｒ１と同じであってもよいし異なっていてもよい。例えば、距離Ｒ２は、距離Ｒ１よりも小さくてもよい。処理が進むに連れてユーザの所望する画像が生成されやすくなるので、該距離を小さくすることにより、より精度の高い候補画像が得られやすくなる。また、かかる距離の大きさは、処理の進行に応じて順次変更されてもよいし、図１１に示したようなスライダーバー２０５により自在に選択されてもよい。このような探索範囲の設定方法の変形例については後述する。
かかる機能部による処理を順次繰り返していくことで、ユーザが候補画像を選択し、かかる候補画像を新たな基準画像としてさらに候補画像が絞り込まれていく。このように、ユーザによる候補画像の選択を繰り返すだけで、ユーザの所望する画像を簡単に探索することが可能である。なお、図１１等には図示されていないが、画面２００には、ユーザによる選択が完了した場合（すなわち最後に基準画像として選択された画像がユーザの所望する画像である場合）に、画像の探索を終了するためのボタン等が表示されてもよい。
調整部１０６は、所定空間の次元や画像データの形式を調整する機能を有している。調整部１０６は、画像処理サーバ１０においては任意に設けられる。画像データを規定する所定空間の次元がある程度の大きさを有する場合、候補画像の探索のための計算量が増大する。この場合、候補画像を表示するまでのレイテンシが大きくなるため、ユーザエクスペリエンス（Ｕｓｅｒ Ｅｘｐｅｒｉｅｎｃｅ；ＵＸ）が低下したり、かかる計算に必要なメモリやＣＰＵ等のスペックが増加してしまう。また、いわゆる「次元の呪い」により、画像データ間の距離と、これらの画像データに係る画像の実現値（画像の見た目、一般的に画像データ間の距離が短いと実現値が近くなる、すなわち似たような画像となる）との相関が保てない可能性がある。そのネガティブな可能性を回避するために、調整部１０６は所定空間の次元や画像データの形式を調整する機能を有する。
例えば、調整部１０６は、画像データを規定する所定空間の次元を調整してもよい。次元の調整とは、例えば、ベクトルの次元数の調整や次元削減を意味する。図１３は、本実施形態に係る調整部１０６による調整処理の一例を示す図である。図１３を参照すると、調整部１０６による調整処理の前においては、画像データ５１１および画像データ５１２は、ｍ次元の空間５１０において規定されており、画像データ５２１および画像データ５２２は、ｎ次元の空間５２０において規定されている。ここで、画像データ５１１と画像データ５２１とは対応する画像の実現値を有し、画像データ５１２と画像データ５２２とは対応する画像の実現値を有し、互いの実現値は近く画像の見た目は類似していると感得できるものとする。また、次元数はｍ＞ｎとする。
図１３に示すように、ｍ次元の空間５１０において画像データ５１１と画像データ５１２との距離は大きいため、実現値は近くても、解析上画像データ５１１と画像データ５１２とは類似していないと判定される可能性が高い。そこで、調整部１０６により適切な次元の空間（この場合ｎ次元の空間５２０）となるように次元削減や次元調整にかかる処理を行うことで、画像データ５１２と画像データ５２２とのｎ次元の空間５２０を適切な距離に近づけることができる。これにより、候補画像の取得において、より適切な画像を取得することができる。次元削減や次元数調整の手法としては、例えば主成分分析、ＬＤＡ（Ｌｉｎｅａｒ Ｄｉｓｃｒｉｍｉｎａｎｔ Ａｎａｌｙｓｉｓ；線形判別分析）、ｔ−ＳＮＥ（ｔ−ｄｉｓｔｒｉｂｕｔｅｄ Ｓｔｏｃｈａｓｔｉｃ Ｎｅｉｇｈｂｏｒ Ｅｍｂｅｄｄｉｎｇ）等の手段を用いることができ、このような調整処理後の空間において、上述した処理を行うことができる。なお、かかる処理は画像生成処理にも適用でき、例えば、画像生成処理に用いられる学習モデルの学習時において、上記の処理を配慮して学習を行うことができる。
また、調整部１０６は、画像取得部１０１が取得する画像データについて、様々な手法においてベクトル化してもよい。例えば、調整部１０６は高次元である画像データを低次元化してもよい。また、画像データがベクトルデータではない場合は、調整部１０６は、該画像データを適宜ベクトル化してもよい。画像データのベクトル化は特に限定されず、例えば、主成分分析、ＬＤＡ（Ｌｉｎｅａｒ Ｄｉｓｃｒｉｍｉｎａｎｔ Ａｎａｌｙｓｉｓ；線形判別分析）、ｔ−ＳＮＥ（ｔ−ｄｉｓｔｒｉｂｕｔｅｄ Ｓｔｏｃｈａｓｔｉｃ Ｎｅｉｇｈｂｏｒ Ｅｍｂｅｄｄｉｎｇ）等の統計解析的な手段が用いられてもよいし、Ｅｎｃｏｄｅｒ−Ｄｅｃｏｄｅｒ、ＡｕｔｏＥｎｃｏｄｅｒ、ＳｔｙｌｅＴｒａｎｓｆｅｒ、ＶＧＧ等のＣｌａｓｓｉｆｉｅｒを特徴抽出に用い、モデルの学習時に画像生成と同時にベクトル化する箇所を学習することでベクトル化する手法が用いられてもよい。
また、調整部１０６は、領域設定部１０３により設定された探索領域のうち、画像表示システム１の処理状況に応じて、選択対象集団のサイズを調整してもよい。ここで、選択対象集団とは、探索領域に含まれる候補画像の群のうち、処理状況に応じて予め画面２００に表示すべき対象を限定した集団を意味する。第二表示制御部１０４は、この選択対象集団に含まれる候補画像を表示面２６ａに表示してもよい。
図１４および図１５は、本実施形態に係る調整部１０６による選択対象集団の調整に係る処理の一例を示す図である。図１４は先の処理、図１５は後の処理に係るものである。図１４に示すように、先の処理においては、所定空間５３０において基準画像に係る画像データ５３１を基準に探索領域５３２が設定されている。一方、図１５に示すように、後の処理においては、所定空間５３０において新たな基準画像に係る画像データ５３４を基準に探索領域５３５が設定されている。このとき、探索領域５３２は探索領域５３５よりも広い。
先の処理では、候補画像の多様性を図るために探索領域を広くする一方で、その精度は大きくなくてもよい。むしろ精度を維持しようとすると、探索領域が広いため処理の負荷が大きくなる。そこで、調整部１０６は、探索領域の内側において、候補画像の対象となる選択対象集団を調整する。その選択対象集団のサイズは比較的小さめに設定される。なお、図１４に示した例では、説明のため、所定の座標近傍付近の領域を選択対象集団として設定しているが、例えば、調整部１０６は、複数の位置を基準として複数の選択対象集団を設定してもよい。このように、候補画像の対象を選択対象集団のサイズを小さくして絞ることで、初期の処理においては高速に処理することができる。
一方で、図１５に示す後の処理においては、ユーザによる選択が順次進められている段階である。そのため、調整部１０６は、選択対象集団のサイズを比較的大きく設定してもよく、探索領域の全体を選択対象集団として調整してもよい。これにより、ユーザの志向に対して確度の高い画像を選択することが可能となる。また、逆に調整部１０６は、処理が進むに連れて選択対象集団のサイズを小さくしてもよい。
以上、制御部１１のソフトウェア構成の各機能について説明した。
次に、領域設定部１０３による領域設定処理の変形例について説明する。領域設定部１０３は、基準画像２０１の画像データに基づいて探索領域を設定する。その際、探索領域の位置やサイズは上述した設定の方法に限定されない。
図１６は、本実施形態の変形例に係る領域設定部１０３による探索領域の設定処理の一例を示す図である。図示するように、所定空間５４０において画像群が存在するが、そのうち画像表示システム１による過去の処理により、画像データ５４１、５４２、５４３に係る画像が基準画像として選択されたとする。この場合、領域設定部１０３は、画像データ５４１〜５４３に基づいて探索領域を設定してもよい。例えば、領域設定部１０３は、画像データ５４１〜５４３の重心や中心といった幾何的中心５４４の位置を基準として、探索領域５４５を設定してもよい。
図１７は、本実施形態の変形例に係る領域設定部１０３による探索領域の設定処理の一例を示す図である。図示するように、所定空間５５０において画像群が存在するが、そのうち画像表示システム１による過去の処理により、画像データ５５１〜５５７係る画像が基準画像として選択されたとする。この場合、領域設定部１０３は、画像データ５５１〜５５７の分布に基づいて探索領域を設定してもよい。例えば、領域設定部１０３は、画像データ５５１〜５５７について統計処理を行い、その平均値や分散等の統計値に基づいて探索領域５５８を設定してもよい。
図１８は、本実施形態の変形例に係る領域設定部１０３による探索領域の設定処理の一例を示す図である。図示するように、所定空間５６０において画像群が存在するが、そのうち画像表示システム１による過去の処理により、画像データ５６１、５６２、５６３、５６４に係る画像が基準画像として選択されたとする。一連の繰り返し処理では、画像データ５６１、５６２、５６３、５６４の順に基準画像として選択されている。
この場合、領域設定部１０３は、画像データ５６１〜５６４の基準画像としての選択の推移に基づいて探索領域を設定してもよい。図示するように、例えば、領域設定部１０３は、画像データ５６４に係る画像が基準画像として選択された場合に、画像データ５６１の推移の重み付き重心となる部分を中心とする領域を探索領域５６５として設定してもよい。これにより、ユーザの所望の画像が存在すると思われる領域を過去の推移から導くことができるので、探索効率を向上させることができる。重み付けの方法を変更する（例えば直前の処理で選択された基準画像に係る画像データに重みを大きくする）ことで、領域設定部１０３は、探索領域５６６を設定してもよい。
また、領域設定部１０３は、図８で示した画面２００に表示されているスライダーバー２０５を操作することによって、手動で探索領域を設定および調整してもよい。他にも、領域設定部１０３は、図６に示すような所定空間５００にマッピングされた画像群の画面を表示面２６ａに表示し、ユーザの操作の該画面に対する操作に基づいて探索領域を設定してもよい。
以上、領域設定部１０３による探索領域の設定処理の変形例について説明した。
図１９は、本実施形態の画像表示システム１により実行される処理の流れを示すフローチャートである。まず、画像取得部１０１は、基準画像の画像データを取得する（ＳＱ１０１）。次に、領域設定部１０３が、基準画像の画像データをもとに、所定空間上での探索領域を設定する（ＳＱ１０２）。次に、画像取得部１０１は、探索領域に含まれる候補画像の画像データを取得する（ＳＱ１０３）。
次に、第一表示制御部１０２は、基準画像を表示面に表示する処理を行う（ＳＱ１０４）。また、第二表示制御部１０４は、候補画像を表示面に表示する処理を行う（ＳＱ１０５）。次に、ユーザ端末２０の表示面２６ａへのユーザの操作に対して（ＳＱ１０６）、候補画像の一が選択された場合（ＳＱ１０６／ＹＥＳ）、操作取得部１０５は選択された候補画像に係る情報を取得する（ＳＱ１０７）。一方で、表示面２６ａへのユーザの操作に対して候補画像が選択されなかった（例えば処理を完了するボタンが選択された）場合（ＳＱ１０６／ＮＯ）、画像表示システム１による処理を終了する。
本発明の実施形態は、例えば、上記で説明したような電子機器、システム、電子機器またはシステムで実行される方法、電子機器を機能させるためのプログラム、およびプログラムが記録された一時的でない有形の媒体を含みうる。
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明の技術的範囲はかかる例に限定されない。本発明の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
例えば、上記実施形態においては、画像表示システム１は、画像処理サーバ１０とユーザ端末２０とにより構成されていたが、本発明はかかる例に限定されない。例えば他の実施形態では、画像表示システム１は、ユーザ端末２０のみにより構成されてもよい。この場合、画像処理サーバ１０が有している機能がユーザ端末２０の備える各種ハードウェアにより実現されてもよい。
また、上記実施形態における各ステップは、必ずしもフローチャート図として記載された順序に沿って時系列に処理される必要はない。例えば、上記実施形態の処理における各ステップは、フローチャート図として記載した順序と異なる順序で処理されても、並列的に処理されてもよい。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本発明に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
１ 画像表示システム
１０ 画像処理サーバ
１１ 制御部
１５ 画像制御部
１６ 画像用メモリ
２０ ユーザ端末
２６ 表示部
２６ａ 表示面
１０１ 画像取得部
１０２ 第一表示制御部
１０３ 領域設定部
１０４ 第二表示制御部
１０５ 操作取得部
１０６ 調整部

Claims (19)

  1. 基準画像を表示面に表示させる第一表示制御部と、
    前記基準画像とは異なる画像情報をそれぞれ有する複数の候補画像を、前記表示面の前記基準画像の表示領域の周辺において、選択可能に表示させる第二表示制御部と、
    を備え、
    前記複数の候補画像の各々の画像データは、前記基準画像の画像データに基づいて決定される、所定空間上の探索領域に含まれる、画像表示システム。
  2. 前記第一表示制御部は、前記表示面に表示された前記複数の候補画像のうち一の画像に対する選択が入力された場合に、選択された前記一の画像を前記基準画像として表示させる、請求項１に記載の画像表示システム。
  3. 前記第一表示制御部は、選択された前記一の画像を、前記基準画像が表示されていた領域に前記基準画像として表示させる、請求項２に記載の画像表示システム。
  4. 前記複数の候補画像のうち一の画像に対する選択の入力は、前記一の画像の前記基準画像が表示されている領域に向かう前記表示面上での操作体の移動に基づく入力である、請求項３に記載の画像表示システム。
  5. 前記探索領域は、前記基準画像の画像データと、先に前記基準画像として選択された画像の画像データとの距離に基づいて設定される、請求項１〜４のいずれか一項に記載の画像表示システム。
  6. 前記探索領域は、前記基準画像の画像データと、先に前記基準画像として選択された複数の画像の画像データとの距離に基づいて設定される、請求項５に記載の画像表示システム。
  7. 前記探索領域は、先に前記基準画像として選択された複数の画像の画像データの、前記所定空間上における分布に基づいて設定される、請求項１〜６のいずれか一項に記載の画像表示システム。
  8. 前記探索領域は、先に前記基準画像として選択された複数の画像の画像データの、前記所定の空間上における推移に基づいて設定される、請求項７に記載の画像表示システム。
  9. 前記探索領域は、前記表示面に表示される前記所定空間上における画像群の画像データのマッピング画面に対する操作に基づいて設定される、請求項１〜８のいずれか一項に記載の画像表示システム。
  10. 前記所定空間は、前記画像の画像データの座標空間を次元削減処理または次元数の調整処理をして得られる空間である、請求項１〜９のいずれか一項に記載の画像表示システム。
  11. 前記画像データは、前記画像をベクトル化処理して得られる、請求項１〜１０のいずれか一項に記載の画像表示システム。
  12. 前記第二表示制御部は、前記基準画像と前記複数の候補画像の各々との前記所定空間上の距離に基づいて、前記複数の候補画像の各々の前記表示面上における表示態様を制御する、請求項１〜１１のいずれか一項に記載の画像表示システム。
  13. 前記第二表示制御部は、前記基準画像と前記複数の候補画像の各々との前記所定の空間上の距離に基づいて、前記複数の候補画像の各々の前記表示面上の表示位置を決定する、請求項１２に記載の画像表示システム。
  14. 前記第二表示制御部は、前記基準画像と前記複数の候補画像の各々との前記所定の空間上の距離に基づいて、前記複数の候補画像の各々と前記基準画像との前記表示面における距離を決定する、請求項１３に記載の画像表示システム。
  15. 前記第二表示制御部は、前記基準画像と前記複数の候補画像の各々との前記所定の空間上の距離に基づいて、前記複数の候補画像の各々の前記表示面上の表示サイズを制御する、請求項１２〜１４のいずれか一項に記載の画像表示システム。
  16. 前記第二表示制御部は、前記探索領域のうち、前記画像表示システムの処理状況に応じて設定されるサイズを有する選択対象集団から選択された前記候補画像を表示する、請求項１〜１５のいずれか一項に記載の画像表示システム。
  17. 前記画像表示システムの処理が進行するにつれて、前記探索領域に対する前記選択対象集団のサイズを大きく、または小さくする、請求項１６に記載の画像表示システム。
  18. 前記第二表示制御部は、前記表示面に表示される、前記探索領域のサイズを変更する領域変更オブジェクトに対する入力に基づく新たな探索領域に含まれる画像データを有する前記複数の候補画像を表示する、請求項１〜１７のいずれか一項に記載の画像表示システム。
  19. コンピュータを、
    基準画像を表示面に表示させる第一表示制御手段と、
    前記基準画像とは異なる画像情報をそれぞれ有する複数の候補画像を、前記表示面の前記基準画像の表示領域の周辺において、選択可能に表示させる第二表示制御手段と、
    として機能させ、
    前記複数の候補画像の各々の画像データは、前記基準画像の画像データに基づいて決定される、所定空間上の探索領域に含まれる、プログラム。
JP2019118398A 2019-06-26 2019-06-26 画像表示システム及びプログラム Active JP6590329B1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2019118398A JP6590329B1 (ja) 2019-06-26 2019-06-26 画像表示システム及びプログラム
US17/622,110 US11698715B2 (en) 2019-06-26 2020-04-23 Image display system and program
PCT/JP2020/017414 WO2020261739A1 (ja) 2019-06-26 2020-04-23 画像表示システム及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019118398A JP6590329B1 (ja) 2019-06-26 2019-06-26 画像表示システム及びプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2019163721A Division JP7176164B2 (ja) 2019-09-09 2019-09-09 画像表示システム及びプログラム

Publications (2)

Publication Number Publication Date
JP6590329B1 JP6590329B1 (ja) 2019-10-16
JP2021005208A true JP2021005208A (ja) 2021-01-14

Family

ID=68234818

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019118398A Active JP6590329B1 (ja) 2019-06-26 2019-06-26 画像表示システム及びプログラム

Country Status (3)

Country Link
US (1) US11698715B2 (ja)
JP (1) JP6590329B1 (ja)
WO (1) WO2020261739A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7174114B1 (ja) 2021-06-22 2022-11-17 みずほリサーチ＆テクノロジーズ株式会社 探索システム、探索方法及び探索プログラム

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6590329B1 (ja) * 2019-06-26 2019-10-16 株式会社ラディウス・ファイブ 画像表示システム及びプログラム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000305946A (ja) * 1999-04-26 2000-11-02 Canon Inc 情報検索装置、情報検索方法、及び記憶媒体
JP2007272651A (ja) * 2006-03-31 2007-10-18 Research Organization Of Information & Systems 映像提供装置及び映像提供方法
JP2010250529A (ja) * 2009-04-15 2010-11-04 Yahoo Japan Corp 画像検索装置、画像検索方法及びプログラム
JP2011039944A (ja) * 2009-08-17 2011-02-24 Seiko Epson Corp 画像処理装置、画像処理方法および画像処理プログラム
JP2012083873A (ja) * 2010-10-08 2012-04-26 Utsunomiya Univ 画像検索装置、画像検索方法、画像検索プログラム、記録媒体、及び画像類似度算出プログラム
JP2013037390A (ja) * 2011-08-03 2013-02-21 Canon Inc 情報処理装置及びその制御方法

Family Cites Families (47)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5893095A (en) * 1996-03-29 1999-04-06 Virage, Inc. Similarity engine for content-based retrieval of images
US6345274B1 (en) * 1998-06-29 2002-02-05 Eastman Kodak Company Method and computer program product for subjective image content similarity-based retrieval
US6721449B1 (en) * 1998-07-06 2004-04-13 Koninklijke Philips Electronics N.V. Color quantization and similarity measure for content based image retrieval
AU6503800A (en) * 1999-07-30 2001-02-19 Pixlogic Llc Perceptual similarity image retrieval
US6834288B2 (en) * 2001-04-13 2004-12-21 Industrial Technology Research Institute Content-based similarity retrieval system for image data
KR100785002B1 (ko) * 2001-07-09 2007-12-11 삼성전자주식회사 색온도를 이용한 영상 브라우징 장치 및 방법
GB2395781A (en) * 2002-11-29 2004-06-02 Sony Uk Ltd Face detection
US7324711B2 (en) * 2004-02-26 2008-01-29 Xerox Corporation Method for automated image indexing and retrieval
JP4986279B2 (ja) * 2006-09-08 2012-07-25 任天堂株式会社 ゲームプログラムおよびゲーム装置
US8380005B1 (en) * 2009-02-02 2013-02-19 Adobe Systems Incorporated System and method for image composition using non-destructive editing model and fast gradient solver
JP5110098B2 (ja) * 2010-02-08 2012-12-26 カシオ計算機株式会社 表示処理装置、及び、プログラム
JP5414620B2 (ja) * 2010-05-24 2014-02-12 パナソニック株式会社 画像処理装置、画像処理方法、プログラム、及び集積回路
JP2012244526A (ja) * 2011-05-23 2012-12-10 Sony Corp 情報処理装置、情報処理方法及びコンピュータプログラム
JP2012244525A (ja) * 2011-05-23 2012-12-10 Sony Corp 情報処理装置、情報処理方法及びコンピュータプログラム
US20130080287A1 (en) * 2011-09-19 2013-03-28 Sdi Technologies, Inc. Virtual doll builder
US8589410B2 (en) * 2011-10-18 2013-11-19 Microsoft Corporation Visual search using multiple visual input modalities
WO2013114473A1 (ja) * 2012-02-02 2013-08-08 パナソニック株式会社 サーバー、端末装置、画像検索方法、画像処理方法、およびプログラム
US8949253B1 (en) * 2012-05-24 2015-02-03 Google Inc. Low-overhead image search result generation
EP2680615B1 (en) * 2012-06-25 2018-08-08 LG Electronics Inc. Mobile terminal and audio zooming method thereof
FR3009635B1 (fr) * 2013-08-08 2016-08-19 St Microelectronics Sa Procede de recherche d'une image similaire dans une banque d'images a partir d'une image de reference
US10068149B2 (en) * 2013-12-27 2018-09-04 Intel Corporation Image processing utilizing reference images
WO2015177845A1 (ja) * 2014-05-19 2015-11-26 株式会社島津製作所 画像処理装置
TWI651673B (zh) * 2015-11-18 2019-02-21 財團法人資訊工業策進會 商品圖片搜尋方法及商品圖片搜尋系統
US11163819B2 (en) * 2017-10-23 2021-11-02 Adobe Inc. Image search and retrieval using object attributes
KR102599947B1 (ko) * 2017-10-27 2023-11-09 삼성전자주식회사 관련 이미지를 검색하기 위한 전자 장치 및 이의 제어 방법
EP3729294A1 (en) * 2017-12-22 2020-10-28 Google LLC Image selection suggestions
US11209442B2 (en) * 2017-12-22 2021-12-28 Google Llc Image selection suggestions
JP7095335B2 (ja) * 2018-03-19 2022-07-05 株式会社リコー 画像検索装置、印刷物、画像検索方法及び画像検索プログラム
US10755447B2 (en) * 2018-04-19 2020-08-25 Adobe Inc. Makeup identification using deep learning
US10607065B2 (en) * 2018-05-03 2020-03-31 Adobe Inc. Generation of parameterized avatars
KR20190140519A (ko) * 2018-05-29 2019-12-20 삼성전자주식회사 전자 장치 및 그의 제어방법
EP3834098A4 (en) * 2018-09-12 2021-08-11 Avigilon Corporation SYSTEM AND METHOD FOR IMPROVING THE SPEED OF SIMILARITY-BASED SEARCHES
US11089238B2 (en) * 2019-01-18 2021-08-10 Snap Inc. Personalized videos featuring multiple persons
WO2020188924A1 (ja) * 2019-03-20 2020-09-24 日本電気株式会社 情報処理装置、検索方法、及びプログラムが格納された非一時的なコンピュータ可読媒体
WO2020235862A1 (en) * 2019-05-17 2020-11-26 Samsung Electronics Co., Ltd. Image manipulation
JP6590329B1 (ja) * 2019-06-26 2019-10-16 株式会社ラディウス・ファイブ 画像表示システム及びプログラム
KR102641424B1 (ko) * 2019-08-09 2024-02-28 삼성전자주식회사 컴퓨팅 장치 및 그 동작 방법
WO2021061652A1 (en) * 2019-09-23 2021-04-01 Aquent Llc Methods and apparatus for assessing candidates for visual roles
US11176193B2 (en) * 2019-10-24 2021-11-16 Adobe Inc. Search input generation for image search
US20210166058A1 (en) * 2019-12-03 2021-06-03 Ping An Technology (Shenzhen) Co., Ltd. Image generation method and computing device
US11593858B2 (en) * 2020-01-29 2023-02-28 Adobe Inc. Design-aware image search
US11257276B2 (en) * 2020-03-05 2022-02-22 Disney Enterprises, Inc. Appearance synthesis of digital faces
US11645328B2 (en) * 2020-03-17 2023-05-09 Adobe Inc. 3D-aware image search
KR20210138240A (ko) * 2020-05-12 2021-11-19 라인플러스 주식회사 아바타용 아이템 생성 방법, 컴퓨터 프로그램 및 컴퓨팅 장치
US11335069B1 (en) * 2020-11-30 2022-05-17 Snap Inc. Face animation synthesis
US11720651B2 (en) * 2021-01-28 2023-08-08 Adobe Inc. Text-conditioned image search based on transformation, aggregation, and composition of visio-linguistic features
US11644890B2 (en) * 2021-02-11 2023-05-09 Qualcomm Incorporated Image capturing in extended reality environments

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000305946A (ja) * 1999-04-26 2000-11-02 Canon Inc 情報検索装置、情報検索方法、及び記憶媒体
JP2007272651A (ja) * 2006-03-31 2007-10-18 Research Organization Of Information & Systems 映像提供装置及び映像提供方法
JP2010250529A (ja) * 2009-04-15 2010-11-04 Yahoo Japan Corp 画像検索装置、画像検索方法及びプログラム
JP2011039944A (ja) * 2009-08-17 2011-02-24 Seiko Epson Corp 画像処理装置、画像処理方法および画像処理プログラム
JP2012083873A (ja) * 2010-10-08 2012-04-26 Utsunomiya Univ 画像検索装置、画像検索方法、画像検索プログラム、記録媒体、及び画像類似度算出プログラム
JP2013037390A (ja) * 2011-08-03 2013-02-21 Canon Inc 情報処理装置及びその制御方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7174114B1 (ja) 2021-06-22 2022-11-17 みずほリサーチ＆テクノロジーズ株式会社 探索システム、探索方法及び探索プログラム
WO2022270203A1 (ja) * 2021-06-22 2022-12-29 みずほリサーチ＆テクノロジーズ株式会社 探索システム、探索方法及び探索プログラム
JP2023002325A (ja) * 2021-06-22 2023-01-10 みずほリサーチ＆テクノロジーズ株式会社 探索システム、探索方法及び探索プログラム
JP7459215B2 (ja) 2021-06-22 2024-04-01 みずほリサーチ＆テクノロジーズ株式会社 探索システム、探索方法及び探索プログラム

Also Published As

Publication number Publication date
US20220365636A1 (en) 2022-11-17
JP6590329B1 (ja) 2019-10-16
WO2020261739A1 (ja) 2020-12-30
US11698715B2 (en) 2023-07-11

Similar Documents

Publication Publication Date Title
EP3686848A1 (en) Semantic image synthesis for generating substantially photorealistic images using neural networks
US11393176B2 (en) Video tools for mobile rendered augmented reality game
US11373384B2 (en) Parameter configuration method, apparatus, and device for three-dimensional face model, and storage medium
WO2020261739A1 (ja) 画像表示システム及びプログラム
CN108664651B (zh) 一种图案推荐方法、装置及存储介质
CN111432267B (zh) 视频调整方法、装置、电子设备及存储介质
JP2016518647A (ja) 体験コンテンツデータセットに関するキャンペーン最適化
JP2019175266A (ja) 動作生成装置、モデル生成装置、動作生成方法及びプログラム
KR20220013560A (ko) 예측 데이터 프리로딩
JP6591527B2 (ja) フォンパッド
JP6183099B2 (ja) 入力支援装置、入力支援方法及び入力支援プログラム
TWI798912B (zh) 搜索方法、電子裝置及非暫時性電腦可讀記錄媒體
CN113426129A (zh) 自定义角色的相貌调整方法、装置、终端和存储介质
JP7215793B2 (ja) 画像表示システム及びプログラム
JP7176164B2 (ja) 画像表示システム及びプログラム
JP2023055725A (ja) 画像表示システム及びプログラム
JP2020077270A (ja) 仮想現実空間に配置される３ｄオブジェクトを生成する方法
US11645331B2 (en) Searching and ranking personalized videos
US11693543B2 (en) Electronic device and method for optimizing user interface of application
WO2022111001A1 (zh) 人脸图像的处理方法、装置、电子设备及存储介质
KR20190136441A (ko) 시간적 및 공간적 정규화를 통한 딥 러닝 기반의 실시간 3차원 제스처 인식 시스템 및 방법
JP7184835B2 (ja) コンピュータプログラム、方法及びサーバ装置
US20240020996A1 (en) Electronic device and method for identifying sentence indicated by strokes
JP6018014B2 (ja) 情報処理装置、特徴量変換システム、表示制御方法及び表示制御プログラム
WO2023189601A1 (ja) 情報処理装置、記録媒体及び情報処理方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190627

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20190627

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20190708

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190718

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190805

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190808

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190828

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190905

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190909

R150 Certificate of patent or registration of utility model

Ref document number: 6590329

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250