JP2023145192A - 情報処理装置及び情報処理プログラム - Google Patents

情報処理装置及び情報処理プログラム Download PDF

Info

Publication number
JP2023145192A
JP2023145192A JP2022052530A JP2022052530A JP2023145192A JP 2023145192 A JP2023145192 A JP 2023145192A JP 2022052530 A JP2022052530 A JP 2022052530A JP 2022052530 A JP2022052530 A JP 2022052530A JP 2023145192 A JP2023145192 A JP 2023145192A
Authority
JP
Japan
Prior art keywords
image data
information processing
user
projected
real object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022052530A
Other languages
English (en)
Inventor
晃平 梶山
Kohei Kajiyama
優作 粟津
Yusaku Awatsu
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Business Innovation Corp
Original Assignee
Fujifilm Business Innovation Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Business Innovation Corp filed Critical Fujifilm Business Innovation Corp
Priority to JP2022052530A priority Critical patent/JP2023145192A/ja
Priority to US17/893,461 priority patent/US20230306653A1/en
Priority to EP22198772.0A priority patent/EP4254141A1/en
Publication of JP2023145192A publication Critical patent/JP2023145192A/ja
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0486—Drag-and-drop
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/12—Digital output to print unit, e.g. line printer, chain printer
    • G06F3/1201—Dedicated interfaces to print systems
    • G06F3/1202—Dedicated interfaces to print systems specifically adapted to achieve a particular effect
    • G06F3/1203—Improving or facilitating administration, e.g. print management
    • G06F3/1208—Improving or facilitating administration, e.g. print management resulting in improved quality of the output result, e.g. print layout, colours, workflows, print preview
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/12—Digital output to print unit, e.g. line printer, chain printer
    • G06F3/1201—Dedicated interfaces to print systems
    • G06F3/1223—Dedicated interfaces to print systems specifically adapted to use a particular technique
    • G06F3/1237—Print job management
    • G06F3/1253—Configuration of print job parameters, e.g. using UI at the client
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/12—Digital output to print unit, e.g. line printer, chain printer
    • G06F3/1201—Dedicated interfaces to print systems
    • G06F3/1223—Dedicated interfaces to print systems specifically adapted to use a particular technique
    • G06F3/1237—Print job management
    • G06F3/1253—Configuration of print job parameters, e.g. using UI at the client
    • G06F3/1256—User feedback, e.g. print preview, test print, proofing, pre-flight checks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/12—Digital output to print unit, e.g. line printer, chain printer
    • G06F3/1201—Dedicated interfaces to print systems
    • G06F3/1278—Dedicated interfaces to print systems specifically adapted to adopt a particular infrastructure
    • G06F3/1285—Remote printer device, e.g. being remote from client or server
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K15/00—Arrangements for producing a permanent visual presentation of the output data, e.g. computer output printers
    • G06K15/02—Arrangements for producing a permanent visual presentation of the output data, e.g. computer output printers using printers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/60—Rotation of whole images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Geometry (AREA)
  • Quality & Reliability (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

【課題】所望の実物体に画像データを投影し、画像データの大きさ等を確認した後に印刷する場合に、投影対象となる実物体が複数であっても、所望の実物体を選択する。【解決手段】情報処理装置１０は、ＣＰＵ１１を備える。ＣＰＵ１１は、画像データを取得し、予め定められた載置面上に載置された複数の実物体であって、画像データの投影対象の候補となる複数の実物体の各々の載置面上の位置を検出し、複数の実物体に対する、ユーザによる操作の内容、及び、複数の実物体の各々の載置面上の位置に応じて、複数の実物体の中から投影対象の実物体の選択を受け付け、選択を受け付けた実物体の載置面上の位置に応じて、当該実物体に対して画像データを投影した後に、当該画像データを印刷する制御を行う。【選択図】図７

Description

本開示は、情報処理装置及び情報処理プログラムに関する。
例えば、特許文献１には、物体に貼り付けるための印刷物など、物体の表面に載せられる候補画像を編集することが可能な情報処理装置が記載されている。この情報処理装置は、所定の空間に存在する物体を検出する検出手段と、検出手段が検出した物体の形状情報を取得する取得手段と、検出手段が検出した物体に、物体の表面に載せられる候補画像を投影させる投影制御手段と、候補画像と物体の形状情報とに基づいて、候補画像を所定の印刷装置に印刷させるための印刷設定情報を設定する設定手段と、を備える。
また、特許文献２には、ユーザの利用状況や意図を考慮してジェスチャに対応する動作を実行することが可能な表示制御装置が記載されている。この表示制御装置は、表示面に対して行われた操作から、ジェスチャの内容を判定する判定部と、判定部が判定したジェスチャに対応する、表示面で表示される表示オブジェクトの配置方向を設定する効果及び効果の対象となる表示オブジェクトを決定する効果決定部と、を備える。この効果決定部は、操作が表示面上に存在する物理オブジェクトと所定の位置関係にある操作である場合に、物理オブジェクトの配置位置に基づいて表示オブジェクトを表示させ、操作が物理オブジェクトに沿って線を描く操作である場合に、物理オブジェクト上に表示オブジェクトを表示させる。
特開２０１４－２１１７６９号公報 特許第６９１１８７０号公報
ところで、所望の実物体に挿入したり、貼り付けたりする画像を印刷したい場合に、実物体の大きさに合わせて画像を印刷したいという要求がある。
１つの実物体に対して１つの画像データを投影し、当該画像データの大きさ等を調整する技術がある。しかしながら、画像データの投影対象となる実物体が複数ある場合に、所望の実物体を如何にして選択するかについては考慮されていない。
本開示は、所望の実物体に画像データを投影し、画像データの大きさ等を確認した後に印刷する場合に、投影対象となる実物体が複数であっても、所望の実物体を選択することができる情報処理装置及び情報処理プログラムを提供することを目的とする。
上記目的を達成するために、第１態様に係る情報処理装置は、プロセッサを備え、前記プロセッサが、画像データを取得し、予め定められた載置面上に載置された複数の実物体であって、前記画像データの投影対象の候補となる前記複数の実物体の各々の前記載置面上の位置を検出し、前記複数の実物体に対する、ユーザによる操作の内容、及び、前記複数の実物体の各々の前記載置面上の位置に応じて、前記複数の実物体の中から投影対象の実物体の選択を受け付け、前記選択を受け付けた実物体の前記載置面上の位置に応じて、当該実物体に対して前記画像データを投影した後に、当該画像データを印刷する制御を行う。
また、第２態様に係る情報処理装置は、第１態様に係る情報処理装置において、前記ユーザによる操作が、前記ユーザのジェスチャによる操作、前記ユーザによる前記載置面上に投影されたボタン操作、前記ユーザの音声による操作、及び、前記ユーザの視線による操作のいずれかの操作である。
また、第３態様に係る情報処理装置は、第１態様又は第２態様に係る情報処理装置において、前記プロセッサが、前記複数の実物体の各々の大きさを検出し、前記複数の実物体のうち第１実物体に前記画像データを投影している状態で、前記ユーザによる操作によって、前記第１実物体と大きさが異なる第２実物体の選択を受け付けた場合に、前記第２実物体の大きさに合わせて前記画像データの大きさを調整して前記第２実物体に投影する制御を行う。
また、第４態様に係る情報処理装置は、第１態様又は第２態様に係る情報処理装置において、前記プロセッサが、前記画像データに類似する過去の編集済み画像データが存在し、かつ、前記編集済み画像データに予め対応付けられた実物体と類似する実物体が前記複数の実物体の中に存在する場合、前記複数の実物体のうち前記類似する実物体に対して、前記画像データ及び前記編集済み画像データの少なくとも一方を投影する制御を行う。
また、第５態様に係る情報処理装置は、第４態様に係る情報処理装置において、前記プロセッサが、前記複数の実物体の各々の形状を検出し、前記検出した結果に基づいて、前記編集済み画像データに予め対応付けられた実物体と形状が類似する実物体が前記複数の実物体の中に存在するか否かを判定する。
また、第６態様に係る情報処理装置は、第４態様又は第５態様に係る情報処理装置において、前記プロセッサが、前記編集済み画像データが複数ある場合に、前記複数の編集済み画像データを、前記画像データと共に、又は、前記画像データに代えて、投影する制御を行う。
また、第７態様に係る情報処理装置は、第１態様又は第２態様に係る情報処理装置において、前記プロセッサが、前記ユーザによる操作によって、前記複数の実物体をグループ化して１つの投影対象とし、前記グループ化した１つの投影対象に対して、前記画像データを投影する制御を行う。
また、第８態様に係る情報処理装置は、第１態様又は第２態様に係る情報処理装置において、前記プロセッサが、前記複数の実物体のうち第１実物体に前記画像データを投影している状態で、前記第１実物体を移動又は回転させた場合に、前記画像データを前記第１実物体に追従して移動又は回転させる。
また、第９態様に係る情報処理装置は、第８態様に係る情報処理装置において、前記プロセッサが、前記ユーザによる操作が予め定めた操作である場合に、前記追従を解除する。
また、第１０態様に係る情報処理装置は、第９態様に係る情報処理装置において、前記プロセッサが、前記追従を行う場合の前記載置面に投影する背景色と、前記追従を解除した場合の前記載置面に投影する背景色とが異なるように制御する。
また、第１１態様に係る情報処理装置は、第１態様～第１０態様の何れか１態様に係る情報処理装置において、前記プロセッサが、過去に得られた編集済み画像データの一覧である編集済み画像一覧を、前記載置面に投影する制御を行い、前記編集済み画像一覧から選択された編集済み画像データを、投影する画像データとする。
また、第１２態様に係る情報処理装置は、第１１態様に係る情報処理装置において、前記プロセッサが、前記編集済み画像一覧から選択された編集済み画像データに対して、前記ユーザによる予め定めた操作を受け付けた場合に、当該編集済み画像データの編集前画像データを投影する制御を行う。
また、第１３態様に係る情報処理装置は、第１態様～第１０態様の何れか１態様に係る情報処理装置において、前記プロセッサが、投影中の画像データを含む画像データの一覧である画像一覧を、前記載置面に投影する制御を行い、投影する画像データを追加する場合、前記画像一覧から選択された画像データを、投影する画像データとして追加する。
また、第１４態様に係る情報処理装置は、第１３態様に係る情報処理装置において、前記プロセッサが、前記画像一覧に含まれる前記投影中の画像データに対して、前記ユーザによる予め定めた操作を受け付けた場合、前記投影中の画像データを投影対象から除外する。
また、第１５態様に係る情報処理装置は、第１態様～第１０態様の何れか１態様に係る情報処理装置において、前記プロセッサが、画像データの一覧である画像一覧を、前記載置面の前記複数の実物体が載置された領域以外の領域に投影すると共に、前記載置面の前記複数の実物体が載置された領域に対して、前記画像一覧に含まれる画像データを投影する制御を行う。
また、第１６態様に係る情報処理装置は、第１５態様に係る情報処理装置において、前記プロセッサが、前記画像一覧から画像データが選択された場合、前記載置面の前記複数の実物体が載置された領域に投影中の画像データのうち、前記選択された画像データに対応する画像データの表示形態を変化させる。
また、第１７態様に係る情報処理装置は、第１６態様に係る情報処理装置において、前記プロセッサが、前記画像一覧から複数の画像データが選択された場合、前記複数の画像データをグループ化して１つの投影画像データとする。
更に、上記目的を達成するために、第１８態様に係る情報処理プログラムは、画像データを取得し、予め定められた載置面上に載置された複数の実物体であって、前記画像データの投影対象の候補となる前記複数の実物体の各々の前記載置面上の位置を検出し、前記複数の実物体に対する、ユーザによる操作の内容、及び、前記複数の実物体の各々の前記載置面上の位置に応じて、前記複数の実物体の中から投影対象の実物体の選択を受け付け、前記選択を受け付けた実物体の前記載置面上の位置に応じて、当該実物体に対して前記画像データを投影した後に、当該画像データを印刷する制御を行うことを、コンピュータに実行させる。
第１態様及び第１８態様によれば、所望の実物体に画像データを投影し、画像データの大きさ等を確認した後に印刷する場合に、投影対象となる実物体が複数であっても、所望の実物体を選択することができる、という効果を有する。
第２態様によれば、ジェスチャ操作、ボタン操作、音声操作、及び視線操作のいずれかの操作によって、直感的に所望の実物体を選択することができる、という効果を有する。
第３態様によれば、画像データを手動でリサイズする場合と比較して、画像データのリサイズに要する工数を低減することができる、という効果を有する。
第４態様によれば、投影対象とする実物体を手動で選択する場合と比較して、実物体の選択に要する工数を低減することができる、という効果を有する。
第５態様によれば、複数の実物体の中に、画像データと類似する編集済み画像データに予め対応付けられた実物体と形状が類似する実物体が存在するか否かを判定することができる、という効果を有する。
第６態様によれば、投影対象とする実物体に対して、画像データと類似する複数の編集済み画像データを投影することができる、という効果を有する。
第７態様によれば、複数の実物体をグループ化した１つの投影対象に対して画像データを投影することができる、という効果を有する。
第８態様によれば、投影する画像データを動かすのではなく、載置面上の実物体を動かして調整する場合に、実物体に画像データを追従させることができる、という効果を有する。
第９態様によれば、実物体に画像データを追従させたくない場合に、追従を解除することができる、という効果を有する。
第１０態様によれば、ユーザが一見して、追従を行う状態であるか、あるいは、追従を解除した状態であるかを把握することができる、という効果を有する。
第１１態様によれば、編集済み画像一覧の中から所望の編集済み画像データを選択して投影することができる、という効果を有する。
第１２態様によれば、編集済み画像一覧の中から選択された編集済み画像データについての編集前画像データを投影することができる、という効果を有する。
第１３態様によれば、投影中の画像データを含む画像一覧の中から所望の画像データを追加して投影することができる、という効果を有する。
第１４態様によれば、画像一覧に含まれる投影中の画像データを投影対象から除外することができる、という効果を有する。
第１５態様によれば、画像一覧を投影させながら、画像一覧に含まれる画像データを、複数の実物体が配置された載置面上に投影することができる、という効果を有する。
第１６態様によれば、画像一覧から画像データが選択された場合に、ユーザが一見して、対応する投影中の画像データを把握することができる、という効果を有する。
第１７態様によれば、画像一覧から選択された複数の画像データをグループ化することができる、という効果を有する。
第１の実施形態に係る情報処理装置の外観の一例を示す図である。 （Ａ）～（Ｃ）は、実施形態に係る実物体の一例を示す図である。 実施形態に係るユースケースの説明に供する図である。 実施形態に係る別のユースケースの説明に供する図である。 実施形態に係る更に別のユースケースの説明に供する図である。 第１の実施形態に係る情報処理装置の電気的な構成の一例を示すブロック図である。 第１の実施形態に係る情報処理装置の機能的な構成の一例を示すブロック図である。 実施形態に係る情報処理装置による画像投影・印刷処理の説明に供する図である。 （Ａ）～（Ｄ）は、実施形態に係るジェスチャ操作の説明に供する図である。 （Ａ）～（Ｄ）は、実施形態に係る別のジェスチャ操作の説明に供する図である。 第１の実施形態に係る情報処理プログラムによる処理の流れの一例を示すフローチャートである。 実施形態に係る載置面上に載置された複数の実物体の一例を示す図である。 実施形態に係る載置面上に投影された画像データの一例を示す図である。 実施形態に係るユーザの手によるジェスチャ操作の説明に供する図である。 実施形態に係るユーザの手による別のジェスチャ操作の説明に供する図である。 実施形態に係るユーザの手による更に別のジェスチャ操作の説明に供する図である。 実施形態に係るユーザの手によるボタン操作の説明に供する図である。 実施形態に係るユーザの手によるボタン操作の説明に供する図である。 実施形態に係るユーザの手によるボタン操作の説明に供する図である。 実施形態に係るユーザの手によるボタン操作の説明に供する図である。 第２の実施形態に係る画像データの自動リサイズ処理の説明に供する図である。 第３の実施形態に係る情報処理プログラムによる自動選択処理の流れの一例を示すフローチャートである。 （Ａ）は、類似する実物体に投影された画像データの一例を示す図である。（Ｂ）は、デフォルト位置に投影された画像データの一例を示す図である。 画像データと共に投影された複数の編集済み画像データの一例を示す図である。 第４の実施形態に係る複数の実物体のグループ化処理の説明に供する図である。 グループ化された複数の実物体に投影された画像データの一例を示す図である。 第５の実施形態に係る画像データの自動追尾処理の説明に供する図である。 第５の実施形態に係る画像データの別の自動追尾処理の説明に供する図である。 第５の実施形態に係る画像データの自動追尾解除処理の説明に供する図である。 （Ａ）及び（Ｂ）は、第６の実施形態に係る編集済み画像一覧画面の説明に供する図である。 （Ａ）及び（Ｂ）は、第７の実施形態に係る投影画像選択画面の説明に供する図である。 （Ａ）及び（Ｂ）は、第７の実施形態に係る投影画像選択画面の説明に供する図である。 第７の実施形態に係る投影画像選択画面の説明に供する図である。 （Ａ）及び（Ｂ）は、第８の実施形態に係る投影中オブジェクト一覧画面の説明に供する図である。 （Ａ）及び（Ｂ）は、第８の実施形態に係る投影中オブジェクト一覧画面の説明に供する図である。 （Ａ）及び（Ｂ）は、第８の実施形態に係る投影中オブジェクト一覧画面の説明に供する図である。 （Ａ）及び（Ｂ）は、第８の実施形態に係る投影中オブジェクト一覧画面の説明に供する図である。 第８の実施形態に係る投影中オブジェクト一覧画面の説明に供する図である。 第９の実施形態に係る印刷実行画面の説明に供する図である。 第９の実施形態に係る印刷実行画面の説明に供する図である。 第９の実施形態に係る印刷実行画面の説明に供する図である。 第９の実施形態に係る決済画面の説明に供する図である。 第９の実施形態に係る決済画面の説明に供する図である。 第９の実施形態に係る決済画面の説明に供する図である。
以下、図面を参照して、本開示の技術を実施するための形態の一例について詳細に説明する。なお、動作、作用、機能が同じ働きを担う構成要素及び処理には、全図面を通して同じ符号を付与し、重複する説明を適宜省略する場合がある。各図面は、本開示の技術を十分に理解できる程度に、概略的に示してあるに過ぎない。よって、本開示の技術は、図示例のみに限定されるものではない。また、本実施形態では、本開示と直接的に関連しない構成や周知な構成については、説明を省略する場合がある。
[第１の実施形態]
図１は、第１の実施形態に係る情報処理装置１０の外観の一例を示す図である。
図１に示すように、本実施形態に係る情報処理装置１０は、撮影部１８と、投影部１９と、印刷部２０と、を備えている。撮影部１８及び投影部１９は、印刷部２０の上方に一体的に設けられている。印刷部２０には、情報処理装置１０の制御装置（図示省略）が内蔵される。印刷部２０の上面には載置面（ステージ）３０が設けられており、載置面３０には実物体４０が載置される。ここでいう実物体とは、実空間における物体を意味し、仮想空間における物体は除外される。図１の実物体４０は、一例として、「うちわ」である。
撮影部１８は、例えば、カメラ、好ましくは、書画カメラであり、載置面３０上に載置された実物体４０を連続的に撮影する。また、撮影部１８は、載置面３０上において実物体４０の上にかざされたユーザの手を連続的に撮影する。
投影部１９は、例えば、プロジェクタ、好ましくは、単焦点プロジェクタであり、載置面３０上に載置された実物体４０に対してユーザの所望の画像データを投影する。また、投影部１９は、載置面３０に対して、ユーザからの操作入力を受け付けるためのＵＩ（Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）画面を投影する。
印刷部２０は、例えば、インクジェット方式、電子写真方式等のプリンタであり、実物体４０に投影して、ユーザにより編集された画像データに基づく画像を用紙等の記録媒体に印刷する。
本実施形態に係る情報処理装置１０は、ユーザが所望する実物体４０に挿入したり、貼り付けたりする画像を印刷する場合に、実物体４０に画像データを投影しながら、画像データの大きさ等を調整した上で、調整後の画像データに基づく画像を印刷する処理（以下、「画像投影・印刷処理」という。）を行う機能を備えている。なお、情報処理装置１０は、スキャン機能、プリント機能、及びコピー機能等を有していてもよい。これらコピー機能、プリント機能、及びスキャン機能は、情報処理装置１０における画像処理の一例である。
図２は、本実施形態に係る実物体４０の一例を示す図である。実物体４０の一例としては、図２（Ａ）に示すように、「プレゼントを入れる箱」でもよいし、図２（Ｂ）に示すように、「うちわ」でもよいし、図２（Ｃ）に示すように、「ユーザの手」でもよい。
図３は、本実施形態に係るユースケースの説明に供する図である。図３の例では、実物体４０の一例としてのスマートフォンのケース部分に、画像データを印刷して得られた印刷物を貼り付けて、自作のスマートフォンを作る場合について示している。
図３に示すように、本実施形態に係る情報処理装置１０によれば、ユーザによって載置面３０上に載置された実物体４０（図３の例ではスマートフォン）に対して、ユーザの所望の画像データ５０を投影する。ユーザは投影された画像データ５０を実物体４０に合わせて編集し、編集された画像データ５０を所望の用紙（例えば、はがきサイズの用紙）に印刷して印刷物５１を得る。なお、この印刷物５１は、実物体４０に合わせて切り抜いた後の状態を示す。そして、ユーザは実物体４０に対して印刷物５１を貼り付けて成果物５２（図３の例では自作のスマートフォン）を作成する。
図４は、本実施形態に係る別のユースケースの説明に供する図である。図４の例では、実物体４０の一例としてのうちわに、画像データを印刷して得られた印刷物を貼り付けて、自作のうちわを作る場合について示している。
図４に示すように、本実施形態に係る情報処理装置１０によれば、ユーザによって載置面３０上に載置された実物体４０（図４の例ではうちわ）に対して、ユーザの所望の画像データ５０を投影する。ユーザは投影された画像データ５０を実物体４０に合わせて編集し、編集された画像データ５０を所望の用紙（例えば、Ａ４サイズの用紙）に印刷して印刷物５１を得る。そして、ユーザは印刷物５１を実物体４０に合わせて切り抜き、実物体４０に貼り付けることで自作のうちわを作成する。
図５は、本実施形態に係る更に別のユースケースの説明に供する図である。図５の例では、実物体４０の一例としてのユーザの手に、画像データを印刷して得られた印刷物を貼り付けて、自作のネイルアートを作る場合について示している。
図５に示すように、本実施形態に係る情報処理装置１０によれば、ユーザによって載置面３０上に載置された実物体４０（図５の例ではユーザの手）に対して、ユーザの所望の画像データ５０（図５の例ではネイルアート）を投影する。但し、図５の例では、ユーザの手を載置面３０に置いたままだと、操作し難いため、ユーザの手を撮影して得られた画像データを投影して、実物体４０の代わりとしてもよい。この場合、画像データ５０と、ユーザの手を表す画像データとを合成して表示させ、画像データ５０のみを編集対象とする。ユーザは投影された画像データ５０を実物体４０に合わせて編集し、編集された画像データ５０を所望の用紙（例えば、シール用紙）に印刷して印刷物５１を得る。そして、ユーザは印刷物５１を実物体４０に合わせて切り抜き、実物体４０に貼り付けることで自作のネイルアートを作成する。
図６は、第１の実施形態に係る情報処理装置１０の電気的な構成の一例を示すブロック図である。
図６に示すように、本実施形態に係る情報処理装置１０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１３と、入出力インタフェース（Ｉ／Ｏ）１４と、記憶部１５と、表示部１６と、外部インタフェース（外部Ｉ／Ｆ）１７と、撮影部１８と、投影部１９と、印刷部２０と、近距離通信部２１と、を備えている。
ＣＰＵ１１、ＲＯＭ１２、ＲＡＭ１３、及びＩ／Ｏ１４は、バスを介して各々接続されている。Ｉ／Ｏ１４には、記憶部１５と、表示部１６と、外部Ｉ／Ｆ１７と、撮影部１８と、投影部１９と、印刷部２０と、近距離通信部２１と、を含む各機能部が接続されている。これらの各機能部は、Ｉ／Ｏ１４を介して、ＣＰＵ１１と相互に通信可能とされる。
ＣＰＵ１１、ＲＯＭ１２、ＲＡＭ１３、及びＩ／Ｏ１４によって制御装置が構成される。制御装置は、情報処理装置１０の一部の動作を制御するサブ制御部として構成されてもよいし、情報処理装置１０の全体の動作を制御するメイン制御部の一部として構成されてもよい。制御装置の各ブロックの一部又は全部には、例えば、ＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）等の集積回路又はＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）チップセットが用いられる。上記各ブロックに個別の回路を用いてもよいし、一部又は全部を集積した回路を用いてもよい。上記各ブロック同士が一体として設けられてもよいし、一部のブロックが別に設けられてもよい。また、上記各ブロックのそれぞれにおいて、その一部が別に設けられてもよい。制御装置の集積化には、ＬＳＩに限らず、専用回路又は汎用プロセッサを用いてもよい。
記憶部１５としては、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）、フラッシュメモリ等が用いられる。記憶部１５には、本実施形態に係る画像投影・印刷処理を実行するための情報処理プログラム１５Ａが記憶される。なお、この情報処理プログラム１５Ａは、ＲＯＭ１２に記憶されていてもよい。
情報処理プログラム１５Ａは、例えば、情報処理装置１０に予めインストールされていてもよい。情報処理プログラム１５Ａは、不揮発性の記憶媒体に記憶して、又はネットワークを介して配布して、情報処理装置１０に適宜インストールすることで実現してもよい。なお、不揮発性の記憶媒体の例としては、ＣＤ-ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、光磁気ディスク、ＨＤＤ、ＤＶＤ-ＲＯＭ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリ、メモリカード等が想定される。
本実施形態では、ユーザが操作を行うためのＵＩ画面は、投影部１９が載置面３０に対して投影するが、別途表示部１６を備えて、表示部１６が一部のＵＩ画面を表示するようにしてもよい。表示部１６には、例えば、液晶ディスプレイ（ＬＣＤ:Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）、有機ＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ等が用いられる。表示部１６は、タッチパネルを一体的に有している。表示部１６は、例えば、載置面３０の一部に設けられる。表示部１６は、操作パネルとして、情報処理装置１０のユーザから画像投影・印刷処理に関する各種の指示を受け付ける。また、表示部１６は、ユーザから受け付けた指示に応じて実行された処理の結果や、処理に対する通知等の各種の情報を表示する。
外部Ｉ／Ｆ１７は、ユーザが持参するＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）メモリ又はメモリカード等の可搬型記憶媒体と接続し、この可搬型記憶媒体に予め記憶されている画像データを情報処理装置１０に入力する。
撮影部１８は、上述したように、例えば、カメラ、好ましくは、書画カメラであり、載置面３０上に載置された実物体４０を連続的に撮影する。また、撮影部１８は、載置面３０上において実物体４０の上にかざされたユーザの手を連続的に撮影する。
投影部１９は、上述したように、例えば、プロジェクタ、好ましくは、単焦点プロジェクタであり、載置面３０上に載置された実物体４０に対してユーザの所望の画像データを投影する。また、投影部１９は、載置面３０に対して、ユーザからの操作入力を受け付けるためのＵＩ画面を投影する。
印刷部２０は、上述したように、例えば、インクジェット方式、電子写真方式等のプリンタであり、実物体４０に投影して、ユーザにより編集された画像データに基づく画像を用紙等の記録媒体に印刷する。
画像を形成する方式が電子写真方式の場合、印刷部２０は、感光体ドラム、帯電装置、露光装置、現像装置、転写装置、及び定着装置を含んでいる。帯電装置は、感光体ドラムに電圧を印加して感光体ドラムの表面を帯電させる。露光装置は、帯電装置で帯電された感光体ドラムを画像データに応じた光で露光することにより感光体ドラムに静電潜像を形成する。現像装置は、感光体ドラムに形成された静電潜像をトナーにより現像することで感光体ドラムにトナー像を形成する。転写装置は、感光体ドラムに形成されたトナー像を用紙に転写する。定着装置は、用紙に転写されたトナー像を加熱及び加圧により定着させる。
近距離通信部２１は、ユーザが持参する携帯端末（例えば、スマートフォン等）との間で近距離無線通信を行い、この携帯端末に予め記憶されている画像データを情報処理装置１０に入力する。近距離通信部２１には、例えば、ＮＦＣ（Ｎｅａｒ Ｆｉｅｌｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）等が適用される。ＮＦＣとは、１３．５６ＭＨｚの周波数を利用する通信距離１０ｃｍ程度の近距離無線通信技術である。
ところで、上述したように、画像データの投影対象となる実物体４０が複数ある場合に、所望の実物体を如何にして選択するかについては考慮されていない。
このため、本実施形態に係る情報処理装置１０は、画像データの投影対象の候補となる複数の実物体４０の各々の載置面３０上の位置を検出し、複数の実物体４０に対する、ユーザによる操作の内容、及び、複数の実物体４０の各々の載置面３０上の位置に応じて、複数の実物体４０の中から投影対象の実物体４０の選択を受け付け、選択を受け付けた実物体４０の載置面３０上の位置に応じて、実物体４０に対して画像データを投影した後に、画像データを印刷する。
具体的に、本実施形態に係る情報処理装置１０のＣＰＵ１１は、記憶部１５に記憶されている情報処理プログラム１５ＡをＲＡＭ１３に書き込んで実行することにより、図７に示す各部として機能する。なお、ＣＰＵ１１は、プロセッサの一例である。
図７は、第１の実施形態に係る情報処理装置１０の機能的な構成の一例を示すブロック図である。
図７に示すように、本実施形態に係る情報処理装置１０のＣＰＵ１１は、取得部１１Ａ、物体検出部１１Ｂ、操作検出部１１Ｃ、選択部１１Ｄ、投影制御部１１Ｅ、印刷制御部１１Ｆ、及び決済部１１Ｇとして機能する。
記憶部１５には、画像ＤＢ（ＤａｔａＢａｓｅ：データベース）１５１及び画像対応付けテーブル１５２が記憶されている。画像ＤＢ１５１は、ユーザが持参した可搬型記憶媒体又は携帯端末から取得された画像データを格納すると共に、過去に編集された編集済み画像データを格納する。また、画像対応付けテーブル１５２は、画像データと投影された実物体との対応関係を登録するためのデータテーブルである。画像対応付けテーブル１５２には、例えば、「犬の画像」を表す識別情報と、「うちわ」を表す識別情報とが対応付けられて登録される。
取得部１１Ａは、ユーザが持参する可搬型記憶媒体又は携帯端末から得られた画像データの中から、投影対象とする画像データを取得する。
物体検出部１１Ｂは、載置面３０上に載置された複数の実物体４０を検出する。このとき、物体検出部１１Ｂは、複数の実物体４０の各々の載置面３０上の位置を検出する。具体的には、撮影部１８により複数の実物体４０を撮影して得られた画像を解析することにより複数の実物体４０を検出する。複数の実物体４０の位置は、例えば、撮影部１８により撮影して得られた載置面３０を表す画像において特定の位置（中心、左上端、左下端、右上端、右下端）を基準点として座標で表される。
物体検出部１１Ｂは、実物体４０をキャプチャして輪郭線を検出してもよい。この輪郭線を、実物体４０に対応する画像データに基づく画像と共に用紙に印刷することで、画像の切り取り線として利用することが可能とされる。
操作検出部１１Ｃは、複数の実物体４０に対する、ユーザによる操作の内容を検出する。ユーザによる操作は、例えば、ユーザのジェスチャによる操作、ユーザによる載置面３０上に投影されたボタン操作、ユーザの音声による操作、及び、ユーザの視線による操作のいずれかの操作とされる。ジェスチャ操作の場合、撮影部１８により実物体４０の上にかざされたユーザの手を撮影して得られた画像を解析することによりユーザの手によるジェスチャ操作を検出する。
選択部１１Ｄは、複数の実物体４０に対する、ユーザによる操作の内容、及び、複数の実物体の各々の載置面３０上の位置に応じて、複数の実物体４０の中から投影対象の実物体４０の選択を受け付ける。
投影制御部１１Ｅは、投影部１９を制御し、選択部１１Ｄにより選択を受け付けた実物体４０の載置面３０上の位置に応じて、当該実物体４０に対して、取得部１１Ａによる取得された画像データを投影する。このとき、投影制御部１１Ｅは、画像データに対するユーザの編集操作を受け付ける。投影中の画像データの編集には、既存の技術が適用され、ユーザの操作に従って、例えば、投影画像の拡大、縮小、移動、回転、位置調整等の編集が可能とされる。なお、投影中の画像データを直接編集してもよいし、編集画面を別に投影して編集してもよい。
印刷制御部１１Ｆは、印刷部２０を制御し、投影部１９により投影され、編集後の画像データを、指定された用紙サイズ（例えば、Ａ４、Ｂ５、はがき等）、用紙種類（例えば、普通紙、厚紙、ラベル紙、シール紙等）に従って印刷する。
決済部１１Ｇは、印刷部２０により印刷して得られた印刷物に対して、例えば、ユーザの携帯端末又はＩＣカードを用いた決済（電子決済）を行う。
次に、図８～図１０を参照して、本実施形態に係る情報処理装置１０による画像投影・印刷処理について具体的に説明する。なお、図８～図１０の例では、載置面３０を真上から見た状態を示している。
図８は、本実施形態に係る情報処理装置１０による画像投影・印刷処理の説明に供する図である。
図８の（Ｓ１）では、ユーザが持参した可搬型記憶媒体又は携帯端末から取得した画像データのリストである画像リストを載置面３０に投影する。ユーザが画像リストから印刷したい画像データ５０を選択する。
（Ｓ２）では、ユーザが持参した複数の実物体４０Ａ、４０Ｂ、４０Ｃ（図８の例では「うちわ」）を載置面３０に載置する。ここで、複数の実物体４０Ａ、４０Ｂ、４０Ｃを特に区別して説明する必要がない場合には、単に実物体４０というものとする。
（Ｓ３）では、上記（Ｓ１）で選択した画像データ５０を、上記（Ｓ２）で載置面３０上に載置された複数の実物体４０Ａ、４０Ｂ、４０Ｃのうち中心の実物体４０Ｂに投影する。
（Ｓ４）では、ユーザの手６０（以下、「ユーザの指６０」、「ユーザの両手６０」ともいう。）によるジェスチャ操作を検出し、画像データ５０の投影対象を実物体４０Ｂから実物体４０Ｃに移動させる。
（Ｓ５）では、ユーザの手６０によるジェスチャ操作を検出し、投影されている画像データ５０の編集を受け付け、編集済み画像データを印刷ジョブに追加する。
（Ｓ６）では、ユーザにより印刷ジョブとして登録された画像リストの中から印刷したい画像データが選択され、「印刷」ボタンが押下されると、選択された画像データを印刷する。
図９は、本実施形態に係るジェスチャ操作の説明に供する図である。
図９（Ａ）に示すように、載置面３０の中央部又は編集中の画像データ５０の位置から左端部へ向けてユーザの手６０を動かすジェスチャ操作は、編集の「Ｕｎｄｏ（元に戻す）」を行う操作とされる。また、図９（Ｂ）に示すように、載置面３０の中央部又は編集中の画像データ５０の位置から右端部へ向けてユーザの手６０を動かすジェスチャ操作は、編集の「Ｒｅｄｏ（やり直し）」を行う操作とされる。また、図９（Ｃ）に示すように、載置面３０の中央部又は編集中の画像データ５０の位置から下端部へ向けてユーザの手６０を動かすジェスチャ操作は、投影中の画像データ５０の削除を行う操作とされる。なお、投影中の画像データ５０に編集が加えられた場合、その旨を示すメッセージを投影し、ユーザの確認を得た上で削除することが望ましい。また、図９（Ｄ）に示すように、載置面３０の中央部又は編集中の画像データ５０の位置から上端部へ向けてユーザの手６０を動かすジェスチャ操作は、編集中の画像データ５０を編集済み画像データとして画像ＤＢ１５１に追加する操作とされる。
図１０は、本実施形態に係る別のジェスチャ操作の説明に供する図である。
図１０（Ａ）に示すように、載置面３０の上端部から下端部に向けてユーザの手６０を動かすジェスチャ操作は、後述の編集済み画像一覧画面の投影を行う操作とされる。なお、その後、逆方向にユーザの手６０を動かすと編集済み画像一覧画面の投影が終了する。画像データ５０を編集中の場合、直近の編集内容は保持されたままとされる。また、図１０（Ｂ）に示すように、載置面３０の右端部から左端部に向けてユーザの手６０を動かすジェスチャ操作は、印刷ジョブが１つ以上存在する場合、後述の印刷実行画面の投影を行う操作とされる。なお、投影中の画像データ５０に編集が加えられた場合、その旨を示すメッセージを投影し、ユーザの確認を得た上で印刷実行画面を投影することが望ましい。一方、印刷ジョブが存在しない場合、その旨を示すメッセージを投影する。また、図１０（Ｃ）に示すように、載置面３０の下端部から上端部に向けてユーザの手６０を動かすジェスチャ操作は、後述の投影画像選択画面の投影を行う操作とされる。また、図１０（Ｄ）に示すように、載置面３０の左端部から右端部に向けてユーザの手６０を動かすジェスチャ操作は、後述の投影中オブジェクト一覧画面の投影を行う操作とされる。
次に、図１１を参照して、第１の実施形態に係る情報処理装置１０の作用を説明する。
図１１は、第１の実施形態に係る情報処理プログラム１５Ａによる処理の流れの一例を示すフローチャートである。
まず、情報処理装置１０に対して、画像投影・印刷処理の実行が指示されると、ＣＰＵ１１により情報処理プログラム１５Ａが起動され、以下の各ステップを実行する。
図１１のステップＳ１０１では、ＣＰＵ１１が、ユーザが持参する可搬型記憶媒体又は携帯端末から画像データを取得する。
ステップＳ１０２では、ＣＰＵ１１が、ステップＳ１０１で取得した画像データのリストである画像リストを載置面３０に投影し、ユーザから印刷したい画像データの選択を受け付ける。
ステップＳ１０３では、ＣＰＵ１１が、一例として、図１２に示すように、ユーザによって載置面３０に載置された複数の実物体４０Ａ～４０Ｃを検出する。このとき、複数の実物体４０Ａ～４０Ｃの各々についての載置面３０上の位置を検出する。
図１２は、本実施形態に係る載置面３０上に載置された複数の実物体４０Ａ～４０Ｃの一例を示す図である。図１２の例では、複数の実物体４０Ａ～４０Ｃの一例として複数の「うちわ」が載置面３０に載置され、これら全てが投影対象候補とされる。なお、図１２の例では、載置面３０を真上から見た状態を示している。
ステップＳ１０４では、ＣＰＵ１１が、一例として、図１３に示すように、載置面３０に対して、ステップＳ１０２で選択を受け付けた画像データ５０をデフォルト位置に投影する。
図１３は、本実施形態に係る載置面３０上に投影された画像データ５０の一例を示す図である。図１３の例では、画像データ５０を投影するデフォルト位置が載置面３０の略中央部とされる。
ステップＳ１０５では、ＣＰＵ１１が、複数の実物体４０Ａ～４０Ｃに対する、ユーザの操作を検出する。一例として、図１３に示すように、ユーザの手６０によるジェスチャ操作を検出する。
ステップＳ１０６では、ＣＰＵ１１が、ステップＳ１０５で検出されたユーザの操作に従って、複数の実物体４０Ａ～４０Ｃの中から投影対象とする実物体４０の選択を受け付ける。
ステップＳ１０７では、ＣＰＵ１１が、ステップＳ１０６で選択を受け付けた実物体４０に対して画像データ５０を投影する。ここでは、図１３に示すように、ユーザの手６０によるジェスチャ操作を検出して、投影対象とする実物体４０の選択を受け付け、投影を行う。
ここで、図１４～図１６を参照して、ユーザの手６０によるジェスチャ操作について具体的に説明する。
図１４は、本実施形態に係るユーザの手６０によるジェスチャ操作の説明に供する図である。図１４の例は、ユーザの手６０ではじくような操作であるフリック操作について示している。
図１４に示すように、載置面３０上でユーザの手６０によるフリック操作を行うと、ユーザの手６０を動かした向きに位置する実物体４０に画像データ５０が移動する。図１４の例では、ユーザの手６０を左向きに１回フリックしたため、画像データ５０がデフォルト位置から左側に位置する実物体４０Ａに移動する。更にユーザの手６０を左向きに１回フリックすると、実物体４０Ａの左側には実物体が存在しないため、画像データ５０が実物体４０Ａから実物体４０Ｃに移動する。
図１５は、本実施形態に係るユーザの手６０による別のジェスチャ操作の説明に供する図である。図１５の例は、ユーザの手６０で画像データ５０を引きずるような操作であるドラッグ操作について示している。
図１５に示すように、載置面３０上でユーザの手６０によるドラッグ操作を行うと、ユーザの手６０により画像データ５０がドロップされた位置（つまり、離した位置）に最も近い実物体４０に画像データ５０が移動する。図１５の例では、画像データ５０を実物体４０Ａの付近でドロップしたため、画像データ５０がデフォルト位置から実物体４０Ａに移動する。
図１６は、本実施形態に係るユーザの手６０による更に別のジェスチャ操作の説明に供する図である。図１６の例は、ユーザの指６０で実物体４０をたたくような操作であるタップ操作について示している。
図１６に示すように、載置面３０上でユーザの指６０によるタップ操作を行うと、ユーザの指６０によりタップされた実物体４０に画像データ５０が移動する。図１６の例では、実物体４０Ａが２回タップされたため、画像データ５０がデフォルト位置から実物体４０Ａに移動する。なお、タップ操作に限定されるものではなく、ユーザの指６０で指差しして特定された実物体４０に画像データを移動させるようにしてもよい。
次に、図１７～図２０を参照して、ユーザの手６０によるボタン操作について具体的に説明する。
図１７～図２０は、本実施形態に係るユーザの手６０によるボタン操作の説明に供する図である。
図１７に示すように、載置面３０上に複数の実物体４０Ａ～４０Ｃが載置され、実物体４０Ａが投影対象として選択されている。なお、図１７の例では、投影対象として選択されている実物体４０Ａが枠７０により明示されている。載置面３０には、透明なオブジェクトとして、メッセージ表示欄７１、「いいえ」ボタン７２、及び「はい」ボタン７３が投影される。メッセージ表示欄７１には、「こちらで投影対象はあっているでしょうか？」というメッセージが表示される。ユーザは、投影対象があっている場合、ユーザの手６０を「はい」ボタン７３に動かし、投影対象があっていない場合、ユーザの手６０を「いいえ」ボタン７２に動かす。「はい」ボタン７３又は「いいえ」ボタン７２は、例えば、ユーザの手６０によるタッチ操作又はユーザの手６０を一定時間保持する操作によって選択される。
図１８に示すように、ユーザの手６０が「はい」ボタン７３を選択すると、投影対象が確定される。一方、図１９に示すように、ユーザの手６０が「いいえ」ボタン７２を選択すると、投影対象が変更される。図１９の例では、枠７０が実物体４０Ａから実物体４０Ｂに移動して、投影対象が実物体４０Ａから実物体４０Ｂに変更されている。
上記により投影対象が確定した場合、一例として、図２０に示すように、ボタン操作を用いて投影する画像データを変更するようにしてもよい。
図２０に示す載置面３０には、透明なオブジェクトとして、図１７～図１９の例と同様に、メッセージ表示欄７１、「いいえ」ボタン７２、及び「はい」ボタン７３が投影される。メッセージ表示欄７１には、「こちらで投影画像はあっているでしょうか？」というメッセージが表示される。ユーザは、投影画像があっている場合、ユーザの手６０を「はい」ボタン７３に動かし、投影画像があっていない場合、ユーザの手６０を「いいえ」ボタン７２に動かす。「はい」ボタン７３又は「いいえ」ボタン７２は、例えば、ユーザの手６０によるタッチ操作又はユーザの手６０を一定時間保持する操作によって選択される。
図２０の例では、「いいえ」ボタン７２が選択される毎に投影中の画像データ５０が変更される。そして、所望の画像データが表示された場合に、「はい」ボタン７３を選択することで、投影画像が確定される。
図１１に戻り、ステップＳ１０８では、ＣＰＵ１１が、ステップＳ１０７で投影中の画像データ５０の編集を受け付ける。上述したように、ユーザの操作に従って、例えば、投影画像の拡大、縮小、移動、回転、位置調整等の編集が実行される。なお、編集済み画像データは画像ＤＢ１５１に格納され、編集済み画像データと実物体との対応関係は、画像対応付けテーブル１５２に登録される。
ステップＳ１０９では、ＣＰＵ１１が、ステップＳ１０８で編集後の画像データ５０を、指定された用紙サイズ（例えば、Ａ４、Ｂ５、はがき等）、用紙種類（例えば、普通紙、厚紙、ラベル紙、シール紙等）に従って印刷するように制御し、本情報処理プログラム１５Ａによる一連の処理を終了する。
なお、上記では、複数の実物体４０の中から所望の実物体４０を投影対象として選択する場合に、ユーザのジェスチャ操作及びボタン操作を用いる形態について説明したが、ユーザの音声による操作でも同様の選択操作が可能とされる。この場合、情報処理装置１０が音声認識機能を備えていればよい。また、ユーザの視線による操作でも同様の選択操作が可能とされる。この場合、情報処理装置１０は視線検出機能を備えていればよい。
このように本実施形態によれば、所望の実物体に画像データを投影し、画像データの大きさ等を確認した後に印刷する場合に、投影対象となる実物体が複数であっても、所望の実物体が選択される。
[第２の実施形態]
第２の実施形態では、投影画像を実物体の大きさに合わせて自動的にリサイズする形態について説明する。
本実施形態に係る情報処理装置（以下、「情報処理装置１０Ａ」という。）のＣＰＵ１１は、上記第１の実施形態で説明した情報処理装置１０と同様に、取得部１１Ａ、物体検出部１１Ｂ、操作検出部１１Ｃ、選択部１１Ｄ、投影制御部１１Ｅ、印刷制御部１１Ｆ、及び決済部１１Ｇとして機能する。以下、本実施形態に係る情報処理装置１０Ａについて、上記第１の実施形態に係る情報処理装置１０との相違点を説明する。
物体検出部１１Ｂは、複数の実物体４０の各々の大きさを検出する。
投影制御部１１Ｅは、複数の実物体４０のうち第１実物体に画像データ５０を投影している状態で、ユーザによる操作によって、第１実物体と大きさが異なる第２実物体の選択を受け付けた場合に、第２実物体の大きさに合わせて画像データの大きさを調整して第２実物体に投影する制御を行う。
図２１は、第２の実施形態に係る画像データ５０の自動リサイズ処理の説明に供する図である。
図２１に示すように、リサイズ前においては、複数の実物体４０Ａ～４０Ｃのうち第１実物体の一例である実物体４０Ａに画像データ５０が投影されている。図２１の例では、ユーザの指６０により第２実物体の一例である実物体４０Ｂがタップ操作されると、実物体４０Ｂが選択される。このため、リサイズ後においては、選択された実物体４０Ｂの大きさに合わせて画像データ５０の大きさが調整され、実物体４０Ｂに投影される。
このように本実施形態によれば、投影中の画像データが実物体の大きさに合わせてリサイズされる。このため、画像データのリサイズに要する工数が低減される。
[第３の実施形態]
第３の実施形態では、画像データの投影対象とする実物体を自動的に選択する形態について説明する。
本実施形態に係る情報処理装置（以下、「情報処理装置１０Ｂ」という。）のＣＰＵ１１は、上記第１の実施形態で説明した情報処理装置１０と同様に、取得部１１Ａ、物体検出部１１Ｂ、操作検出部１１Ｃ、選択部１１Ｄ、投影制御部１１Ｅ、印刷制御部１１Ｆ、及び決済部１１Ｇとして機能する。以下、本実施形態に係る情報処理装置１０Ｂについて、上記第１の実施形態に係る情報処理装置１０との相違点を説明する。
投影制御部１１Ｅは、画像データ５０に類似する過去の編集済み画像データが存在し、かつ、編集済み画像データに予め対応付けられた実物体と類似する実物体が複数の実物体４０の中に存在する場合、複数の実物体４０のうち類似する実物体に対して、画像データ５０、及び、類似する編集済み画像データの少なくとも一方を投影する制御を行う。なお、類似する編集済み画像データは、例えば、画像データ５０を編集して得られた画像データであり、元になる画像データが共通する画像データである。例えば、編集済み画像データに対して元になる画像データが同一であることが分かるように識別番号を予め付与しておけばよい。編集済み画像データは画像ＤＢ１５１に格納されている。また、類似の判定には、例えば、パターンマッチング、機械学習等の手法を用いてもよい。
また、類似する実物体を判定する場合、物体検出部１１Ｂは、複数の実物体４０の各々の形状を検出する。投影制御部１１Ｅは、物体検出部１１Ｂにより検出された結果に基づいて、編集済み画像データに予め対応付けられた実物体と形状が類似する実物体が複数の実物体４０の中に存在するか否かを判定する。類似の判定には、例えば、パターンマッチング、機械学習等の手法が用いられる。また、実物体を特定する情報が同一であることをもって類似の実物体と判定してもよい。つまり、実物体４０が例えば「うちわ」であれば、「うちわ」という情報を持つ実物体が類似と判定される。編集済み画像データに予め対応付けられた実物体を特定する情報は、画像対応付けテーブル１５２から得られる。
次に、図２２を参照して、第３の実施形態に係る情報処理装置１０の作用を説明する。
図２２は、第３の実施形態に係る情報処理プログラム１５Ａによる自動選択処理の流れの一例を示すフローチャートである。
まず、情報処理装置１０に対して、自動選択処理の実行が指示されると、ＣＰＵ１１により情報処理プログラム１５Ａが起動され、以下の各ステップを実行する。
図２２のステップＳ１１１では、ＣＰＵ１１が、ユーザの操作に従って、載置面３０に投影する画像データ５０を選択する。
ステップＳ１１２では、ＣＰＵ１１が、ステップＳ１１１で選択した画像データ５０と類似する編集済み画像データが画像ＤＢ１５１に有るか否かを判定する。画像ＤＢ１５１に有ると判定した場合（肯定判定の場合）、ステップＳ１１３に移行し、画像ＤＢ１５１にないと判定した場合（否定判定の場合）、ステップＳ１１６に移行する。
ステップＳ１１３では、ＣＰＵ１１が、画像データ５０と類似する編集済み画像データに基づいて、画像対応付けテーブル１５２を参照する。
ステップＳ１１４では、ＣＰＵ１１が、ステップＳ１１３で参照した画像対応付けテーブル１５２から、載置面３０上に載置された複数の実物体４０Ａ～４０Ｃの中に、編集済み画像データに予め対応付けられた実物体と形状が類似する実物体が有るか否かを判定する。類似する実物体が有ると判定した場合（肯定判定の場合）、ステップＳ１１５に移行し、類似する実物体がないと判定した場合（否定判定の場合）、ステップＳ１１６に移行する。
ステップＳ１１５では、ＣＰＵ１１が、一例として、図２３（Ａ）に示すように、ステップＳ１１１で選択した画像データ５０を、類似する実物体４０Ａに投影し、自動選択処理を終了する。図２３（Ａ）は、類似する実物体に投影された画像データ５０の一例を示す図である。
一方、ステップＳ１１６では、ＣＰＵ１１が、一例として、図２３（Ｂ）に示すように、ステップＳ１１１で選択した画像データ５０を、載置面３０のデフォルト位置に投影し、自動選択処理を終了する。図２３（Ｂ）は、デフォルト位置に投影された画像データ５０の一例を示す図である。
ここで、投影制御部１１Ｅは、類似する編集済み画像データが複数ある場合に、一例として、図２４に示すように、複数の編集済み画像データを、画像データ５０と共に、又は、画像データ５０に代えて、投影する制御を行うようにしてもよい。図２４は、画像データ５０と共に投影された複数の編集済み画像データ５０Ａ、５０Ｂの一例を示す図である。図２４の例において、画像データ５０は現在編集中の画像データであり、編集済み画像データ５０Ａ、５０Ｂは過去に編集されて画像ＤＢ１５１に格納されている画像データである。
このように本実施形態によれば、画像データの投影対象とする実物体が自動的に選択される。このため、ユーザが手動で選択する必要がなくなり、実物体の選択に要する工数が低減される。
[第４の実施形態]
第４の実施形態では、複数の投影対象候補をまとめて１つの投影対象とする形態について説明する。
本実施形態に係る情報処理装置（以下、「情報処理装置１０Ｃ」という。）のＣＰＵ１１は、上記第１の実施形態で説明した情報処理装置１０と同様に、取得部１１Ａ、物体検出部１１Ｂ、操作検出部１１Ｃ、選択部１１Ｄ、投影制御部１１Ｅ、印刷制御部１１Ｆ、及び決済部１１Ｇとして機能する。以下、本実施形態に係る情報処理装置１０Ｃについて、上記第１の実施形態に係る情報処理装置１０との相違点を説明する。
投影制御部１１Ｅは、ユーザによる操作によって、複数の実物体４０をグループ化して１つの投影対象とし、グループ化した１つの投影対象に対して、画像データ５０を投影する制御を行う。
図２５は、第４の実施形態に係る複数の実物体４０Ａ～４０Ｃのグループ化処理の説明に供する図である。
図２５に示すように、グループ化前においては、載置面３０上に複数の実物体４０Ａ～４０Ｃが並べて載置されている。これら複数の実物体４０Ａ～４０Ｃは投影対象候補とされる。グループ化後においては、ユーザの指６０のジェスチャ操作で複数の実物体４０Ａ～４０Ｃがグループ化される。ジェスチャ操作は、例えば、グループ化したい複数の実物体４０Ａ～４０Ｃの外周８０を一筆でなぞるような操作である。
図２６は、グループ化された複数の実物体４０Ａ～４０Ｃに投影された画像データ５０の一例を示す図である。
図２６に示すように、ユーザにより選択された画像データ５０が、グループ化された複数の実物体４０Ａ～４０Ｃに投影される。この場合も、ユーザは投影中の画像データ５０の編集を行うことが可能とされる。
このように本実施形態によれば、複数の実物体をグループ化して１つの投影対象とされる。このため、複数の実物体をグループ化した１つの投影対象に対して画像データを投影することが可能とされる。
[第５の実施形態]
第５の実施形態では、投影対象の実物体を移動又は回転させた場合に、投影画像が自動的に追尾する形態について説明する。
本実施形態に係る情報処理装置（以下、「情報処理装置１０Ｄ」という。）のＣＰＵ１１は、上記第１の実施形態で説明した情報処理装置１０と同様に、取得部１１Ａ、物体検出部１１Ｂ、操作検出部１１Ｃ、選択部１１Ｄ、投影制御部１１Ｅ、印刷制御部１１Ｆ、及び決済部１１Ｇとして機能する。以下、本実施形態に係る情報処理装置１０Ｄについて、上記第１の実施形態に係る情報処理装置１０との相違点を説明する。
投影制御部１１Ｅは、複数の実物体４０のうち第１実物体に画像データ５０を投影している状態で、第１実物体を移動又は回転させた場合に、画像データ５０を第１実物体に追従して移動又は回転させる。
図２７は、第５の実施形態に係る画像データ５０の自動追尾処理の説明に供する図である。図２７の例では、投影対象の実物体４０を移動させた場合について示している。
図２７の（Ｓ１１）では、ユーザにより選択された画像データ５０が第１実物体の一例である実物体４０Ａに投影されている。
（Ｓ１２）では、ユーザが実物体４０Ａを矢印の方向（図２７の例では右方向）に移動させる。
（Ｓ１３）では、画像データ５０が実物体４０Ａに追従して移動する。
図２８は、第５の実施形態に係る画像データ５０の別の自動追尾処理の説明に供する図である。図２８の例では、投影対象の実物体４０を回転させた場合について示している。
図２８の（Ｓ２１）では、ユーザにより選択された画像データ５０が第１実物体の一例である実物体４０Ａに投影されている。
（Ｓ２２）では、ユーザが実物体４０Ａを矢印の方向（図２８の例では右方向）に回転させる。
（Ｓ２３）では、画像データ５０が実物体４０Ａに追従して回転する。
また、投影制御部１１Ｅは、ユーザによる操作が予め定めた操作である場合に、追従を解除するようにしてもよい。なお、予め定めた操作とは、例えば、ユーザの両手を載置面３０上にかざして一定時間保持する操作とされる。この場合、投影制御部１１Ｅは、追従を行う場合の載置面３０に投影する背景色と、追従を解除した場合の載置面３０に投影する背景色とが異なるように制御する。ここでいう背景色とは、投影データ全体における画像部分以外の背景部分の色のことを意味する。
図２９は、第５の実施形態に係る画像データ５０の自動追尾解除処理の説明に供する図である。
図２９の（Ｓ３１）では、ユーザにより選択された画像データ５０が実物体４０Ａに投影されている状態において、ユーザの両手６０を載置面３０上にかざし一定時間保持するジェスチャ操作を検出する。
（Ｓ３２）では、画像データ５０の自動追尾が解除され、自動追尾が解除されたことを明示するために、載置面３０に投影する背景色を変化させる。図２９の例では、ハッチングの違いで色の違いを表している。なお、この状態において、再び、ユーザの両手６０を載置面３０上にかざし一定時間保持するジェスチャ操作を検出すると、自動追尾状態となり、投影の背景色が元に戻る。
（Ｓ３３）では、画像データ５０の自動追尾が解除されると、ユーザの手６０により実物体４０Ａを移動又は回転させても、画像データ５０は追尾しない。
このように本実施形態によれば、投影対象の実物体を移動又は回転させた場合に、投影画像が自動的に追尾する。このため、投影画像を動かすのではなく、実物体を動かして調整する場合であっても対応が可能とされる。
[第６の実施形態]
第６の実施形態では、編集済み画像一覧画面を投影する制御を行う形態について説明する。
本実施形態に係る情報処理装置（以下、「情報処理装置１０Ｅ」という。）のＣＰＵ１１は、上記第１の実施形態で説明した情報処理装置１０と同様に、取得部１１Ａ、物体検出部１１Ｂ、操作検出部１１Ｃ、選択部１１Ｄ、投影制御部１１Ｅ、印刷制御部１１Ｆ、及び決済部１１Ｇとして機能する。以下、本実施形態に係る情報処理装置１０Ｅについて、上記第１の実施形態に係る情報処理装置１０との相違点を説明する。
投影制御部１１Ｅは、過去に得られた編集済み画像データの一覧である編集済み画像一覧画面を、載置面３０に投影する制御を行う。この場合、投影制御部１１Ｅは、編集済み画像一覧画面から選択された編集済み画像データを、投影する画像データとする。編集済み画像一覧画面は、一例として、上述の図１０（Ａ）に示すように、載置面３０の上端部から下端部に向けてユーザの手６０を動かすジェスチャ操作により投影される。
また、投影制御部１１Ｅは、編集済み画像一覧画面から選択された編集済み画像データに対して、ユーザによる予め定めた操作を受け付けた場合に、当該編集済み画像データの編集前画像データを投影する制御を行うようにしてもよい。
図３０（Ａ）及び図３０（Ｂ）は、第６の実施形態に係る編集済み画像一覧画面９０の説明に供する図である。
図３０（Ａ）に示すように、載置面３０に投影された編集済み画像一覧画面９０には、未選択の編集済み画像データの一覧が表示される。ユーザが選択したい編集済み画像データに対して、例えば、ユーザの手６０によるタッチ操作又はユーザの手６０をかざしたまま一定時間保持する操作を行うと、選択済み画像となる。選択済み画像は、例えば、矩形枠の色が変化する、矩形枠の太さが変化する、等により明示化（つまり強調表示）される。また、トグルボタン９１をスライド操作することで、選択済み、選択解除を切り替えるようにしてもよい。また、編集済み画像データの数が多い場合にはスクロールバー９２をスライド操作することで選択するようにしてもよい。
図３０（Ｂ）に示すように、上記により選択された選択済み画像に対して、例えば、ユーザの手６０によるタッチ操作（２回タッチ等）又はユーザの手６０をかざしたまま一定時間保持する操作（長時間保持等）を行うと、選択済み画像に関する詳細データ９３が表示される。詳細データ９３には、選択済み画像の編集前画像データが含まれる。
このように本実施形態によれば、編集済み画像一覧画面が投影されるため、投影する画像データとして編集済み画像データを選択することが可能とされる。
[第７の実施形態]
第７の実施形態では、投影画像選択画面を投影する制御を行う形態について説明する。
本実施形態に係る情報処理装置（以下、「情報処理装置１０Ｆ」という。）のＣＰＵ１１は、上記第１の実施形態で説明した情報処理装置１０と同様に、取得部１１Ａ、物体検出部１１Ｂ、操作検出部１１Ｃ、選択部１１Ｄ、投影制御部１１Ｅ、印刷制御部１１Ｆ、及び決済部１１Ｇとして機能する。以下、本実施形態に係る情報処理装置１０Ｆについて、上記第１の実施形態に係る情報処理装置１０との相違点を説明する。
投影制御部１１Ｅは、投影中の画像データを含む画像データの一覧である画像一覧を含む投影画像選択画面を、載置面３０に投影する制御を行う。投影制御部１１Ｅは、投影する画像データを追加する場合、投影画像選択画面から選択された画像データを、投影する画像データとして追加する。投影画像選択画面は、一例として、上述の図１０（Ｃ）に示すように、載置面３０の下端部から上端部に向けてユーザの手６０を動かすジェスチャ操作により投影される。
また、投影制御部１１Ｅは、投影画像選択画面に含まれる投影中の画像データに対して、ユーザによる予め定めた操作を受け付けた場合、投影中の画像データを投影対象から除外するようにしてもよい。
図３１（Ａ）、図３１（Ｂ）、図３２（Ａ）、図３２（Ｂ）、及び図３３は、第７の実施形態に係る投影画像選択画面１００の説明に供する図である。
図３１（Ａ）に示すように、載置面３０に投影された投影画像選択画面１００には、投影中（選択済み）の画像データを含む画像データの一覧が表示される。投影画像選択画面１００は、新たな画像データを追加で投影する、又は、投影中の画像データを投影対象から除外、つまり、削除するための画面である。
図３１（Ｂ）に示すように、ユーザが未選択の画像データに対して、例えば、ユーザの手６０によるタッチ操作又はユーザの手６０をかざしたまま一定時間保持する操作を行うと、選択済み画像となる。選択済み画像は、例えば、矩形枠の色が変化する、矩形枠の太さが変化する、等により明示化（つまり強調表示）される。
図３２（Ａ）に示すように、ユーザが投影中（選択済み）の画像データに対して、例えば、ユーザの手６０によるタッチ操作又はユーザの手６０をかざしたまま一定時間保持する操作を行うと、表示数増減ボタン１０１が表示される。表示数増減ボタン１０１は、投影中（編集中）の画像データの表示数を追加又は減少するための操作ボタンである。図３２（Ａ）の例では、表示数が「１」となっており、「－」をタッチ操作すると、表示数が１つ減少して「０」になり、「＋」をタッチ操作すると、表示数が１つ増加して「２」になる。
図３２（Ｂ）に示すように、表示数増減ボタン１０１の表示数が「０」になると、投影中（編集中）の画像データが投影対象から除外、つまり、削除される。この場合、例えば、「編集中の画像を保存せず投影を終了しますか？」というメッセージ１０２を表示して、ユーザに確認することが望ましい。
図３３に示すように、ユーザが未選択の画像データに対して、例えば、ユーザの手６０によるタッチ操作又はユーザの手６０をかざしたまま一定時間保持する操作を行うと、選択済み画像となる。選択済み画像は、例えば、矩形枠の色が変化する、矩形枠の太さが変化する、等により明示化（つまり強調表示）される。図３３の例では、上述の図３１（Ｂ）の例とは異なり、トグルボタン１０３をスライド操作することで、選択済み、選択解除を切り替えるようにしてもよい。
このように本実施形態によれば、投影画像選択画面が投影されるため、投影する画像データの追加又は削除を行うことが可能とされる。
[第８の実施形態]
第８の実施形態では、投影中オブジェクト一覧画面を投影する制御を行う形態について説明する。
本実施形態に係る情報処理装置（以下、「情報処理装置１０Ｇ」という。）のＣＰＵ１１は、上記第１の実施形態で説明した情報処理装置１０と同様に、取得部１１Ａ、物体検出部１１Ｂ、操作検出部１１Ｃ、選択部１１Ｄ、投影制御部１１Ｅ、印刷制御部１１Ｆ、及び決済部１１Ｇとして機能する。以下、本実施形態に係る情報処理装置１０Ｇについて、上記第１の実施形態に係る情報処理装置１０との相違点を説明する。
投影制御部１１Ｅは、画像データの一覧である画像一覧を含む投影中オブジェクト一覧画面を、載置面３０の複数の実物体４０が載置された領域以外の領域に投影すると共に、載置面３０の複数の実物体４０が載置された領域に対して、画像一覧に含まれる画像データを投影する制御を行う。投影中オブジェクト一覧画面は、一例として、上述の図１０（Ｄ）に示すように、載置面３０の左端部から右端部に向けてユーザの手６０を動かすジェスチャ操作により投影される。
また、投影制御部１１Ｅは、投影中オブジェクト一覧画面から画像データが選択された場合、載置面３０の複数の実物体４０が載置された領域に投影中の画像データのうち、選択された画像データに対応する画像データの表示形態を変化させるようにしてもよい。
また、投影制御部１１Ｅは、投影中オブジェクト一覧画面から複数の画像データが選択された場合、複数の画像データをグループ化して１つの投影画像データとしてもよい。
図３４（Ａ）、図３４（Ｂ）、図３５（Ａ）、図３５（Ｂ）、図３６（Ａ）、図３６（Ｂ）、図３７（Ａ）、図３７（Ｂ）、及び図３８は、第８の実施形態に係る投影中オブジェクト一覧画面１１０の説明に供する図である。
図３４（Ａ）に示すように、投影中オブジェクト一覧画面１１０は、載置面３０の複数の実物体４０Ａ、４０Ｂが載置された領域以外の領域に投影される。投影中オブジェクト一覧画面１１０には、画像データＡ１～Ａ３が含まれる、画像データＡ１に対応する投影中の画像データは編集中であることを示す。また、画像データＡ２には表示数増減ボタン１１１Ａ、画像データＡ３には表示数増減ボタン１１１Ｂがそれぞれ対応付けられている。なお、編集中の画像には表示数増減ボタンは表示されず、編集中であることを示す表示を行う。印刷ジョブに追加済みの画像で投影中の画像については表示数増減ボタンを表示してもよい。表示数増減ボタン１１１Ａでは表示数が「２」とされ、表示数増減ボタン１１１Ｂでは表示数が「０」とされる。表示数が「０」である場合、画像データＡ３に対応する画像データは投影されない。但し、画像データＡ３に対応する画像データは投影されないだけで、削除されるわけではない。この場合、載置面３０の複数の実物体４０Ａ、４０Ｂが載置された領域には、画像データＡ１に対応する１つの画像データ５０が投影され、画像データＡ２に対応する２つの画像データ５０Ｃが投影され、画像データＡ３に対応する画像データは投影されない。編集中の画像データ５０は実物体４０Ｂに投影される。
図３４（Ｂ）に示すように、投影中オブジェクト一覧画面１１０から画像データＡ２がユーザの指６０によりタッチ操作された場合、載置面３０の複数の実物体４０Ａ、４０Ｂが載置された領域に投影中の画像データ５０、５０Ｃのうち、タッチ操作された画像データＡ２に対応する画像データ５０Ｃの表示形態を変化させる。画像データ５０Ｃは、例えば、矩形枠の色が変化する、矩形枠の太さが変化する、等により明示化（つまり強調表示）される。
図３５（Ａ）に示すように、ユーザの指６０により表示数増減ボタン１１１Ａの「－」がタッチ操作されると、画像データ５０Ｃの表示数が「１」となり、図３５（Ｂ）に示すように、画像データ５０Ｃの表示数が変更される。つまり、表示数増減ボタン１１１Ａの「－」又は「＋」の操作により表示数を増減させることが可能とされる。この表示数の増減に応じて、画像データ５０Ｃの表示数が変更される。
投影中の複数の画像データを１つにまとめる場合、図３６（Ａ）に示すように、ユーザが投影中オブジェクト一覧画面１１０に含まれる未選択の画像データに対して、例えば、ユーザの手６０によるタッチ操作（２回タッチ等）又はユーザの手６０をかざしたまま一定時間保持する操作（長時間保持）を行うと、図３６（Ｂ）に示すように、選択済み画像となる。選択済み画像は、例えば、矩形枠の色が変化する、矩形枠の太さが変化する、等により明示化（つまり強調表示）される。
図３７（Ａ）に示すように、ユーザが投影中オブジェクト一覧画面１１０においてグループ化したい全ての画像データＡ１～Ａ３に対して選択操作を行い、画像データＡ１～Ａ３を選択済み画像にすると、対応する投影中の画像データ５０、５０Ｃを囲う枠１１２が投影される。枠１１２は、投影中の画像データ５０、５０Ｃがグループ化されたことを示す枠である。
図３７（Ｂ）に示すように、投影中オブジェクト一覧画面１１０には、投影中の画像データ５０、５０Ｃのグループ化に応じて、画像データＡ１～Ａ３がグループ化されたことを示す枠１１３が表示される。
図３８に示すように、ユーザの操作により、枠１１２を実物体４０Ｂに移動させて、枠１１２に含まれる画像データ５０、５０Ｃを実物体４０Ｂに投影させる。この投影に伴い、投影中オブジェクト一覧画面１１０では、画像データＡ１～Ａ３を含む枠１１３のサイズが変更される。
このように本実施形態によれば、投影中オブジェクト一覧画面が投影されるため、投影中の画像データを見ながら、投影対象の実物体を選択することが可能とされる。
[第９の実施形態]
第９の実施形態では、印刷実行画面及び決済画面を投影する制御を行う形態について説明する。
本実施形態に係る情報処理装置（以下、「情報処理装置１０Ｈ」という。）のＣＰＵ１１は、上記第１の実施形態で説明した情報処理装置１０と同様に、取得部１１Ａ、物体検出部１１Ｂ、操作検出部１１Ｃ、選択部１１Ｄ、投影制御部１１Ｅ、印刷制御部１１Ｆ、及び決済部１１Ｇとして機能する。以下、本実施形態に係る情報処理装置１０Ｈについて、上記第１の実施形態に係る情報処理装置１０との相違点を説明する。
投影制御部１１Ｅは、印刷対象とされた画像データの一覧である画像一覧を含む印刷実行画面を、載置面３０に投影する制御を行う。印刷実行画面は、一例として、上述の図１０（Ｂ）に示すように、載置面３０の右端部から左端部に向けてユーザの手６０を動かすジェスチャ操作により投影される。
また、投影制御部１１Ｅは、印刷対象とされた画像データの一覧である画像一覧を含む決済画面を、載置面３０に投影する制御を行うようにしてもよい。
図３９～図４１は、第９の実施形態に係る印刷実行画面１２０の説明に供する図である。
図３９に示すように、載置面３０に投影された印刷実行画面１２０には、印刷対象とされた画像データの一覧が表示される。印刷実行画面１２０には、印刷ボタン１２１、スクロールバー１２２、及び料金表示欄１２３が含まれる。なお、各画像データには印刷枚数増減ボタン「－１＋」が対応付けられており、「－」又は「＋」を操作することで印刷枚数を調整することが可能である。ユーザが印刷したい画像データを選択すると、指定された用紙サイズ、部数等の印刷条件に応じた印刷料金が料金表示欄１２３に表示される。画像データの数が多い場合にはスクロールバー１２２をスクロール操作して画像データを選択することができる。料金表示欄１２３の料金は部数に応じて変更される。印刷条件を変更したい場合には、一例として、図４０に示す画面に遷移すればよい。
図４０に示すように、上記により選択された選択済み画像に対して、例えば、ユーザの手６０によるタッチ操作（２回タッチ等）又はユーザの手６０をかざしたまま一定時間保持する操作（長時間保持等）を行うと、選択済み画像の印刷条件に関する詳細データ１２４が表示される。詳細データ１２４には、選択済み画像の印刷条件が含まれ、用紙サイズ、部数等の変更を受け付ける。ユーザは所望の印刷条件を設定した後に印刷ボタン１２１を操作すると、後述の決済画面に遷移する。
本実施形態に係る情報処理装置１０Ｈは、ユーザが編集した画像データを印刷する際に、最適なサイズの用紙を自動的に選択する。一方、ユーザが希望する用紙サイズがある場合には、以下の２つのケースが考えられる。
（１）最適な用紙サイズ≦ユーザの希望する用紙サイズの場合、用紙は１枚で対応する。
（２）最適な用紙サイズ＞ユーザの希望する用紙サイズの場合、用紙は複数枚で対応する。
このため、一例として、図４１の印刷実行画面１２０に示すように、「必要枚数」という項目を表示するようにしてもよい。例えば、最適な用紙サイズが「Ａ４」で、ユーザの希望する用紙サイズが「Ｂ５」である場合、上記（２）に該当するため、「必要枚数」が「２」となっている。なお、図４１の例では、Ａ３サイズを１００円／枚とし、それ以外を５０円／枚として換算している。また、投影しながら編集中に縮尺を変更する際に、現在の投影画像に最適な用紙サイズが動的に投影されるようにするとより望ましい。
図４２～図４４は、第９の実施形態に係る決済画面１３０の説明に供する図である。
図４２に示すように、決済画面１３０は、一例として、上述の図３９に示す印刷ボタン１２１が操作されることで投影される。決済方法としては、例えば、スマートフォンやＩＣカード等を用いた各種の電子決済でもよいし、コインベンダ等を用いた現金決済でもよい。決済画面１３０には、支払いボタン１３１、スクロールバー１３２、及び料金表示欄１３３が含まれる。画像データの数が多い場合にはスクロールバー１３２をスクロール操作して画像データを確認することができる。料金表示欄１３３の料金は部数に応じて変更される。ユーザにより支払いボタン１３１が操作され、支払いが完了することをもって、印刷が実行される。
図４３及び図４４に示すように、決済画面１３０では、プリント（印刷）及びスキャン等の別のサービスも提供できるようにしてもよい。図４３の例では、プリント１３４が選択されており、図４４の例では、スキャン１３５が選択されている状態を示している。図４３及び図４４の例に示すように、サービスの内容に応じて料金が異なっていてもよい。具体的に、図４３のプリント１３４の例では料金「４００円」であり、図４４のスキャン１３５の例では料金「２４０円」である。
このように本実施形態によれば、印刷実行画面及び決済画面が投影されるため、画像データの印刷、決済を行うことが可能とされる。
なお、上記各実施形態において、プロセッサとは広義的なプロセッサを指し、汎用的なプロセッサ（例えば、ＣＰＵ：Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ、等）や、専用のプロセッサ（例えば、ＧＰＵ：Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ、ＡＳＩＣ： Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ、ＦＰＧＡ：Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ、プログラマブル論理デバイス、等）を含むものである。
また、上記各実施形態におけるプロセッサの動作は、１つのプロセッサによって成すのみでなく、物理的に離れた位置に存在する複数のプロセッサが協働して成すものであってもよい。また、プロセッサの各動作の順序は、上記各実施形態において記載した順序のみに限定されるものではなく、適宜変更してもよい。
以上、実施形態に係る情報処理装置を例示して説明した。実施形態は、情報処理装置が備える各部の機能をコンピュータに実行させるためのプログラムの形態としてもよい。実施形態は、これらのプログラムを記憶したコンピュータが読み取り可能な非一時的記憶媒体の形態としてもよい。
その他、上記実施形態で説明した情報処理装置の構成は、一例であり、主旨を逸脱しない範囲内において状況に応じて変更してもよい。
また、上記実施形態で説明したプログラムの処理の流れも、一例であり、主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよい。
また、上記実施形態では、プログラムを実行することにより、実施形態に係る処理がコンピュータを利用してソフトウェア構成により実現される場合について説明したが、これに限らない。実施形態は、例えば、ハードウェア構成や、ハードウェア構成とソフトウェア構成との組み合わせによって実現してもよい。
１０ 情報処理装置
１１ ＣＰＵ
１１Ａ 取得部
１１Ｂ 物体検出部
１１Ｃ 操作検出部
１１Ｄ 選択部
１１Ｅ 投影制御部
１１Ｆ 印刷制御部
１１Ｇ 決済部
１２ ＲＯＭ
１３ ＲＡＭ
１４ Ｉ／Ｏ
１５ 記憶部
１５Ａ 情報処理プログラム
１６ 表示部
１７ 外部Ｉ／Ｆ
１８ 撮影部
１９ 投影部
２０ 印刷部
２１ 近距離通信部
３０ 載置面
４０、４０Ａ～４０Ｃ 実物体
１５１ 画像ＤＢ
１５２ 画像対応付けテーブル

Claims (18)

  1. プロセッサを備え、
    前記プロセッサは、
    画像データを取得し、
    予め定められた載置面上に載置された複数の実物体であって、前記画像データの投影対象の候補となる前記複数の実物体の各々の前記載置面上の位置を検出し、
    前記複数の実物体に対する、ユーザによる操作の内容、及び、前記複数の実物体の各々の前記載置面上の位置に応じて、前記複数の実物体の中から投影対象の実物体の選択を受け付け、
    前記選択を受け付けた実物体の前記載置面上の位置に応じて、当該実物体に対して前記画像データを投影した後に、当該画像データを印刷する制御を行う
    情報処理装置。
  2. 前記ユーザによる操作は、前記ユーザのジェスチャによる操作、前記ユーザによる前記載置面上に投影されたボタン操作、前記ユーザの音声による操作、及び、前記ユーザの視線による操作のいずれかの操作である
    請求項１に記載の情報処理装置。
  3. 前記プロセッサは、前記複数の実物体の各々の大きさを検出し、
    前記複数の実物体のうち第１実物体に前記画像データを投影している状態で、前記ユーザによる操作によって、前記第１実物体と大きさが異なる第２実物体の選択を受け付けた場合に、前記第２実物体の大きさに合わせて前記画像データの大きさを調整して前記第２実物体に投影する制御を行う
    請求項１又は請求項２に記載の情報処理装置。
  4. 前記プロセッサは、前記画像データに類似する過去の編集済み画像データが存在し、かつ、前記編集済み画像データに予め対応付けられた実物体と類似する実物体が前記複数の実物体の中に存在する場合、前記複数の実物体のうち前記類似する実物体に対して、前記画像データ及び前記編集済み画像データの少なくとも一方を投影する制御を行う
    請求項１又は請求項２に記載の情報処理装置。
  5. 前記プロセッサは、前記複数の実物体の各々の形状を検出し、
    前記検出した結果に基づいて、前記編集済み画像データに予め対応付けられた実物体と形状が類似する実物体が前記複数の実物体の中に存在するか否かを判定する
    請求項４に記載の情報処理装置。
  6. 前記プロセッサは、前記編集済み画像データが複数ある場合に、前記複数の編集済み画像データを、前記画像データと共に、又は、前記画像データに代えて、投影する制御を行う
    請求項４又は請求項５に記載の情報処理装置。
  7. 前記プロセッサは、前記ユーザによる操作によって、前記複数の実物体をグループ化して１つの投影対象とし、
    前記グループ化した１つの投影対象に対して、前記画像データを投影する制御を行う
    請求項１又は請求項２に記載の情報処理装置。
  8. 前記プロセッサは、前記複数の実物体のうち第１実物体に前記画像データを投影している状態で、前記第１実物体を移動又は回転させた場合に、前記画像データを前記第１実物体に追従して移動又は回転させる
    請求項１又は請求項２に記載の情報処理装置。
  9. 前記プロセッサは、前記ユーザによる操作が予め定めた操作である場合に、前記追従を解除する
    請求項８に記載の情報処理装置。
  10. 前記プロセッサは、前記追従を行う場合の前記載置面に投影する背景色と、前記追従を解除した場合の前記載置面に投影する背景色とが異なるように制御する
    請求項９に記載の情報処理装置。
  11. 前記プロセッサは、過去に得られた編集済み画像データの一覧である編集済み画像一覧を、前記載置面に投影する制御を行い、
    前記編集済み画像一覧から選択された編集済み画像データを、投影する画像データとする
    請求項１～請求項１０の何れか１項に記載の情報処理装置。
  12. 前記プロセッサは、前記編集済み画像一覧から選択された編集済み画像データに対して、前記ユーザによる予め定めた操作を受け付けた場合に、当該編集済み画像データの編集前画像データを投影する制御を行う
    請求項１１に記載の情報処理装置。
  13. 前記プロセッサは、投影中の画像データを含む画像データの一覧である画像一覧を、前記載置面に投影する制御を行い、
    投影する画像データを追加する場合、前記画像一覧から選択された画像データを、投影する画像データとして追加する
    請求項１～請求項１０の何れか１項に記載の情報処理装置。
  14. 前記プロセッサは、前記画像一覧に含まれる前記投影中の画像データに対して、前記ユーザによる予め定めた操作を受け付けた場合、前記投影中の画像データを投影対象から除外する
    請求項１３に記載の情報処理装置。
  15. 前記プロセッサは、画像データの一覧である画像一覧を、前記載置面の前記複数の実物体が載置された領域以外の領域に投影すると共に、
    前記載置面の前記複数の実物体が載置された領域に対して、前記画像一覧に含まれる画像データを投影する制御を行う
    請求項１～請求項１０の何れか１項に記載の情報処理装置。
  16. 前記プロセッサは、前記画像一覧から画像データが選択された場合、前記載置面の前記複数の実物体が載置された領域に投影中の画像データのうち、前記選択された画像データに対応する画像データの表示形態を変化させる
    請求項１５に記載の情報処理装置。
  17. 前記プロセッサは、前記画像一覧から複数の画像データが選択された場合、前記複数の画像データをグループ化して１つの投影画像データとする
    請求項１６に記載の情報処理装置。
  18. 画像データを取得し、
    予め定められた載置面上に載置された複数の実物体であって、前記画像データの投影対象の候補となる前記複数の実物体の各々の前記載置面上の位置を検出し、
    前記複数の実物体に対する、ユーザによる操作の内容、及び、前記複数の実物体の各々の前記載置面上の位置に応じて、前記複数の実物体の中から投影対象の実物体の選択を受け付け、
    前記選択を受け付けた実物体の前記載置面上の位置に応じて、当該実物体に対して前記画像データを投影した後に、当該画像データを印刷する制御を行うことを、
    コンピュータに実行させるための情報処理プログラム。
JP2022052530A 2022-03-28 2022-03-28 情報処理装置及び情報処理プログラム Pending JP2023145192A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2022052530A JP2023145192A (ja) 2022-03-28 2022-03-28 情報処理装置及び情報処理プログラム
US17/893,461 US20230306653A1 (en) 2022-03-28 2022-08-23 Information processing device, information processing method, and non-transitory computer readable medium
EP22198772.0A EP4254141A1 (en) 2022-03-28 2022-09-29 Information processing device, information processing method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2022052530A JP2023145192A (ja) 2022-03-28 2022-03-28 情報処理装置及び情報処理プログラム

Publications (1)

Publication Number Publication Date
JP2023145192A true JP2023145192A (ja) 2023-10-11

Family

ID=83508454

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022052530A Pending JP2023145192A (ja) 2022-03-28 2022-03-28 情報処理装置及び情報処理プログラム

Country Status (3)

Country Link
US (1) US20230306653A1 (ja)
EP (1) EP4254141A1 (ja)
JP (1) JP2023145192A (ja)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0611870B2 (ja) 1986-06-27 1994-02-16 徳山曹達株式会社 無機化合物／染料複合体粒子
JP6207211B2 (ja) 2013-04-18 2017-10-04 キヤノン株式会社 情報処理装置及びその制御方法
WO2014207007A1 (en) * 2013-06-26 2014-12-31 Oce-Technologies B.V. Method for generating prints on a flatbed printer, apparatus therefor and a computer program therefor
EP3106312B1 (en) * 2015-06-19 2018-03-07 Roland DG Corporation Printing device and printing method
JP2022026888A (ja) * 2020-07-31 2022-02-10 キヤノン株式会社 プログラム、情報処理装置の制御方法、および情報処理装置

Also Published As

Publication number Publication date
US20230306653A1 (en) 2023-09-28
EP4254141A1 (en) 2023-10-04

Similar Documents

Publication Publication Date Title
US10701222B2 (en) Image forming apparatus, image editing method and non-transitory computer-readable recording medium for forming an image on a recording medium based on an image displayed on a display section
US9152261B2 (en) Display input device, and image forming apparatus including touch panel portion
US9317148B2 (en) Display input device, and image forming apparatus including touch panel portion
JP2012014319A (ja) 表示装置
JP2023145192A (ja) 情報処理装置及び情報処理プログラム
JP2015141268A (ja) 情報処理装置、及びその情報処理装置を含む画像形成装置
CN103428396B (zh) 显示输入装置、显示输入方法以及图像形成装置
JP6930082B2 (ja) 情報処理装置、画像形成装置、及びプログラム
JP6440143B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP2023177595A (ja) 情報処理装置及び情報処理プログラム
JP6581709B2 (ja) 画像処理方法
JP5802810B2 (ja) 表示入力装置および画像形成装置
JP6322272B2 (ja) 表示装置、設定方法、コンピュータプログラム及びそれを記録した記録媒体
JP2018030271A (ja) 画像処理装置及び画像処理プログラム
JP6200528B2 (ja) 画像形成装置及び画像処理方法
JP7143580B2 (ja) 表示装置及びプログラム
JP5876451B2 (ja) 画像形成装置、記録媒体決定方法、コンピュータプログラム及び記録媒体
JP6068562B2 (ja) 表示装置、コンピュータプログラム及びそれを記録した記録媒体
JP2013222298A (ja) 表示入力装置および画像形成装置
JP2017185821A (ja) 画像形成装置及び画像処理方法
JPH0637943A (ja) 表示装置
JP2013222266A (ja) 表示入力装置および画像形成装置
JP2014126968A (ja) 表示入力装置および画像形成装置