JP2023036191A - データ処理装置、データ処理方法及びプログラム - Google Patents

Abstract

【課題】制作された作品と作品に用いられた素材とを関連付けるデータ処理装置、方法及びプログラムを提供する。【解決手段】データ処理装置１において、取得部１３１は、３次元計測装置により計測された、３次元時系列情報を取得する。第１特定部１３２は、次元時系列情報に基づいて、配置された素材を計測したオブジェクトとオブジェクトが配置された位置を特定する。関連付け部１３３は、特定したオブジェクトと素材識別情報とを関連付ける。追跡部１３４は、３次元時系列情報に含まれる同一の素材に対応するオブジェクトを対応付ける。第２特定部１３６は、３次元時系列情報に基づいて作品が占有する領域を特定する。第３特定部１３７は、特定した作品が占有する領域とオブジェクトの位置に基づいて作品を構成するオブジェクトを特定する。記憶制御部１３８は、作品とオブジェクトに関連付けられた素材識別情報とを関連付けて作品データベースに記憶させる。【選択図】図４

Description

本発明は、データ処理装置、データ処理方法及びプログラムに関する。

近年、不用品を使用して作品を制作する活動であるいわゆるアップサイクル活動の需要が高まりつつある。特許文献１には、素材を出品する販売者及び購入者の間における電子商取引を管理する技術が開示されている。

特開２００７－３２３６１９号公報

ユーザは、特許文献１に係るシステムを利用することにより、出品されている複数の素材の中から作品に使用する素材を探すことができる。ところで、素材を提供する提供者と、素材を活用した作品を制作する制作者と、作品の制作者とをマッチングさせるプラットフォームを提供することでアップサイクル活動を拡大していくことが考えられる。

ここで、アップサイクル活動を拡大していくためには、どのような素材からどのような作品が制作されたかを記憶し、プラットフォームのユーザが閲覧できることが重要である。このような作品と素材とを関連付ける情報は、制作者の記憶を頼りに手動でシステムに登録されることとなるが、登録作業の失念や制作者の記憶違いにより、作品と素材とを正確に関連付けられない問題が発生しうる。

そこで、本発明はこれらの点に鑑みてなされたものであり、制作された作品と作品に用いられた素材とを関連付けることができるようにすることを目的とする。

本発明の第１の態様のデータ処理装置においては、作品と、前記作品を構成する素材と、を関連付けて記憶する作品データベースを記憶する記憶部と、前記作品を制作する制作場所に配置された３次元計測装置により前記作品の制作過程において計測された、１以上の前記素材が配置された前記制作場所を計測した３次元情報の時系列情報である、３次元時系列情報を取得する取得部と、前記３次元時系列情報に基づいて、前記制作場所に配置された前記素材を３次元計測した３次元情報であるオブジェクト及び前記オブジェクトが配置された位置を特定する第１特定部と、前記第１特定部が特定した前記オブジェクトと、前記素材を識別する素材識別情報と、を関連付ける関連付け部と、前記３次元時系列情報に含まれる複数の前記オブジェクトのうち同一の素材に対応する前記オブジェクトを対応付ける追跡部と、前記作品の制作が完了したことを示す完了情報の入力を受け付ける受付部と、前記完了情報が入力された場合、前記３次元時系列情報に基づいて前記作品が占有する領域を特定する第２特定部と、第２特定部が特定した前記作品が占有する領域と、前記完了情報の入力時点において前記オブジェクトが配置されていた位置とに基づいて、前記作品を構成する前記オブジェクトを特定する第３特定部と、前記作品と前記第３特定部が特定した前記オブジェクトに関連付けられた前記素材識別情報とを関連付けて前記作品データベースに記憶させる記憶制御部と、を有する。

前記追跡部は、前記作品の制作過程において、一つの前記オブジェクトが複数のサブオブジェクトに分離されたかどうかを判定し、前記関連付け部は、前記オブジェクトが前記複数のサブオブジェクトに分離された場合、１以上の分離後のサブオブジェクトそれぞれと、分離前のオブジェクトに関連付けられた前記素材識別情報と、を関連付けてもよい。

前記追跡部は、前記作品の制作過程において、複数の前記オブジェクトが結合されたか否かを判定し、前記関連付け部は、複数の前記オブジェクトが結合された場合、結合後のオブジェクトと、結合前の複数の前記オブジェクトそれぞれに関連付けられた前記素材識別情報と、を関連付けてもよい。

前記データ処理装置は、端末に画面を表示させる表示制御部を、さらに有していてもよい。

前記受付部は、前記作品を制作する制作者が操作する端末である制作者端末より、前記素材識別情報が含まれる関連付け依頼をさらに受け付け、前記表示制御部は、前記素材識別情報と関連付ける前記オブジェクトを選択する画面を前記制作者端末に表示させ、前記関連付け部は、選択された前記オブジェクトと、前記素材識別情報と、を関連付けてもよい。

前記記憶部は、前記素材と、前記素材に関するメタデータと、を関連付けて記憶する素材データベースをさらに記憶し、前記表示制御部は、素材を提供する提供者が、提供する前記素材と、前記素材に関するメタデータを登録するための画面を提供者が操作する提供者端末に表示させ、前記記憶制御部は、登録された前記素材の素材識別情報と、前記提供者が入力した前記素材に関するメタデータと、を関連付けて素材データベースに記憶させてもよい。

前記記憶部は、前記素材と、前記素材に関するメタデータと、前記素材の提供者と、を関連付けた素材データベースをさらに記憶し、前記受付部は、ユーザが操作するユーザ端末より前記作品に関連付けられた前記メタデータを表示する表示依頼をさらに受け付け、前記表示制御部は、前記表示依頼を受け付けると、前記作品に関連付けられた前記素材の提供者と前記表示依頼の送信元のユーザが同一である場合に、前記作品に関連付けられた前記素材に関するメタデータを前記ユーザ端末に表示させるよう制御してもよい。

本発明の第２の態様のデータ処理方法においては、コンピュータが実行する、作品を制作する制作場所に配置された３次元計測装置により前記作品の制作過程において計測された、１以上の素材が配置された前記制作場所を計測した３次元情報の時系列情報である、３次元時系列情報を取得するステップと、前記３次元時系列情報に基づいて、前記制作場所に配置された前記素材を３次元計測した３次元情報であるオブジェクト及び前記オブジェクトが配置された位置を特定するステップと、特定された前記オブジェクトと、前記素材を識別する素材識別情報と、を関連付けるステップと、前記３次元時系列情報に含まれる複数の前記オブジェクトのうち同一の素材に対応する前記オブジェクトを対応付けるステップと、前記作品の制作が完了したことを示す完了情報の入力を受け付けるステップと、前記完了情報が入力された場合、前記３次元時系列情報に基づいて前記作品が占有する領域を特定するステップと、特定された前記作品が占有する領域と、前記完了情報の入力時点において前記オブジェクトが配置されていた位置とに基づいて、前記作品を構成する前記オブジェクトを特定するステップと、前記作品と特定された前記作品を構成するオブジェクトに関連付けられた前記素材識別情報とを関連付けて、記憶部が記憶する作品データベースに記憶させるステップと、を有する。

本発明の第３の態様のプログラムにおいては、コンピュータに実行させる、作品を制作する制作場所に配置された３次元計測装置により前記作品の制作過程において計測された、１以上の素材が配置された前記制作場所を計測した３次元情報の時系列情報である、３次元時系列情報を取得するステップと、前記３次元時系列情報に基づいて、前記制作場所に配置された前記素材を３次元計測した３次元情報であるオブジェクト及び前記オブジェクトが配置された位置を特定するステップと、特定された前記オブジェクトと、前記素材を識別する素材識別情報と、を関連付けるステップと、前記３次元時系列情報に含まれる複数の前記オブジェクトのうち同一の素材に対応する前記オブジェクトを対応付けるステップと、前記作品の制作が完了したことを示す完了情報の入力を受け付けるステップと、前記完了情報が入力された場合、前記３次元時系列情報に基づいて前記作品が占有する領域を特定するステップと、特定された前記作品が占有する領域と、前記完了情報の入力時点において前記オブジェクトが、配置されていた位置とに基づいて、前記作品を構成する前記オブジェクトを特定するステップと、前記作品と特定された前記作品を構成するオブジェクトに関連付けられた前記素材識別情報とを関連付けて、記憶部が記憶する作品データベースに記憶させるステップと、を有する。

本発明によれば、制作された作品と作品に用いられた素材とを関連付けることができるという効果を奏する。

データ処理システムＳの構成を示す図である。 データ処理システムＳのユースケースを説明する図である。 データ処理装置１の動作の概要を説明する図である。 データ処理装置１の構成を示すブロック図である。 記憶部１２が記憶する作品データベースのデータ構造の一例を示す図である。 記憶部１２が記憶する素材データベースのデータ構造の一例を示す図である。 追跡部１３４の動作の一例を示す図である。 素材が分離された場合のデータ処理装置１の動作の一例を示す図である。 素材が結合された場合のデータ処理装置１の動作の一例を示す図である。 データ処理装置１の処理の流れを示すフローチャートである。

［本実施の形態において前提となるデータ処理システムＳの概要］
まず、本実施の形態において前提となるデータ処理システムＳの概要について説明する。図１は、データ処理システムＳの構成を示す図である。データ処理システムＳは、提供者が不用品を素材として出品し、制作者が出品された素材を活用して制作した作品の提供を仲介するサービスを提供するためのシステムである。

提供者は、素材を提供するユーザである。素材は、作品を制作するための材料であり、データ処理システムＳにおいて取引される。素材は、例えば、提供者にとって不要となった不用品又は廃棄物等である。素材は、使用可能ではあるが提供者にとって不要となった素材（例えば、壊れていない素材）であってもよいし、使用不能な素材（例えば、壊れている素材）であってもよい。素材は、例えば、家具、電化製品、食器又は玩具等である。

制作者は、廃材を含む材料を使用して作品を制作するアーティストであり、依頼者による作品の制作の依頼に応じて、当該作品を制作する。依頼者は、制作者に作品の制作を依頼するユーザである。以下では提供者、制作者、依頼者はいずれもデータ処理システムＳのユーザであるため、これらをまとめてユーザという場合がある。作品は、制作者が素材をアップサイクルして制作され、データ処理システムＳにおいて取引される商品である。

オークションをはじめとする個人間商取引では、商品価値を有する素材（例えば、壊れていない使用可能な素材等）は流通し得るが、商品価値を有しない素材（例えば、壊れている使用不能な素材、コーヒーかす、大豆かす及び卵の殻等のような生ごみ等）は流通し得えない。そのため、商品価値を有しない素材においては、アップサイクル活動における作品に使用することができるにもかかわらず、廃棄されてしまうという問題があった。

そこで、データ処理システムＳは、このような商品価値を有しない素材を含む素材を流通させ、当該素材を使用して制作された作品を提供するサービスを提供する。データ処理システムＳは、データ処理装置１、依頼者端末２、提供者端末３及び制作者端末４を有する。

データ処理装置１は、依頼者に作品を提供するサービスを管理する装置であり、例えば、サーバである。データ処理装置１は、過去において制作者が制作した作品に関する情報と、素材に関する情報と、を対応付けて管理している。

依頼者端末２、提供者端末３及び制作者端末４はそれぞれ、依頼者、提供者及び制作者が使用する端末である。依頼者端末２、提供者端末３及び制作者端末４は、例えば、スマートフォン、タブレット、ＶＲ（Virtual Reality）表示が可能なヘッドセット又はパーソナルコンピュータである。

［データ処理システムＳのユースケースの一例］
次に、本実施の形態において前提となるデータ処理システムＳのユースケースについて説明する。図２は、データ処理システムＳのユースケースを説明する図である。提供者は、提供者端末３を操作し、提供可能な素材をデータ処理装置１に登録する（図２における（１））。他のユーザは、データ処理装置１に登録された素材を閲覧することができる。

依頼者は、依頼者端末２において、登録された素材から活用したい素材と、制作者に制作してほしい作品とを選択し、作品の制作を依頼する操作をする。依頼者端末２は、データ処理装置１に選択された素材と作品の情報を含む制作依頼を送信する（図２における（２））。データ処理装置１は、作品の制作が依頼されたことを制作者端末４に通知する（図２における（３））。作品の制作が依頼されると、作品の制作に必要な素材を素材の保管場所から制作者の制作場所に輸送する手配がされる。

制作者は、依頼された作品を制作する。作品が完成すると、制作者は、制作者端末４を操作し、完成した作品と作品に活用した素材とを関連付けてデータ処理装置１に登録する（図２における（４））。他のユーザは、登録された作品を閲覧することができる。制作者は、完成した作品を依頼者に納品する（図２における（５））。

依頼者は、作品を受け取ると代金を支払う操作をする。そして、依頼者端末２は、作品の代金をデータ処理装置１に送金する（図２における（６））。データ処理装置１は、支払われた代金からプラットフォーム利用料と素材の代金を差し引いた制作者の報酬を制作者端末４に送金する（図２における（７））。データ処理装置１は、提供者に素材の提供に対する報酬を提供者端末３に送金する（図２における（８））。

［データ処理装置１の概要］
ところで、どのような素材からどのような作品が制作されたかを知ることが、ユーザの作品の需要を喚起し、素材の提供に対するユーザの動機付けなる。そのため、制作された作品と作品に使用された素材との関係が登録される必要がある。しかし、制作された作品と作品に使用された素材との関連付けの登録を作品の制作者に委ねると、制作者が登録を失念したり、活用した素材を勘違いしたりして、不正確な登録がなされる問題が生じる。そこで、実施の形態にかかるデータ処理装置１においては、作品の制作過程を計測し、作品と素材とを関連付けたデータを記憶する。

図３は、データ処理装置１の動作の概要を説明する図である。図３の上部は、制作者が制作する過程を計測する例を示し、図３の下部は、計測装置により取得された３次元時系列情報を示している。

図３の上部に示すように、制作者のアトリエに複数の３次元計測装置Ｄが複数の方向から制作過程を計測できるように配置されている。３次元計測装置Ｄは、３次元情報を計測する装置であり、例えばＬＩＤＡＲ（Light Imaging Detection And Ranging）である。そして、３次元計測装置Ｄは、制作者の制作過程において、アトリエに配置された素材を計測した３次元情報を時系列に記録した３次元時系列情報を、データ処理装置１に送信する。

データ処理装置１は、３次元計測装置Ｄより３次元時系列情報を取得する。３次元時系列情報は、３次元情報が時間的に変化する情報を有する時系列データであり、例えば所定の時間単位に計測された複数の時刻における３次元情報の集合である。所定の時間とは、計測され素材の位置および見えの変化量が十分に小さくなるように設定される時間であり、例えば１秒である。

３次元情報は、計測対象の形状を表す情報であり、例えば点群データである。３次元情報は、複数の３次元計測装置Ｄにより計測された結果を合成することにより生成された情報であってもよい。

図３の下部は、３次元計測装置Ｄにより計測された３次元時系列情報の概要を示す図である。左からそれぞれ時刻Ｐ１、Ｐ２及びＰ３における３次元情報を示している。そして、データ処理装置１は、取得した時刻Ｐ１における３次元情報に基づいて、制作場所に配置された素材Ｍ１及びＭ２の３次元情報であるオブジェクト及びオブジェクトが配置された位置を特定する。そして、データ処理装置１は、特定されたオブジェクトと素材Ｍ１及びＭ２の素材識別情報とを関連付ける。素材識別情報は、提供者から提供された素材を一意に識別するＩＤ（Identification）である。

そして、データ処理装置１は、時刻Ｐ１におけるオブジェクトと時刻Ｐ１の次の時刻における同一の素材に対応するオブジェクトを対応付ける。時刻Ｐ１の次の時刻における、素材Ｍ１及びＭ２それぞれと同一の素材として対応付けられたオブジェクトそれぞれは、素材Ｍ１及びＭ２それぞれの素材識別情報を有する。データ処理装置１は、オブジェクトを対応付ける処理を３次元時系列情報に含まれるそれぞれの時刻の３次元情報について繰り返し行う。

時刻Ｐ２における３次元情報は、素材Ｍ１が材料Ｍ１ＡとＭ１Ｂとに、素材Ｍ２が材料Ｍ２ＡとＭ２Ｂとに、それぞれ分離されている。データ処理装置１は、素材が分離又は結合された場合、加工前のオブジェクトに関連付けられた素材識別情報と、を関連付ける。この結果、材料Ｍ１Ａ及びＭ１Ｂに対応するオブジェクトは、素材Ｍ１の素材識別情報を、材料Ｍ２Ａ及びＭ２Ｂに対応するオブジェクトは、素材Ｍ２の素材識別情報を、それぞれ有している。

そして、時刻Ｐ３においては、素材Ｍ１と素材Ｍ２とを活用して制作した作品Ｇ１が完成している。制作が完了したことを示す完了情報受け付けると、データ処理装置１は、時刻Ｐ３における３次元情報に基づいて、作品Ｇ１が占有する領域を特定する。

データ処理装置１は、特定した作品が占有する領域と、完了情報が入力された時点においてオブジェクトが配置されていた位置とに基づいて作品を構成するオブジェクトを特定する。そして、データ処理装置１は、作品と特定したオブジェクトに対応する素材識別情報とを関連付けて作品データベースに記憶させる。すなわち、データ処理装置１は、作品Ｇ１は、素材Ｍ１及び素材Ｍ２から構成されることを作品データベースに記憶する。

＜第１の実施形態＞
［データ処理装置１の構成］
図４は、データ処理装置１の構成を示すブロック図である。データ処理装置１は、通信部１１、記憶部１２及び制御部１３を有する。制御部１３は、取得部１３１、第１特定部１３２、関連付け部１３３、追跡部１３４、受付部１３５、第２特定部１３６、第３特定部１３７、記憶制御部１３８及び表示制御部１３９を有する。

通信部１１は、制作者端末４とデータを送受信するための通信インターフェースである。記憶部１２は、例えば、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ＳＳＤ（Solid State Drive）及びハードディスク等の記憶媒体である。記憶部１２は、制御部１３が実行する各種のプログラムを記憶する。

記憶部１２は、作品と、作品を構成する素材と、を関連付けて記憶する作品データベースを記憶する。図５は、記憶部１２が記憶する作品データベースのデータ構造の一例を示す図である。作品データベースは、作品情報と素材情報とを有する。作品情報は、作品の種類を示す「作品情報」と作品の区分を示す「属性」と「作品ＩＤ」とを有する。作品ＩＤは制作された作品を一意に識別するＩＤである。作品情報は、作品を撮像した画像である作品画像又は作品の形状を示す３Ｄモデル情報を記憶してもよい。素材情報は作品を構成する複数の素材識別情報が含まれる。

記憶部１２は、素材と、素材に関するメタデータと、を関連付けて記憶する素材データベースをさらに記憶する。図６は、記憶部１２が記憶する素材データベースのデータ構造の一例を示す図である。素材データベースは、素材情報とメタデータとを有する。素材情報は、素材の種類と素材識別情報とを有する。メタデータは、例えば、提供者の素材についての思い出を示す情報又は提供者の思い出情報が存在するウェブページのＵＲＬである。

記憶部１２は、素材と、素材に関するメタデータと、素材の提供者と、を関連付けた素材データベースをさらに記憶してもよい。図５に示す素材データベースは、素材情報として素材識別情報に関連付けて提供者識別情報を有する。提供者識別情報は提供者を一意に識別するＩＤであり、素材を提供した提供者に対応するユーザＩＤである。

図４に戻り、制御部１３は、例えばＣＰＵ（Central Processing Unit）である。制御部１３は、記憶部１２に記憶されている制御プログラムを実行することにより、取得部１３１、第１特定部１３２、関連付け部１３３、追跡部１３４、受付部１３５、第２特定部１３６、第３特定部１３７、記憶制御部１３８及び表示制御部１３９として機能する。

取得部１３１は、作品を制作する制作場所に配置された３次元計測装置Ｄにより作品の制作過程において計測された、１以上の素材が配置された制作場所を計測した３次元情報の時系列情報である、３次元時系列情報を取得する。

第１特定部１３２は、３次元時系列情報に基づいて、制作場所に配置された素材を３次元計測した３次元情報であるオブジェクト及びオブジェクトが配置された位置を特定する。第１特定部１３２は、取得部１３１が取得した３次元時系列情報に含まれる個々の時間における３次元情報に含まれる素材をオブジェクトとして特定し、オブジェクトが配置された位置を特定する。第１特定部１３２は、例えば、計測した３次元時系列情報と、素材を配置する前に計測された制作場所の３次元情報との差分をとり、素材を配置する前に計測した３次元情報は存在しない物体をオブジェクトとして特定する。一例として、第１特定部１３２は、特定したオブジェクトを一位に識別するオブジェクトＩＤをオブジェクトに対して付与する。そして、第１特定部１３２は、特定したオブジェクトが配置されている座標を特定する。

第１特定部１３２は、例えば、記憶部１２に記憶された、素材モデル情報と比較し、３次元情報に含まれる素材をオブジェクトとして特定してもよい。素材モデル情報は、素材の様々な方向からの見えを示す情報である。

関連付け部１３３は、第１特定部１３２が特定したオブジェクトと、素材を識別する素材識別情報と、を関連付ける。関連付け部１３３は、オブジェクトに付与されたオブジェクトＩＤと素材識別情報とを関連付ける。関連付け部１３３は、オブジェクトに付与されたオブジェクトＩＤと素材識別情報とを関連付けて記憶部１２に記憶させてもよい。

図７は、追跡部１３４の動作の一例を示す図である。図７（ａ）は時刻Ｔ１における３次元時系列情報から特定されたオブジェクトである。図７（ｂ）は、時刻Ｔ１の次の時刻（時刻Ｔ２）における３次元時系列情報から特定されたオブジェクトである。

追跡部１３４は、３次元時系列情報に含まれる複数のオブジェクトのうち同一の素材に対応するオブジェクトを対応付ける。時刻Ｔ１におけるオブジェクトＯ０１の位置及び形状が、時刻Ｔ２にオブジェクトＯ０３の位置及び形状とほぼ一致している場合に、追跡部１３４は、オブジェクトＯ０１とオブジェクトＯ０３とを同一の素材に対応するオブジェクトとして対応付ける。同一の素材に対応付けられたオブジェクトは、同一の素材識別情報を有する。追跡部１３４は、オブジェクトを対応付ける処理を３次元時系列情報に含まれるそれぞれの時刻の３次元情報について繰り返し行い、それぞれの時刻における同一の素材に対応するオブジェクトを対応付ける。

図４に戻り、受付部１３５は、作品の制作が完了したことを示す完了情報の入力を受け付ける。表示制御部１３９は、作品の制作が完了したことを通知するための画面を制作者端末４に表示させるよう制御する。一例として、表示制御部１３９は、制作完了を通知するための完了ボタンを制作者端末４の画面上に表示させる。そして制作者が制作者端末４に表示された完了ボタンを押下すると、制作者端末４は、完了情報をデータ処理装置１へ送信する。受付部１３５は、作品の名前、作品のテーマ又は作品を撮像した画像等の入力受け付けてもよい。

第２特定部１３６は、完了情報が入力された場合、３次元時系列情報に基づいて作品が占有する領域を特定する。第２特定部１３６は、例えば、記憶部１２に記憶された、３次元情報に含まれるオブジェクトと作品モデル情報とを比較し、作品と、作品が占有する領域と、を特定する。作品モデル情報は、作品の様々な方向からの見えを示す情報である。作品が占有する領域は、作品と特定したオブジェクトが占有する領域の座標を示す情報である。

第３特定部１３７は、第２特定部１３６が特定した作品が占有する領域と、完了情報の入力時点においてオブジェクトが配置されていた位置とに基づいて、作品を構成するオブジェクトを特定する。第３特定部１３７は、第２特定部１３６が特定した作品が占有する領域と、追跡部１３４が対応付けた、完了情報の入力時点における素材識別情報と関連付けられたオブジェクトの位置と、を比較する。一例として、第３特定部１３７は、作品が占有する領域の座標情報と、オブジェクトの位置を示す座標情報とを比較する。素材識別情報と関連付けられたオブジェクトの位置が、作品が占有する領域から所定の範囲内に存在する場合、第３特定部１３７は、オブジェクトに関連付けられた素材が作品を構成すると特定する。

記憶制御部１３８は、作品と第３特定部１３７が特定したオブジェクトに関連付けられた素材識別情報とを関連付けて作品データベースに記憶させる。記憶制御部１３８は、作品ＩＤと、第３特定部１３７が特定した素材を構成するオブジェクトに関連付けられた素材識別情報とを関連付けて記憶する。

記憶制御部１３８は、例えば、記憶部１２が記憶する制作者に関する情報、受付部１３５が受け付けた作品の名前、作品のテーマ、作品の画像等の情報を作品ＩＤと関連付けて作品データベースに記憶させてもよい。表示制御部１３９は、端末に画面を表示させる。

データ処理装置１がこのように構成されることで、制作された作品と作品に用いられた素材とを関連付けることができる。

ところで、作品の形状が予めわかっていない場合も想定される。そのため、作品を撮像した画像から作品を特定できるよう、データ処理装置１が構成されてもよい。この場合、受付部１３５は、制作者端末４から作品を複数の方向から撮像した複数の画像の入力を受け付ける。そして、第２特定部１３６は、写真測量することで、作品の形状を特定する。さらに第２特定部１３６は、特定した作品の形状と類似するオブジェクトを作品と特定する。データ処理装置１がこのように構成されることで、作品の形状が予めわかっていない場合においても、制作者に負担が少ない方法で作品を特定することができる。

また、作品の形状が予めわかっていない場合において、受付部１３５は、完了情報に加えて、制作された作品が占有する領域の入力を受け付けるよう構成されてもよい。すなわち、制作者は、制作者端末４を操作し、作品が存在する領域を指定する。例えば、製作者は、作品が存在する領域を囲む操作により、作品が存在する領域を指定する。

第２特定部１３６は、受付部１３５が受け付けた作品が存在する領域に存在するオブジェクトを作品と特定してもよい。そして、第２特定部１３６は、特定したオブジェクトが占有する領域を作品が占有する領域として特定する。データ処理装置１が、受付部１３５が受け付けた領域から作品として特定することで、予め作品の形状がわかっていない場合においても作品を特定することができる。

ところで、作品を制作する過程においては、素材が様々な部材に分離される場合がある。素材が分離された場合においても、分離後の部材が素材から分離されたものであることを管理する必要がある。そこで、データ処理装置１は、分離された場合に、分離前の素材識別情報を分離後の部材と関連付けるよう構成されていてもよい。

図８は、素材が分離された場合のデータ処理装置１の動作の一例を示す図である。図８（ａ）は時刻Ｔ３における３次元時系列情報から特定されたオブジェクトである。図８（ｂ）は、時刻Ｔ３の次の時刻（時刻Ｔ４）における３次元時系列情報から特定されたオブジェクトである。

具体的には、追跡部１３４は、作品の制作過程において、一つのオブジェクトが複数の分離後のオブジェクト（以下、サブオブジェクトという場合がある）に分離されたかどうかを判定してもよい。追跡部１３４は、オブジェクトＯ０５の位置及び形状と、サブオブジェクトＯ０６及びＯ０７それぞれの位置及び形状とを比較する。一例として、追跡部１３４は、オブジェクトＯ０５を複数の特徴部分に分割する。そして、追跡部１３４は、オブジェクトＯ０５とサブオブジェクトＯ０６及びＯ０７の位置が所定範囲内であり、かつ、オブジェクトＯ０５の特徴部分のいずれかの形状と、サブオブジェクトＯ０６及びＯ０７それぞれの形状とが類似している場合、オブジェクトＯ０５が分離されたと判定する。所定範囲とは、同一の素材から分離されたと判定するのに十分な距離である。

関連付け部１３３は、オブジェクトが複数のサブオブジェクトに分離された場合、１以上の分離後のサブオブジェクトそれぞれと、分離前のオブジェクトに関連付けられた素材識別情報と、を関連付ける。追跡部１３４が、Ｏ０５がＯ０６及びＯ０７に分離されたと判定した場合、関連付け部１３３は、サブオブジェクトＯ０６及びＯ０７と、分離前のオブジェクトＯ０５が有している素材識別情報Ｍ０００１とを関連付ける。分離前のオブジェクトの素材識別情報と関連付けられたサブオブジェクトＯ０６及びＯ０７は、それぞれ素材識別情報Ｍ０００１を有する。

データ処理装置１が、素材が分離された場合に、分離前の素材識別情報を分離後の部材と関連付けるよう構成されることで、分離された部材がどの素材から分離されたものかを管理することができる。

さらに、作品を制作する過程においては、素材が他の素材と結合される場合がある。素材が結合された場合においても、データ処理装置１は、結合後の素材が元の素材から構成されていることを管理する必要がある。そこで、データ処理装置１は、素材同士が結合された場合に、結合する前の素材識別情報を結合後の素材と関連付けるよう構成されていてもよい。

図９は、素材が結合された場合のデータ処理装置１の動作の一例を示す図である。図９（ａ）は、時刻Ｔ５における３次元時系列情報から特定されたオブジェクトである。図９（ｂ）は、時刻Ｔ５の次の時刻（時刻Ｔ６）における３次元時系列情報から特定されたオブジェクトである。

具体的には、追跡部１３４は、作品の制作過程において、複数のオブジェクトが結合されたか否かを判定する。追跡部１３４は、オブジェクトＯ０８及びオブジェクトＯ０９それぞれの位置及び形状と、オブジェクトＯ１０の位置及び形状とを比較する。一例として、追跡部１３４は、オブジェクトＯ１０を複数の特徴部分に分割する。そして、追跡部１３４は、オブジェクトＯ０８及びオブジェクトＯ０９それぞれとオブジェクトＯ１０の位置が所定範囲内であり、かつ、オブジェクトＯ０８及びＯ０９それぞれの形状とオブジェクト１０の特徴部分の形状とが類似している場合、オブジェクトＯ０８及びＯ０９が結合されたと判定する。

関連付け部１３３は、複数のオブジェクトが結合された場合、結合後のオブジェクトと、結合前の複数のオブジェクトそれぞれに関連付けられた素材識別情報と、を関連付ける。追跡部１３４が、Ｏ０８及びＯ０９が結合されたと判定した場合、関連付け部１３３は、結合後のオブジェクトＯ１０と、結合前のオブジェクトＯ０８及びＯ０９それぞれが有している素材識別情報Ｍ０００１及びＭ０００２とを関連付ける。結合前のオブジェクトの素材識別情報と関連付けられたオブジェクトＯ１０は、素材識別情報Ｍ０００１及びＭ００２を有する。

データ処理装置１が、素材が結合された場合に、結合する前の素材識別情報を結合後の素材と関連付けるよう構成されることで、結合された素材が、どの素材が結合されたものかを管理することができる。その結果、データ処理装置１は、作品と素材の関係を関連付けることができる。

図４に戻る。ところで、制作者に負担の少ない方法で素材とオブジェクトとの関連付けができることが望ましい。そこで、素材に付された素材識別情報に対応するタグを読み取ることで、素材とオブジェクトを関連付けることができるよう、データ処理装置１が構成されてもよい。まず、提供者は、素材を提供する際に素材識別情報読み取ることができるタグを素材に付ける。タグは、例えば、ＱＲ（Quick Response）コード（登録商標）が記載されたタグまたはＲＦＩＤ（Radio Frequency IDentification）タグである。そして、タグが付けられた素材が制作場所に搬入される。

そして、受付部１３５は、作品を制作する制作者が操作する端末である制作者端末４より、素材識別情報が含まれる関連付け依頼を受け付ける。制作者端末４は、素材に付けられたタグから素材識別情報を読み取る。制作者端末４は、素材識別情報を読み取ると、素材識別情報を含む関連付け依頼を受付部１３５に送信する。

表示制御部１３９は、素材識別情報と関連付けるオブジェクトを選択する画面を制作者端末４に表示させる。関連付け依頼を受信すると、表示制御部１３９は、読み取った素材識別情報と関連付けるオブジェクトを選択する画面を制作者端末４に表示させる。表示制御部１３９は、例えば、制作場所を撮像した画像の中から関連付ける素材を選択する画面を表示する。

関連付け部１３３は、選択されたオブジェクトと、素材識別情報と、を関連付ける。関連付け部１３３は、選択されたオブジェクトに付与されたオブジェクトＩＤと関連付け依頼に含まれる素材識別情報とを関連付ける。データ処理装置１がこのように構成されることで、制作者に負担の少ない方法で素材とオブジェクトとの関連付けることができる。

ところで、アップサイクルに提供される素材は、提供者が思い入れを持つものや、由緒のある物である場合がある。素材が加工される際に、元の素材の形状がわからなくなる場合もあるが、素材に関する思い出や素材の由緒を記録しておきたい場合がある。そこで、データ処理装置１は、素材に関する情報であるメタ―データを記憶するよう構成されていてもよい。メタデータは例えば、テキストデータ、動画データ、画像データ、音楽データである。メタデータは、素材に関連する情報を記憶したウェブページのＵＲＬであってもよい。

表示制御部１３９は、素材を提供する提供者が、提供する素材と、素材に関するメタデータを登録するための画面を提供者が操作する提供者端末３に表示させる。すなわち、表示制御部１３９は、素材の提供を受け付ける際、素材に関するメタデータを登録する画面を提供者端末３に表示させる。表示制御部１３９は、素材の提供を受け付ける画面において、例えば、メタデータ並びに関連付けたいＵＲＬ情報を入力するためのテキストボックス又はファイルをアップロードするためのボタンを提供者端末３に表示させる。

記憶制御部１３８は、登録された素材の素材識別情報と、提供者が入力した素材に関するメタデータと、を関連付けて素材データベースに記憶させる。図５に示す素材データベースには、素材に関連付けて取得した素材のメタデータが含まれている。受付部１３５は、提供者端末３の画面に入力されたメタデータを取得する。そして、記憶制御部１３８は、提供される素材の素材識別情報と、提供される素材のメタデータと、を関連付けて素材データベースに記憶させる。

データ処理装置１が、素材に関するメタ―データを記憶するよう構成されることで、素材に関する思い出や素材の由緒を作品に関連付けてデータ処理装置１に記憶することが可能となる。

データ処理装置１が記憶するメタデータの中には、提供者のみに重要な情報や、提供者が他のユーザに見られたくない情報が存在する。そこで、データ処理装置１はメタデータの表示依頼を受信した際に、表示依頼の送信元が提供者か否かを判定するよう構成されていてもよい。

受付部１３５は、ユーザが操作するユーザ端末（不図示）より作品に関連付けられたメタデータを表示する表示依頼を受け付ける。表示依頼は、作品ＩＤと、表示を依頼するユーザを識別するユーザＩＤを含む。

表示制御部１３９は、表示依頼を受け付けると、作品に関連付けられた素材の提供者と表示依頼の送信元のユーザが同一である場合に、作品に関連付けられた素材に関するメタデータをユーザ端末に表示させるよう制御する。表示制御部１３９は、表示依頼を受け付けると、作品データベースと素材データベースを参照し、作品に関連付けられた素材識別情報に対応する素材を特定する。表示制御部１３９は、特定した素材に関連付けられたメタデータ及び素材の提供者に対応する提供者ＩＤを特定する。そして、表示制御部１３９は、表示依頼に含まれるユーザＩＤと、提供者ＩＤが一致するかどうかを判定する。そして、表示依頼に含まれるユーザＩＤと提供者ＩＤとが一致する場合に、表示制御部１３９は、素材に関連付けられたメタデータをユーザ端末に表示させる。

データ処理装置１がメタデータの表示依頼の送信元が作品を構成する素材の提供者か否かに基づいてメタデータの表示可否を判定するよう構成されることで、意図しないメタデータの表示を防止することが可能となる。

図１０は、データ処理装置１の処理の流れを示すフローチャートである。図１０に示すフローチャートは、制作者が制作者端末４を操作し、作品の制作を開始する操作をした時点から開始している。取得部１３１は、３次元計測装置Ｄにより作品の制作過程において計測された、１以上の素材が配置された制作場所を計測した３次元情報の時系列情報である、３次元時系列情報を取得する（Ｓ１０１）。

第１特定部１３２は、取得部１３１が取得した３次元時系列情報に基づいて、制作場所に配置された素材を３次元計測した３次元情報であるオブジェクト及びオブジェクトが配置された位置を特定する（Ｓ１０２）。関連付け部１３３は、第１特定部１３２が特定したオブジェクトと、素材を識別する素材識別情報と、を関連付ける（Ｓ１０３）。

追跡部１３４は、３次元時系列情報に含まれる複数のオブジェクトのうち同一の素材に対応するオブジェクトを対応付ける（Ｓ１０４）。追跡部１３４は、素材が分離又は結合されたか否かを判定する（Ｓ１０５）。素材が分離又は結合された場合（Ｓ１０５におけるＹＥＳ）、１以上の加工後のオブジェクトと、加工前のオブジェクトに関連付けられた素材識別情報と、を関連付ける（Ｓ１０６）。素材が分離又は結合されていない場合、データ処理装置１は、処理をＳ１０７に進める。

データ処理装置１は、受付部１３５が完了情報の入力を受け付けたか否かを判定する（Ｓ１０７）。完了情報を受け付けていない場合（Ｓ１０７におけるＮＯ）、データ処理装置１は、処理をＳ１０２に進める。完了情報を受け付けた場合（Ｓ１０７におけるＹＥＳ）、データ処理装置１は、処理をＳ１０８に進める。

第２特定部１３６は、３次元時系列情報に基づいて作品が占有する領域を特定する（Ｓ１０８）。第３特定部１３７は、第２特定部１３６が特定した作品が占有する領域とオブジェクトが完了情報の入力時点において配置されていた位置に基づいて、作品を構成するオブジェクトを特定する（Ｓ１０９）。記憶制御部１３８は、作品と、第３特定部１３７が特定したオブジェクトに関連付けられた素材識別情報と、を関連付けて作品データベースに記憶させる（Ｓ１１０）。そして、データ処理装置１は、処理を終了する。

なお、本発明により、国連が主導する持続可能な開発目標（SDGs）の目標９「産業と技術革新の基盤をつくろう」に貢献することが可能となる。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されず、その要旨の範囲内で種々の変形及び変更が可能である。例えば、装置の全部又は一部は、任意の単位で機能的又は物理的に分散・統合して構成することができる。また、複数の実施の形態の任意の組み合わせによって生じる新たな実施の形態も、本発明の実施の形態に含まれる。組み合わせによって生じる新たな実施の形態の効果は、もとの実施の形態の効果を併せ持つ。

１ データ処理装置
２ 依頼者端末
３ 提供者端末
４ 制作者端末
１１ 通信部
１２ 記憶部
１３ 制御部
１３１ 取得部
１３２ 第１特定部
１３３ 関連付け部
１３４ 追跡部
１３５ 受付部
１３６ 第２特定部
１３７ 第３特定部
１３８ 記憶制御部
１３９ 表示制御部

Claims (9)

1. 作品と、前記作品を構成する素材と、を関連付けて記憶する作品データベースを記憶する記憶部と、
   前記作品を制作する制作場所に配置された３次元計測装置により前記作品の制作過程において計測された、１以上の前記素材が配置された前記制作場所を計測した３次元情報の時系列情報である、３次元時系列情報を取得する取得部と、
   前記３次元時系列情報に基づいて、前記制作場所に配置された前記素材を３次元計測した３次元情報であるオブジェクト及び前記オブジェクトが配置された位置を特定する第１特定部と、
   前記第１特定部が特定した前記オブジェクトと、前記素材を識別する素材識別情報と、を関連付ける関連付け部と、
   前記３次元時系列情報に含まれる複数の前記オブジェクトのうち同一の素材に対応する前記オブジェクトを対応付ける追跡部と、
   前記作品の制作が完了したことを示す完了情報の入力を受け付ける受付部と、
   前記完了情報が入力された場合、前記３次元時系列情報に基づいて前記作品が占有する領域を特定する第２特定部と、
   第２特定部が特定した前記作品が占有する領域と、前記完了情報の入力時点において前記オブジェクトが配置されていた位置とに基づいて、前記作品を構成する前記オブジェクトを特定する第３特定部と、
   前記作品と前記第３特定部が特定した前記オブジェクトに関連付けられた前記素材識別情報とを関連付けて前記作品データベースに記憶させる記憶制御部と、
   を有する、データ処理装置。
2. 前記追跡部は、前記作品の制作過程において、一つの前記オブジェクトが複数のサブオブジェクトに分離されたかどうかを判定し、
   前記関連付け部は、前記オブジェクトが前記複数のサブオブジェクトに分離された場合、１以上の分離後のサブオブジェクトそれぞれと、分離前のオブジェクトに関連付けられた前記素材識別情報と、を関連付ける、
   請求項１に記載のデータ処理装置。
3. 前記追跡部は、前記作品の制作過程において、複数の前記オブジェクトが結合されたか否かを判定し、
   前記関連付け部は、複数の前記オブジェクトが結合された場合、結合後のオブジェクトと、結合前の複数の前記オブジェクトそれぞれに関連付けられた前記素材識別情報と、を関連付ける、
   請求項１又は２に記載のデータ処理装置。
4. 端末に画面を表示させる表示制御部を、さらに有する、
   請求項１から３のいずれか１項に記載のデータ処理装置。
5. 前記受付部は、前記作品を制作する制作者が操作する端末である制作者端末より、前記素材識別情報が含まれる関連付け依頼をさらに受け付け、
   前記表示制御部は、前記素材識別情報と関連付ける前記オブジェクトを選択する画面を前記制作者端末に表示させ、
   前記関連付け部は、選択された前記オブジェクトと、前記素材識別情報と、を関連付ける、
   請求項４に記載のデータ処理装置。
6. 前記記憶部は、前記素材と、前記素材に関するメタデータと、を関連付けて記憶する素材データベースをさらに記憶し、
   前記表示制御部は、素材を提供する提供者が、提供する前記素材と、前記素材に関するメタデータを登録するための画面を提供者が操作する提供者端末に表示させ、
   前記記憶制御部は、登録された前記素材の素材識別情報と、前記提供者が入力した前記素材に関するメタデータと、を関連付けて素材データベースに記憶させる、
   請求項４又は５に記載のデータ処理装置。
7. 前記記憶部は、前記素材と、前記素材に関するメタデータと、前記素材の提供者と、を関連付けた素材データベースをさらに記憶し、
   前記受付部は、ユーザが操作するユーザ端末より前記作品に関連付けられた前記メタデータを表示する表示依頼をさらに受け付け、
   前記表示制御部は、前記表示依頼を受け付けると、前記作品に関連付けられた前記素材の提供者と前記表示依頼の送信元のユーザが同一である場合に、前記作品に関連付けられた前記素材に関するメタデータを前記ユーザ端末に表示させるよう制御する、
   請求項４から６のいずれか１項に記載のデータ処理装置。
8. コンピュータが実行する、
   作品を制作する制作場所に配置された３次元計測装置により前記作品の制作過程において計測された、１以上の素材が配置された前記制作場所を計測した３次元情報の時系列情報である、３次元時系列情報を取得するステップと、
   前記３次元時系列情報に基づいて、前記制作場所に配置された前記素材を３次元計測した３次元情報であるオブジェクト及び前記オブジェクトが配置された位置を特定するステップと、
   特定された前記オブジェクトと、前記素材を識別する素材識別情報と、を関連付けるステップと、
   前記３次元時系列情報に含まれる複数の前記オブジェクトのうち同一の素材に対応する前記オブジェクトを対応付けるステップと、
   前記作品の制作が完了したことを示す完了情報の入力を受け付けるステップと、
   前記完了情報が入力された場合、前記３次元時系列情報に基づいて前記作品が占有する領域を特定するステップと、
   特定された前記作品が占有する領域と、前記完了情報の入力時点において前記オブジェクトが配置されていた位置とに基づいて、前記作品を構成する前記オブジェクトを特定するステップと、
   前記作品と特定された前記作品を構成するオブジェクトに関連付けられた前記素材識別情報とを関連付けて、記憶部が記憶する作品データベースに記憶させるステップと、
   を有する、データ処理方法。
9. コンピュータに実行させる、
   作品を制作する制作場所に配置された３次元計測装置により前記作品の制作過程において計測された、１以上の素材が配置された前記制作場所を計測した３次元情報の時系列情報である、３次元時系列情報を取得するステップと、
   前記３次元時系列情報に基づいて、前記制作場所に配置された前記素材を３次元計測した３次元情報であるオブジェクト及び前記オブジェクトが配置された位置を特定するステップと、
   特定された前記オブジェクトと、前記素材を識別する素材識別情報と、を関連付けるステップと、
   前記３次元時系列情報に含まれる複数の前記オブジェクトのうち同一の素材に対応する前記オブジェクトを対応付けるステップと、
   前記作品の制作が完了したことを示す完了情報の入力を受け付けるステップと、
   前記完了情報が入力された場合、前記３次元時系列情報に基づいて前記作品が占有する領域を特定するステップと、
   特定された前記作品が占有する領域と、前記完了情報の入力時点において前記オブジェクトが配置されていた位置とに基づいて、前記作品を構成する前記オブジェクトを特定するステップと、
   前記作品と特定された前記作品を構成するオブジェクトに関連付けられた前記素材識別情報とを関連付けて、記憶部が記憶する作品データベースに記憶させるステップと、
   を有する、プログラム。
   

Images